- Улучшение 3D-изображения с помощью предварительно обученных перпендикулярных 2D-моделей диффузии (arXiv)
Автор: Сухён Ли, Хёнджин Чон, Минён Пак, Джонхёк Пак, Ви-Сон Рю, Чон Чхоль Йе.
Аннотация: Диффузионные модели стали популярным подходом к генерации и реконструкции изображений благодаря их многочисленным преимуществам. Однако большинство методов решения обратных задач, основанных на диффузии, имеют дело только с 2D-изображениями, и даже недавно опубликованные 3D-методы не полностью используют предварительное 3D-распределение. Чтобы решить эту проблему, мы предлагаем новый подход с использованием двух перпендикулярных предварительно обученных 2D-моделей диффузии для решения обратной 3D-задачи. Путем моделирования распределения 3D-данных как продукта 2D-распределений, срезанных в разных направлениях, наш метод эффективно устраняет проклятие размерности. Наши экспериментальные результаты показывают, что наш метод очень эффективен для задач трехмерной реконструкции медицинских изображений, включая МРТ со сверхвысоким разрешением по оси Z, МРТ со сжатым зондированием и КТ с разреженным обзором. Наш метод может генерировать высококачественные воксельные объемы, подходящие для медицинских приложений.
2. Предоставьте 2D-модели распространения информацию о 3D-согласованности для надежного преобразования текста в 3D (arXiv)
Автор: Джунён Со, Усок Чан, Мин-Соп Квак, Джэхун Ко, Хёнсу Ким, Чунхо Ким, Джин-Хва Ким, Джиён Ли, Сын Рён Ким.
Аннотация: Генерация текста в 3D продемонстрировала быстрый прогресс в последние дни с появлением дистилляции очков, методологии использования предварительно обученных моделей диффузии текста в 2D для оптимизации поля нейронного излучения (NeRF) в нулевой настройке. Однако отсутствие понимания 3D в 2D-моделях диффузии дестабилизирует методы, основанные на дистилляции партитуры, и не позволяет реконструировать правдоподобную 3D-сцену. Чтобы решить эту проблему, мы предлагаем 3DFuse, новую структуру, которая включает в себя 3D-осведомленность в предварительно обученных 2D-моделях распространения, повышая надежность и 3D-согласованность методов, основанных на дистилляции результатов. Мы реализуем это, сначала создавая грубую трехмерную структуру данной текстовой подсказки, а затем используя спроецированную карту глубины для конкретного вида в качестве условия для модели распространения. Кроме того, мы вводим стратегию обучения, которая позволяет 2D-модели диффузии учиться обрабатывать ошибки и разреженность в грубой 3D-структуре для надежной генерации, а также метод обеспечения семантической согласованности во всех точках обзора сцены. Наша структура превосходит ограничения предшествующего уровня техники и имеет значительные последствия для согласованного создания 3D-моделей диффузии 2D.
