- Генеративные поля занятости для синтеза трехмерных изображений с учетом поверхности (arXiv)
Автор: Сюйдун Сюй, Синган Пань, Дахуа Линь, Бо Дай.
Аннотация: Появление генеративных полей излучения значительно способствовало развитию синтеза трехмерных изображений. Совокупный процесс рендеринга в полях яркости значительно упрощает обучение этих генеративных моделей, поскольку градиенты распределяются по всему объему, но приводят к размытым поверхностям объектов. В то же время, по сравнению с представлениями занятости полей яркости, представления о занятости могут по своей сути обеспечивать детерминированные поверхности. Однако, если мы напрямую применим представления занятости к генеративным моделям, во время обучения они будут получать только разреженные градиенты, расположенные на поверхностях объектов, и в конечном итоге будут страдать от проблемы сходимости. В этой статье мы предлагаем генеративные поля занятости (GOF), новую модель, основанную на генеративных полях излучения, которые могут изучать поверхности компактных объектов, не препятствуя их обучающей конвергенции. Ключевым моментом GOF является специальный переход от кумулятивного рендеринга в полях яркости к рендерингу только с точками поверхности по мере того, как изученная поверхность становится все более и более точной. Таким образом, GOF объединяет достоинства двух представлений в единой структуре. На практике переход во время обучения от начала от полей яркости и марша к представлениям занятости достигается в GOF путем постепенного сокращения области выборки в процессе ее рендеринга от всего объема до минимальной соседней области вокруг поверхности. С помощью всесторонних экспериментов с несколькими наборами данных мы демонстрируем, что GOF может синтезировать высококачественные изображения с согласованностью 3D и одновременно изучать компактные и гладкие поверхности объектов. Код, модели и демонстрационные видеоролики доступны по адресу https://sheldontsui.github.io/projects/GOF.
2. Генерирующая неявная модель с управлением затенением для точного синтеза трехмерных изображений с учетом формы (arXiv)
Автор: Синган Пань, Сюйдун Сюй, Чен Чанг Лой, Христиан Теобальт, Бо Дай.
Аннотация: Развитие генеративных полей излучения раздвинуло границы синтеза трехмерных изображений. Основанные на наблюдении за тем, что трехмерный объект должен выглядеть реалистично с нескольких точек зрения, эти методы вводят ограничение на несколько видов в качестве регуляризации для изучения допустимых трехмерных полей яркости из двухмерных изображений. Несмотря на прогресс, им часто не хватает точных трехмерных форм из-за неоднозначности формы и цвета, что ограничивает их применимость в последующих задачах. В этой работе мы устраняем эту двусмысленность, предлагая новую неявную генеративную модель, управляемую затенением, которая способна изучать значительно улучшенное представление формы. Наше главное понимание заключается в том, что точная 3D-форма также должна давать реалистичный рендеринг при различных условиях освещения. Это ограничение множественного освещения реализуется путем явного моделирования освещения и выполнения затенения с различными условиями освещения. Градиенты получаются путем подачи синтезированных изображений на дискриминатор. Чтобы компенсировать дополнительную вычислительную нагрузку по вычислению нормалей к поверхности, мы дополнительно разрабатываем эффективную стратегию объемного рендеринга с помощью отслеживания поверхности, сокращая время обучения и вывода на 24% и 48% соответственно. Наши эксперименты с несколькими наборами данных показывают, что предлагаемый подход обеспечивает фотореалистичный синтез трехмерных изображений при точном захвате основных трехмерных форм. Мы демонстрируем улучшенную производительность нашего подхода к реконструкции 3D-форм по сравнению с существующими методами и показываем его применимость при повторном освещении изображений. Наш код будет опубликован на https://github.com/XingangPan/ShadeGAN.
