- Прогрессивное обучение сети 3D-реконструкции на основе данных 2D GAN (arXiv)
Автор: Айсегуль Дундар, Джун Гао, Эндрю Тао, Брайан Катандзаро.
Аннотация: В этой статье представлен метод восстановления высококачественных текстурированных 3D-моделей из отдельных изображений. Текущие методы полагаются на наборы данных с дорогостоящими аннотациями; многоракурсные изображения и их параметры камеры. Наш метод основан на сгенерированных GAN наборах данных изображений с несколькими представлениями, которые имеют незначительную стоимость аннотации. Однако они не являются строго совместимыми с несколькими представлениями, и иногда GAN выдают искаженные изображения. Это приводит к ухудшению восстановительных качеств. В этой работе, чтобы преодолеть эти ограничения сгенерированных наборов данных, у нас есть два основных вклада, которые позволяют нам достичь самых современных результатов на сложных объектах: 1) Надежная многоэтапная схема обучения, которая постепенно больше полагается на собственные прогнозы моделей при расчете потерь, 2) Новый состязательный конвейер обучения с онлайн-генерацией псевдоназемной истины для получения мелких деталей. Наша работа обеспечивает мост от 2D-наблюдений за моделями GAN к 3D-моделям реконструкции и устраняет дорогостоящие усилия по аннотации. Мы демонстрируем значительные улучшения по сравнению с предыдущими методами, независимо от того, были ли они обучены на сгенерированных GAN изображениях с несколькими представлениями или на реальных изображениях с дорогостоящими аннотациями. Пожалуйста, посетите нашу веб-страницу для 3D-визуализации: https://research.nvidia.com/labs/adlr/progressive-3d-learning
2. Мета-вспомогательная сеть для инверсии 3D GAN (arXiv)
Автор: Банжуй Цзян, Чжэньхуа Го, Юцзю Ян.
Аннотация: За последние годы манипуляции с изображениями в реальном мире достигли фантастического прогресса. Инверсия GAN, целью которой является точное сопоставление реального изображения со скрытым кодом, является первым шагом в этом конвейере. Однако существующие методы инверсии GAN не могут одновременно обеспечить высокое качество реконструкции и быстрый вывод. Кроме того, существующие методы построены на 2D-GAN и не имеют явных механизмов для обеспечения согласованности с несколькими представлениями. В этой работе мы представляем новую мета-вспомогательную структуру, используя недавно разработанные 3D-GAN в качестве генератора. Предлагаемый метод использует двухэтапную стратегию. На первом этапе мы инвертируем входное изображение в редактируемый скрытый код, используя готовые методы инвертирования. Вспомогательная сеть предлагается для уточнения параметров генератора с заданным изображением в качестве входных данных, которые как предсказывают смещения для весов сверточных слоев, так и позиции выборки объемного рендеринга. На втором этапе мы выполняем метаобучение для быстрой адаптации вспомогательной сети к входному изображению, затем окончательное реконструированное изображение синтезируется через метаобученную вспомогательную сеть. Обширные эксперименты показывают, что наш метод обеспечивает лучшую производительность как при инверсии, так и при редактировании.
