- 2D GAN встречают неконтролируемую 3D-реконструкцию с одним видом (arXiv)
Аннотация: недавние исследования показали, что управляемая генерация изображений на основе предварительно обученных GAN может принести пользу широкому кругу задач компьютерного зрения. Однако задачам трехмерного зрения уделялось меньше внимания. В свете этого мы предлагаем новое нейронное неявное поле, обусловленное изображением, которое может использовать 2D-наблюдение из многоракурсных изображений, сгенерированных GAN, и выполнять реконструкцию общих объектов в одном представлении. Во-первых, представлен новый автономный генератор на основе StyleGAN для создания правдоподобных псевдоизображений с полным контролем над точкой обзора. Затем мы предлагаем использовать нейронную неявную функцию вместе с дифференцируемым средством визуализации для изучения трехмерной геометрии из псевдоизображений с масками объектов и грубыми инициализациями поз. Чтобы дополнительно обнаруживать ненадежные наблюдения, мы вводим новый модуль неопределенности для предсказания карт неопределенности, которые устраняют негативное влияние неопределенностей областей в псевдоизображениях, что приводит к повышению производительности реконструкции. Эффективность нашего подхода демонстрируется превосходными результатами 3D-реконструкции типовых объектов в одном ракурсе.
2. Поля деформации с учетом топологии для трехмерной реконструкции с одним видом (arXiv)
Автор: Шивам Дуггал, Дипак Патхак.
Аннотация: Мы представляем структуру для изучения форм 3D-объектов и плотных межобъектных 3D-соответствий только из невыровненной коллекции изображений для конкретной категории. 3D-формы генерируются неявно как деформации поля расстояния со знаком для конкретной категории и изучаются неконтролируемым образом исключительно из невыровненных коллекций изображений и их поз без какого-либо 3D-контроля. Как правило, коллекции изображений в Интернете содержат несколько внутрикатегорийных геометрических и топологических вариаций, например, разные стулья могут иметь разную топологию, что значительно усложняет задачу оценки формы соединения и соответствия. Из-за этого предыдущие работы либо фокусировались на изучении каждой формы 3D-объекта по отдельности без моделирования соответствий между экземплярами, либо выполняли совместную оценку формы и соответствия по категориям с минимальными топологическими вариациями внутри категории. Мы преодолеваем эти ограничения, изучая топологически осведомленное неявное поле деформации, которое отображает трехмерную точку в пространстве объектов в точку более высокого измерения в каноническом пространстве, специфичном для категории. Во время вывода по одному изображению мы реконструируем базовую трехмерную форму, сначала неявно деформируя каждую трехмерную точку в объектном пространстве в изученное каноническое пространство, специфичное для категории, с использованием поля деформации с учетом топологии, а затем реконструируем трехмерную форму как каноническую. подписанное поле расстояния. И каноническая форма, и поле деформации изучаются от начала до конца методом инверсной графики с использованием обученного рекуррентного маршера лучей (SRN) в качестве дифференцируемого модуля рендеринга. Наш подход, получивший название TARS, обеспечивает высочайшую точность реконструкции нескольких наборов данных: стулья ShapeNet, Pascal3D+, CUB и Pix3D. Видео результатов и код на https://shivamduggal4.github.io/tars-3D/
