- На пути к дифференцированному рендерингу изображений сонара бокового обзора (arXiv)
Автор:Ипин Се, Нильс Боре, Джон Фолкессон
Аннотация:Недавние достижения в дифференцируемом рендеринге, которые позволяют вычислять градиенты значений 2D-пикселей по отношению к моделям 3D-объектов, могут применяться для оценки параметров модели с помощью оптимизации на основе градиента только с наблюдением 2D. Глубокие нейронные сети легко включить в такой конвейер оптимизации, что позволяет использовать методы глубокого обучения. Это также значительно снижает потребность в сборе и аннотировании 3D-данных, что очень сложно для приложений, например, при построении геометрии из 2D-датчиков. В этой работе мы предлагаем дифференцируемый рендеринг изображений гидролокатора бокового обзора. Далее мы демонстрируем его способность решать обратную задачу прямой реконструкции трехмерной сетки морского дна только по данным двухмерного гидролокатора бокового обзора.
2. Пространственно-адаптивный многослойный выбор для инверсии и редактирования GAN (arXiv)
Автор:Гаурав Пармар, Иджун Ли, Цзинван Лу, Ричард Чжан, Джун-Ян Чжу, Кришна Кумар Сингх
Аннотация: Существующие методы инверсии и редактирования GAN хорошо работают для выровненных объектов с чистым фоном, таких как портреты и морды животных, но часто борются с более сложными категориями со сложными макетами сцен и объектами. - исключения, такие как автомобили, животные и изображения на открытом воздухе. Мы предлагаем новый метод инвертирования и редактирования таких сложных изображений в скрытом пространстве GAN, такой как StyleGAN2. Наша ключевая идея состоит в том, чтобы исследовать инверсию с набором слоев, пространственно адаптируя процесс инверсии к сложности изображения. Мы учимся предсказывать «обратимость» различных сегментов изображения и проецируем каждый сегмент в скрытый слой. Более простые области могут быть инвертированы в более ранний слой в скрытом пространстве генератора, в то время как более сложные области могут быть инвертированы в более позднее пространство признаков. Эксперименты показывают, что наш метод дает лучшие результаты инверсии по сравнению с недавними подходами к сложным категориям, сохраняя при этом возможность последующего редактирования. Пожалуйста, обратитесь к странице нашего проекта по адресу https://www.cs.cmu. edu/ ̃SAMИнверсия.
3. Показатели погружения в виртуальную реальность (arXiv)
Автор:Матиас Н. Зельцер, Сильвия М. Кастро
Аннотация: Технологические достижения последних лет способствовали развитию систем виртуальной реальности, обладающих широким спектром аппаратных и программных характеристик, обеспечивающих разную степень погружения. Погружение — объективное свойство системы виртуальной реальности, зависящее как от ее аппаратных, так и от программных характеристик. Системы виртуальной реальности в настоящее время пытаются максимально улучшить погружение. Однако не существует метрики для измерения уровня погружения системы виртуальной реальности на основе ее характеристик. На сегодняшний день влияние этих аппаратных и программных переменных на погружение рассматривалось только индивидуально или в небольших группах. То, как эти системные переменные одновременно влияют на погружение, также не анализировалось. В этой статье мы предлагаем метрики погружения для систем виртуальной реальности на основе их аппаратных и программных переменных, а также процесс разработки, который привел к их формулировке. Из проведенного эксперимента и полученных данных мы следовали методологии поиска моделей погружения на основе переменных системы. Показатели погружения, представленные в этой работе, предлагают полезный инструмент в области виртуальной реальности и иммерсивных технологий не только для измерения погружения любой системы виртуальной реальности, но и для анализа взаимосвязи и важности переменных этих систем.
4. Нейронные поля с переменным битрейтом (arXiv)
Автор: Товаки Такикава, Алекс Эванс, Джонатан Тремблей, Томас Мюллер, Морган Макгуайр, Алек Джейкобсон, Саня Фидлер.
Аннотация: Нейронные аппроксимации скалярных и векторных полей, такие как функции расстояния со знаком и поля яркости, стали точными и высококачественными представлениями. Самые современные результаты получаются путем кондиционирования нейронной аппроксимации с поиском в обучаемых сетках признаков [Liu et al. 2020; Мартел и соавт. 2021; Мюллер и др. 2022 г.; Такикава и др. 2021], которые берут на себя часть задачи обучения и позволяют создавать более мелкие и эффективные нейронные сети. К сожалению, эти сетки признаков обычно достигаются за счет значительного увеличения потребления памяти по сравнению с автономными моделями нейронных сетей. Мы представляем метод словаря для сжатия таких сеток объектов, снижения их потребления памяти до 100 раз и обеспечения представления с несколькими разрешениями, что может быть полезно для потоковой передачи вне ядра. Мы формулируем оптимизацию словаря как задачу автодекодера с векторным квантованием, которая позволяет нам изучать сквозные дискретные нейронные представления в пространстве, где нет прямого наблюдения, и с динамической топологией и структурой. Наш исходный код доступен по адресу https://github.com/nv-tlabs/vqad.
