- FoVolNet: быстрый объемный рендеринг с использованием Foveated Deep Neural Networks (arXiv)
Автор: Дэвид Бауэр, Ци Ву, Кван-Лю Ма.
Аннотация: объемные данные используются во многих важных научных и инженерных приложениях. Рендеринг этих данных для визуализации с высоким качеством и интерактивными скоростями для ресурсоемких приложений, таких как виртуальная реальность, по-прежнему не так легко достижим даже с использованием оборудования профессионального уровня. Мы представляем FoVolNet — метод, позволяющий значительно повысить производительность визуализации объемных данных. Мы разрабатываем экономичный конвейер рендеринга с фовеацией, который разреженно сэмплирует объем вокруг фокальной точки и реконструирует полный кадр с помощью глубокой нейронной сети. Foveated rendering — это метод, который отдает приоритет вычислениям рендеринга вокруг фокуса пользователя. Этот подход использует свойства зрительной системы человека, тем самым экономя вычислительные ресурсы при рендеринге данных на периферии поля зрения пользователя. Наша сеть реконструкции сочетает в себе методы прямого предсказания и предсказания ядра для получения быстрых, стабильных и убедительных с точки зрения восприятия результатов. Благодаря тонкому дизайну и использованию квантования наш метод превосходит современные методы нейронной реконструкции как по времени сквозного кадра, так и по качеству изображения. Мы проводим обширные оценки производительности рендеринга системы, скорости логического вывода и свойств восприятия, а также проводим сравнения с конкурирующими методами реконструкции нейронных изображений. Результаты наших испытаний показывают, что FoVolNet стабильно обеспечивает значительную экономию времени по сравнению с обычным рендерингом при сохранении качества восприятия.
2. FNeVR: визуализация нейронного объема для анимации лица (arXiv)
Автор: Бохан Цзэн, Бою Лю, Хун Ли, Сюхуэй Лю, Цзянчжуан Лю, Дапэн Чен, Вэй Пэн, Баочан Чжан.
Аннотация: Анимация лица, одна из самых горячих тем компьютерного зрения, достигла многообещающей производительности с помощью генеративных моделей. Тем не менее, создание фотореалистичных изображений с сохранением идентичности остается серьезной проблемой из-за сложной деформации движения и моделирования сложных деталей лица. Чтобы решить эти проблемы, мы предлагаем сеть Face Neural Volume Rendering (FNeVR), чтобы полностью изучить потенциал 2D-искажения движения и 3D-рендеринга объема в единой структуре. В FNeVR мы разрабатываем модуль 3D Face Volume Rendering (FVR), чтобы улучшить детали лица для рендеринга изображения. В частности, мы сначала извлекаем 3D-информацию с помощью хорошо спроектированной архитектуры, а затем вводим ортогональный адаптивный модуль выборки лучей для эффективного рендеринга. Мы также разрабатываем легкий редактор поз, позволяющий FNeVR редактировать позу лица простым, но эффективным способом. Обширные эксперименты показывают, что наш FNeVR обеспечивает наилучшее общее качество и производительность в широко используемых тестах с говорящими головами.
