- Zip-NeRF: поля нейронного излучения на основе сетки со сглаживанием (arXiv)
Автор: Джонатан Т. Бэррон, Бен Милденхолл, Дор Вербин, Пратул П. Шринивасан, Питер Хедман.
Аннотация: обучение Neural Radiance Field можно ускорить за счет использования представлений на основе сетки в изученном отображении NeRF от пространственных координат до цветов и объемной плотности. Однако в этих подходах, основанных на сетке, отсутствует четкое понимание масштаба, и поэтому они часто вводят алиасинг, обычно в виде неровностей или отсутствующего содержимого сцены. Сглаживание ранее использовалось в mip-NeRF 360, который рассуждал о подобъемах вдоль конуса, а не точек вдоль луча, но этот подход изначально не совместим с текущими методами на основе сетки. Мы показываем, как идеи рендеринга и обработки сигналов можно использовать для создания метода, который сочетает в себе mip-NeRF 360 и модели на основе сетки, такие как Instant NGP, для получения частоты ошибок на 8–76% ниже, чем у любого из предыдущих методов, и что тренируется в 22 раза быстрее, чем mip-NeRF 360
2. RO-MAP: многообъектное картографирование в реальном времени с нейронными полями излучения (arXiv)
Автор: Сяо Хань, Хосюань Лю, Юньчао Дин, Лу Ян.
Аннотация: Точное восприятие объектов в окружающей среде важно для улучшения способности понимания сцены системами SLAM. В роботизированных приложениях и приложениях дополненной реальности карты объектов с семантической и метрической информацией демонстрируют привлекательные преимущества. В этой статье мы представляем RO-MAP, новый конвейер многообъектного отображения, который не зависит от трехмерных априорных изображений. Имея только монокулярный вход, мы используем поля нейронного излучения для представления объектов и связываем их с легким объектным SLAM на основе многоракурсной геометрии, чтобы одновременно локализовать объекты и неявно изучать их плотную геометрию. Мы создаем отдельные неявные модели для каждого обнаруженного объекта и обучаем их динамически и параллельно по мере добавления новых наблюдений. Эксперименты с синтетическими и реальными наборами данных демонстрируют, что наш метод может генерировать семантическую карту объектов с реконструкцией формы и быть конкурентоспособным с автономными методами, достигая производительности в реальном времени (25 Гц). Код и набор данных будут доступны по адресу: https://github.com/XiaoHan-Git/RO-MAP.
