- Теория реализации рекуррентных нейронных ОДУ с использованием встраивания полиномиальной системы (arXiv)
Автор: Мартин Гонсалес, Тибо Дефурно, Хатем Хайри, Михай Петрецкий
Аннотация: В этой статье мы показываем, что нейронные аналоги ОДУ рекуррентных (ODE-RNN) и сетей с долговременной кратковременной памятью (ODE-LSTM) могут быть алгоритмически встроены в класс полиномиальных систем. Это встраивание сохраняет поведение ввода-вывода и может быть расширено на другие нейронные архитектуры DE. Затем мы используем теорию реализации полиномиальных систем, чтобы обеспечить необходимые условия для реализации карты ввода-вывода с помощью ODE-LSTM и достаточные условия минимальности таких систем. Эти результаты представляют собой первые шаги к реализации теории архитектур рекуррентных нейронных ОДУ, которые, как ожидается, будут полезны для анализа алгоритмов сокращения моделей и обучения рекуррентных нейронных ОДУ.
2. Нейронные ОДУ с нерегулярными и зашумленными данными (arXiv)
Автор:Паван Гоял, Питер Беннер
Аннотация: Шум измерения является неотъемлемой частью при сборе данных физического процесса. Таким образом, удаление шума необходимо для того, чтобы делать выводы из этих данных, и часто становится необходимым построить динамические модели, используя эти данные. Мы обсуждаем методологию изучения дифференциальных уравнений с использованием зашумленных и нерегулярных выборочных измерений. В нашей методологии основное новшество можно увидеть в интеграции глубоких нейронных сетей с подходом нейронных обыкновенных дифференциальных уравнений (ОДУ). Именно, мы стремимся обучить нейронную сеть, которая обеспечивает (приблизительно) неявное представление данных и дополнительную нейронную сеть, которая моделирует векторные поля зависимых переменных. Мы объединяем эти две сети, ограничивая их нейронными ОДУ. Предлагаемая структура для изучения модели, описывающей векторное поле, очень эффективна при измерениях с шумом. Этот подход может обрабатывать сценарии, в которых зависимые переменные недоступны в той же временной сетке. Кроме того, может быть легко включена определенная структура, например, второго порядка по времени. Мы демонстрируем эффективность предлагаемого метода обучения моделей с использованием данных, полученных из различных дифференциальных уравнений, и приводим сравнение с нейронным методом ОДУ, который не делает никакой специальной обработки шума.
3. Нейронное управление ОДУ для траекторной аппроксимации уравнения непрерывности (arXiv)
Автор: Картик Эламважути, Бахман Гаресифард, Андреа Бертоцци, Стэнли Ошер.
Аннотация: мы рассматриваем проблему управляемости для уравнения неразрывности, соответствующего нейронным обыкновенным дифференциальным уравнениям (ОДУ), которое описывает, как вероятностная мера продвигается вперед потоком. Показано, что управляемое уравнение неразрывности обладает очень сильными свойствами управляемости. В частности, данное решение уравнения неразрывности, соответствующее ограниченному липшицевому векторному полю, определяет траекторию на множестве вероятностных мер. Для этой траектории мы показываем, что существуют кусочно-постоянные обучающие веса нейронного ОДУ такие, что решение уравнения неразрывности, соответствующее нейронному ОДУ, сколь угодно близко к нему. В качестве следствия этого результата мы устанавливаем, что уравнение непрерывности нейронного ОДУ приближенно управляемо на множестве вероятностных мер с компактным носителем, абсолютно непрерывных относительно меры Лебега.
