- Архитектура рекурсивно-рекуррентной нейронной сети (R2N2) для обучения итеративным алгоритмам(arXiv)
Автор:Данимир Т. Донсевич, Александр Мицос, Юэ Го, Цяньсяо Ли, Феликс Дитрих, Мануэль Дамен, Иоаннис Г. Кеврекидис
Аннотация: метаобучение численных алгоритмов для данной задачи состоит из управляемой данными идентификации и адаптации алгоритмической структуры и связанных с ней гиперпараметров. Чтобы ограничить сложность проблемы метаобучения, можно и нужно использовать нейронные архитектуры с определенным индуктивным уклоном в сторону благоприятных алгоритмических структур. Мы обобщаем нашу ранее представленную нейронную сеть Рунге-Кутта на надстройку рекурсивно-рекуррентной нейронной сети (R2N2) для разработки настраиваемых итерационных алгоритмов. В отличие от готовых подходов к глубокому обучению, он отличается четким разделением на модули для генерации информации и последующей сборки этой информации для решения. Локальная информация в форме подпространства генерируется подчиненными внутренними итерациями рекуррентных вычислений функции, начиная с текущей внешней итерации. Обновление до следующей внешней итерации вычисляется как линейная комбинация этих оценок, уменьшающая остаток в этом пространстве, и представляет собой результат работы сети. Мы показываем, что регулярное обучение весовых параметров внутри предложенной надстройки на входных/выходных данных различных классов вычислительных задач дает итерации, аналогичные решателям Крылова для систем линейных уравнений, решателям Ньютона-Крылова для нелинейных систем уравнений и интеграторам Рунге-Кутты для обычных дифференциальные уравнения. Благодаря своей модульности надстройка может быть легко расширена функциями, необходимыми для представления более общих классов итерационных алгоритмов, традиционно основанных на разложениях в ряды Тейлора.
2.Универсальная однородная по времени аппроксимация траектории для случайных динамических систем с рекуррентными нейронными сетями(arXiv)
Автор:Адриан Н. Бишоп
Аннотация: рассматривается способность рекуррентных нейронных сетей аппроксимировать траектории случайной динамической системы со случайными входными данными в некомпактных областях и на неопределенном или бесконечном временном горизонте. Основной результат гласит, что некоторые случайные траектории на бесконечном временном горизонте могут быть аппроксимированы с любой желаемой точностью, равномерно во времени, с помощью определенного класса глубоких рекуррентных нейронных сетей с простыми структурами обратной связи. Формулировка здесь контрастирует с соответствующей литературой по этой теме, большая часть которой ограничена компактными пространствами состояний и конечными интервалами времени. Требуемые здесь модельные условия являются естественными, мягкими и легко проверяемыми, а доказательство очень просто.
