- Изучение липшицевых функций с помощью обученных GD поверхностных сверхпараметризованных нейронных сетей ReLU (arXiv)
Автор : Илья Кузборский, Чаба Шепешвари
Аннотация: Мы исследуем способность сверхпараметризованных мелких нейронных сетей ReLU изучать липшицевы, недифференцируемые, ограниченные функции с аддитивным шумом при обучении с помощью градиентного спуска (GD). Чтобы избежать проблемы, заключающейся в том, что при наличии шума нейронные сети, обученные почти до нулевой ошибки обучения, в этом классе несовместимы, мы сосредоточились на GD с ранней остановкой, который позволяет нам демонстрировать согласованность и оптимальные скорости. В частности, мы исследуем эту проблему с точки зрения аппроксимации Neural Tangent Kernel (NTK) нейронной сети конечной ширины, обученной GD. Мы показываем, что всякий раз, когда какое-то правило ранней остановки гарантированно дает оптимальную скорость (избыточного риска) в гильбертовом пространстве ядра, индуцированную функцией активации ReLU, то же самое правило можно использовать для достижения минимаксной оптимальной скорости обучения на классе рассматриваемых функций Липшица с помощью нейронных сетей. Мы обсуждаем несколько практически привлекательных правил остановки, не требующих передачи данных и зависящих от данных, которые обеспечивают оптимальные скорости.
2. Липшицевы функции на объединениях и факторах метрических пространств (arXiv)
Автор : Дэвид М. Фриман, Крис Гартленд
Аннотация: Для заданного конечного набора {Xi}iاI метрических пространств, каждое из которых имеет конечную размерность Нагаты и липшицево свободное пространство, изоморфное L1, доказано, что их объединение имеет липшицево свободное пространство, изоморфное L1. Краткое доказательство, которое мы приводим, основано на методе разложения Пельчинского. Следствием является решение вопроса Кауфмана об объединении двух плоских кривых с касательным пересечением. Второе внимание в статье уделяется частному случаю этого результата, который можно изучить с помощью геометрических методов. То есть мы доказываем, что липшицево свободное пространство объединения конечного числа квазиконформных деревьев изоморфно L1. Эти геометрические методы также показывают, что любой метрический фактор квазиконформного дерева имеет липшицево свободное пространство, изоморфное L1. Наконец, мы анализируем липшицевы световые отображения на объединениях и метрических факторах квазиконформных деревьев, чтобы доказать, что липшицева размерность любого такого объединения или фактора равна 1.
