- Изучение одноиндексных моделей с помощью неглубоких нейронных сетей(arXiv)
Автор: Альберто Биетти, Джоан Бруна, Клейтон Сэнфорд, Мин Джэ Сон.
Аннотация:одноиндексные модели — это класс функций, задаваемых неизвестной одномерной функцией «связи», применяемой к неизвестной одномерной проекции входных данных. Эти модели особенно актуальны в больших размерностях, когда данные могут иметь низкоразмерную структуру, к которой должны адаптироваться алгоритмы обучения. Хотя некоторые статистические аспекты этой модели, такие как сложность выборки для восстановления релевантного (одномерного) подпространства, хорошо изучены, они основаны на специализированных алгоритмах, использующих специфическую структуру целевой функции. В этой работе мы представляем естественный класс неглубоких нейронных сетей и изучаем его способность изучать одноиндексные модели с помощью градиентного потока. Точнее, мы рассматриваем неглубокие сети, в которых смещения нейронов замораживаются при случайной инициализации. Мы показываем, что соответствующий ландшафт оптимизации является благоприятным, что, в свою очередь, приводит к гарантиям обобщения, которые соответствуют почти оптимальной сложности выборки специализированных полупараметрических методов.
2.О матричной модели с одним индексом низкого ранга(arXiv)
Автор : Тьен Май
Аннотация: В этой статье мы представляем теоретическое исследование матричной модели с одним индексом низкого ранга. Эта модель недавно введена в биостатистику, однако ее теоретические свойства при совместной оценке функции связи и матрицы коэффициентов еще не реализованы. Здесь мы продвигаемся вперед, используя технику PAC-Байесовских границ, чтобы обеспечить строгое теоретическое понимание для совместной оценки функции связи и матрицы коэффициентов.
3. Модели с одним индексом для регрессии индекса экстремальных значений(arXiv)
Автор: Такума Ёсида
Вывод:поскольку индекс экстремального значения (EVI) определяет поведение хвоста функции распределения, оценка EVI является очень важной темой в теории экстремального значения. Недавние разработки в оценке EVI вместе с ковариатами были в контексте непараметрической регрессии. Однако для большой размерности ковариат полностью непараметрическая оценка сталкивается с проблемой проклятия размерности. Чтобы избежать этого, мы применяем модель с одним индексом к регрессии EVI при хвостовом распределении типа Парето. Мы изучаем штрафную оценку максимального правдоподобия модели с одним индексом. Также развиты асимптотические свойства оценки. Представлены численные исследования, показывающие эффективность предложенной модели.
