- Оптимизация гиперпараметров с помощью разделения нейронной сети (arXiv)
Автор: Бруно Млодозеньец, Маттиас Рейссер, Христос Луизос.
Аннотация: Хорошо настроенные гиперпараметры имеют решающее значение для получения хорошего поведения обобщения в нейронных сетях. Они могут применять соответствующие индуктивные смещения, упорядочивать модель и повышать производительность, особенно при наличии ограниченных данных. В этой работе мы предлагаем простой и эффективный способ оптимизации гиперпараметров, основанный на предельной вероятности, цель оптимизации, которая не требует данных проверки. Наш метод разделяет обучающие данные и модель нейронной сети на K сегментов данных и разделов параметров соответственно. Каждый раздел связан и оптимизирован только для определенных сегментов данных. Объединение этих разделов в подсети позволяет нам определить потерю подсети «вне обучающей выборки», то есть потерю сегментов данных, невидимых подсетью, в качестве цели оптимизации гиперпараметров. Мы демонстрируем, что можем применить эту цель для оптимизации множества различных гиперпараметров в одном тренировочном прогоне, при этом будучи значительно дешевле в вычислительном отношении, чем альтернативные методы, направленные на оптимизацию предельной вероятности для нейронных сетей. Наконец, мы также сосредоточились на оптимизации гиперпараметров в федеративном обучении, где переобучение и перекрестная проверка особенно сложны.
2. Гиперпараметрическая оптимизация ортогональных функций при численном решении дифференциальных уравнений (arXiv)
Автор: Алиреза Афзал Агайи, Курош Паранд.
Аннотация: В работе рассматривается проблема гиперпараметрической оптимизации математических методов, возникающих при численном решении дифференциальных и интегральных уравнений. Известные подходы — сетка и случайный поиск — в виде параллельного алгоритма разработаны для нахождения оптимального набора гиперпараметров. Используя рациональные функции Якоби, мы запустили эти алгоритмы на двух нелинейных эталонных дифференциальных уравнениях в полубесконечной области. Конфигурации содержат различные рациональные отображения вместе с их масштабным параметром длины и параметрами функций Якоби. Эти испытания настроены на основе регрессии опорных векторов методом наименьших квадратов (CLS-SVR), нового подхода к численному моделированию, основанного на спектральных методах. Кроме того, мы рассмотрели чувствительность этих гиперпараметров к численной устойчивости и сходимости модели CLS-SVR. Эксперименты показывают, что этот метод может эффективно улучшить современные результаты.
