- Варианты SGD для липшицевых функций с непрерывными потерями в средах с низкой точностью (arXiv)
Автор : Майкл Р. Метел
Аннотация: В этой работе, основанной на обучении нейронной сети в низкобитовых средах с плавающей и фиксированной запятой, изучается сходимость вариантов SGD с вычислительной ошибкой. Рассматривая общую стохастическую непрерывную функцию потерь Липшица, представлен новый результат сходимости к стационарной точке Кларка, предполагающий, что можно вычислить только аппроксимацию ее стохастического градиента, а также ошибку при вычислении самого шага SGD. Различные варианты SGD затем тестируются эмпирически в различных арифметических средах с низкой точностью, где наблюдается улучшенная точность набора тестов по сравнению с SGD для двух задач распознавания изображений.
2. Результаты о липшицевой непрерывности для класса задач с препятствиями (arXiv)
Автор : Карло Бенасси, Микеле Казелли
Аннотация: Доказаны результаты о липшицевой непрерывности для решений класса задач с препятствиями при стандартных условиях роста p-типа, p≥2. Основное новшество заключается в использовании техники линеаризации, восходящей к [28], для интерпретации нашего минимизатора с ограничениями как решения нелинейного эллиптического уравнения с ограниченной правой частью. Это приводит нас к запуску итерационной схемы Мозера, которая дает границу L∞ для градиента. Применение недавнего результата о более высокой дифференцируемости [24] позволяет упростить процедуру идентификации меры Радона в технике линеаризации, использованной в [32]. Насколько нам известно, это первый результат для неавтономных функционалов со стандартными условиями роста в направлении регулярности Липшица.
