- Ограничивающие доказательства и оценка логарифмического правдоподобия в VAE (arXiv)
Автор: Лукаш Струски, Марцин Мазур, Павел Баторский, Пшемыслав Спурек, Яцек Табор.
Аннотация: Многие важные проблемы в глубоком обучении и статистике вызваны вариационным разрывом, то есть разницей между фактическими данными и нижней границей доказательств (ELBO). Как следствие, в классической модели VAE мы получаем только нижнюю границу логарифмического правдоподобия, поскольку ELBO используется в качестве функции стоимости, и поэтому мы не можем сравнивать логарифмическое правдоподобие между моделями. В этой статье мы представляем общую и эффективную верхнюю границу вариационного разрыва, которая позволяет нам эффективно оценивать истинные доказательства. Мы обеспечиваем обширное теоретическое исследование предлагаемого подхода. Более того, мы показываем, что, применяя нашу оценку, мы можем легко получить нижние и верхние оценки логарифмического правдоподобия моделей VAE.
2. Применение псевдологарифмического правдоподобия для оценки естественного языка (arXiv)
Автор: Даррен Абрамсон, Али Эмами
Аннотация: Языковые модели, построенные с использованием полуконтролируемого машинного обучения на больших корпусах естественного языка, очень быстро охватили области генерации и понимания естественного языка. В этой статье мы применяем подход «нулевого выстрела», независимо разработанный рядом исследователей, который в настоящее время получает признание в качестве существенной альтернативы точной настройке для оценки задач здравого смысла. Языковая модель с относительно небольшим количеством параметров и этапов обучения по сравнению с более поздней языковой моделью (T5) может превзойти ее на недавнем большом наборе данных (TimeDial), демонстрируя при этом надежность в своей производительности при выполнении аналогичного класса языковых задач. Удивительно, но этот результат достигается за счет использования метода нулевого выстрела без гиперпараметров для меньшей модели по сравнению с точной настройкой для более крупной модели. Мы утверждаем, что надежность меньшей модели следует понимать с точки зрения композиционности, в том смысле, в котором мы опираемся на недавнюю литературу о классе подобных моделей. Мы определили практическую стоимость нашего метода и модели: большое время графического процессора для оценки естественного языка. Метод измерения с нулевым выстрелом, обеспечивающий замечательную стабильность как для ALBERT, так и для других вариантов BERT, представляет собой применение псевдологарифмического правдоподобия к моделям замаскированного языка для относительного измерения вероятности альтернатив замены в языковых задачах с принудительным выбором, таких как Виноград. Schema Challenge, Виногранде и другие. Одним из вкладов этой статьи является объединение ряда схожих, но независимых направлений исследований. Мы получаем некоторые абсолютные современные результаты для рассуждений на основе здравого смысла в задачах с бинарным выбором, которые работают лучше, чем любой опубликованный результат в литературе, включая тщательно отлаженные усилия. Мы показываем замечательную стабильность работы модели в состязательных условиях, что, по нашему мнению, лучше всего объясняется композиционностью представлений модели.
