- Минимаксная оптимальная оценка плотности с использованием мелкой генеративной модели с одномерной скрытой переменной (arXiv)
Автор: Хёк Гю Квон, Мин У Чэ
Аннотация: Глубокая генеративная модель дает неявную оценку неизвестного распределения или функции плотности наблюдения. В этой статье исследуются некоторые статистические свойства неявной оценки плотности, используемой методами типа VAE на основе непараметрической структуры оценки плотности. Более конкретно, мы получаем скорость сходимости оценки плотности типа VAE в предположении, что лежащая в основе истинная функция плотности принадлежит локальному классу Гёльдера. Примечательно, что оптимальная скорость, близкая к минимаксу, по метрике Хеллингера может быть достигнута с помощью простейшей сетевой архитектуры — мелкой генеративной модели с одномерной скрытой переменной. Доказательство основной теоремы опирается на хорошо известный результат из непараметрической байесовской литературы о том, что гладкая плотность с подходящим затухающим хвостом может эффективно аппроксимироваться конечной смесью нормальных распределений. Мы также обсуждаем альтернативное доказательство, которое предлагает важные идеи и предполагает потенциальное расширение оценки структурированной плотности. △
2.DEnsity: метрика оценки диалога в открытом домене с использованием оценки плотности (arXiv)
Автор: Чэхун Пак, Сынгиль Чад Ли, Дэниел Рим, Чжегул Чу.
Аннотация: Несмотря на недавние достижения в области диалоговых систем открытого домена, построение надежных показателей оценки по-прежнему остается сложной проблемой. Недавние исследования предложили обучаемые метрики, основанные на классификационных моделях, обученных различать правильный ответ. Однако известно, что нейронные классификаторы делают слишком уверенные прогнозы для примеров из невидимых распределений. Мы предлагаем DEnsity, который оценивает ответ, используя оценку плотности в пространстве признаков, полученном с помощью нейронного классификатора. Наша метрика измеряет вероятность появления ответа при распределении человеческих разговоров. Более того, чтобы повысить производительность DEnsity, мы используем контрастное обучение для дальнейшего сжатия пространства функций. Эксперименты с наборами данных для оценки множественных ответов показывают, что DEnsity лучше коррелирует с человеческими оценками, чем существующие показатели. Наш код доступен по адресу https://github.com/ddehun/DEnsity.
