- Функция потерь на основе неравенства Дженсена второго порядка и его применение к выводу о вариациях частиц (arXiv)
Автор: Футоши Футами, Томохару Ивата, Наонори Уэда, Иссей Сато, Масаси Сугияма.
Аннотация: усреднение байесовской модели, полученное как математическое ожидание функции правдоподобия по апостериорному распределению, широко используется для прогнозирования, оценки неопределенности и выбора модели. Были разработаны различные подходы для эффективного сбора информации в апостериорном распределении; одним из таких подходов является оптимизация набора моделей одновременно с взаимодействием, чтобы обеспечить разнообразие отдельных моделей так же, как и ансамблевое обучение. Репрезентативным подходом является вариационный вывод частиц (PVI), который использует ансамбль моделей в качестве эмпирического приближения для апостериорного распределения. PVI итеративно обновляет каждую модель силой отталкивания, чтобы обеспечить разнообразие оптимизированных моделей. Однако, несмотря на его многообещающие характеристики, теоретическое понимание этого отталкивания и его связи со способностью к обобщению остается неясным. В этой статье мы решаем эту проблему в свете PAC-Байесовского анализа. Во-первых, мы приводим новое неравенство Дженсена второго порядка, в котором член отталкивания основан на функции потерь. Благодаря члену отталкивания оно более жесткое, чем стандартное неравенство Дженсена. Затем мы получаем новую границу ошибки обобщения и показываем, что ее можно уменьшить за счет расширения разнообразия моделей. Наконец, мы получаем новую PVI, которая напрямую оптимизирует связанную ошибку обобщения. Численные эксперименты показывают, что производительность предлагаемого PVI выгодно отличается от существующих методов в эксперименте.
2. Об обратном операторе неравенства Чой-Дэвиса-Йенсена (arXiv)
Автор: Сейед Саид Хашеми Каруэй, Мохаммад Садег Асгари, Мохсен Шах Хоссейни.
Аннотация: В этой статье мы сначала даем лучшую оценку второго неравенства в неравенстве Эрмита-Адамара. Далее мы изучаем обратную сторону знаменитого неравенства Дэвиса-Чоя-Йенсена. Наши результаты используются для установления новой оценки операторного неравенства Канторовича.
