- Улучшение крупномасштабных диалоговых помощников с помощью выбора обучающей выборки на основе интерпретации модели
Автор:Стефан Шредл, Маной Кумар, Киана Хаджеби, Мортеза Зияди, Шрирам Венкатапати, Анил Рамакришна, Рахул Гупта, Прадип Натараджан
Вывод. Модели понимания естественного языка (NLU) являются основным компонентом крупномасштабных диалоговых помощников. Сбор обучающих данных для этих моделей с помощью ручных аннотаций является медленным и дорогим, что снижает темпы совершенствования моделей. Мы представляем трехэтапный подход к решению этой проблемы: во-первых, мы идентифицируем большой набор относительно нечастых высказываний из живого трафика, когда пользователи неявно сообщали об удовлетворении ответом (например, не перебивая), наряду с существующими выходными данными модели в качестве кандидатов. аннотации. Во-вторых, мы идентифицируем небольшое подмножество этих высказываний, используя оценки важности на основе интегрированных градиентов, рассчитанные с помощью текущих моделей. Наконец, мы дополняем наши обучающие наборы этими высказываниями и переобучаем наши модели. Мы демонстрируем эффективность нашего подхода в крупномасштабном разговорном помощнике, обрабатывающем миллиарды высказываний каждую неделю. Увеличив нашу обучающую выборку всего на 0,05 % больше высказываний с помощью нашего подхода, мы наблюдаем статистически значимые улучшения для нечастых высказываний хвоста: снижение частоты семантических ошибок (SemER) на 0,45 % в офлайн-экспериментах и снижение частоты дефектов на 1,23 % в онлайн-экспериментах. А/Б-тест
2. Улучшение семантического синтаксического анализа текста в SQL за счет детального понимания запросов(arXiv)
Автор: Стефан Шредл, Манодж Кумар, Киана Хаджеби, Мортеза Зияди, Шрирам Венкатапати, Анил Рамакришна, Рахул Гупта, Прадип Натараджан.
Вывод. Модели понимания естественного языка (NLU) являются основным компонентом крупномасштабных диалоговых помощников. Сбор обучающих данных для этих моделей с помощью ручных аннотаций является медленным и дорогим, что снижает темпы совершенствования моделей. Мы представляем трехэтапный подход к решению этой проблемы: во-первых, мы идентифицируем большой набор относительно нечастых высказываний из живого трафика, когда пользователи неявно сообщали об удовлетворении ответом (например, не перебивая), наряду с существующими выходными данными модели в качестве кандидатов. аннотации. Во-вторых, мы идентифицируем небольшое подмножество этих высказываний, используя оценки важности на основе интегрированных градиентов, рассчитанные с помощью текущих моделей. Наконец, мы дополняем наши обучающие наборы этими высказываниями и переобучаем наши модели. Мы демонстрируем эффективность нашего подхода в крупномасштабном разговорном помощнике, обрабатывающем миллиарды высказываний каждую неделю. Увеличив нашу обучающую выборку всего на 0,05 % больше высказываний с помощью нашего подхода, мы наблюдаем статистически значимые улучшения для нечастых высказываний хвоста: снижение частоты семантических ошибок (SemER) на 0,45 % в офлайн-экспериментах и снижение частоты дефектов на 1,23 % в онлайн-экспериментах. А/Б-тест
3.Улучшение крупномасштабных диалоговых помощников с использованием выбора обучающей выборки на основе интерпретации моделей(arXiv)
Автор:Стефан Шредл, Маной Кумар, Киана Хаджеби, Мортеза Зияди, Шрирам Венкатапати, Анил Рамакришна, Рахул Гупта, Прадип Натараджан
Вывод. Модели понимания естественного языка (NLU) являются основным компонентом крупномасштабных диалоговых помощников. Сбор обучающих данных для этих моделей с помощью ручных аннотаций является медленным и дорогим, что снижает темпы совершенствования моделей. Мы представляем трехэтапный подход к решению этой проблемы: во-первых, мы идентифицируем большой набор относительно нечастых высказываний из живого трафика, когда пользователи неявно сообщали об удовлетворении ответом (например, не перебивая), наряду с существующими выходными данными модели в качестве кандидатов. аннотации. Во-вторых, мы идентифицируем небольшое подмножество этих высказываний, используя оценки важности на основе интегрированных градиентов, рассчитанные с помощью текущих моделей. Наконец, мы дополняем наши обучающие наборы этими высказываниями и переобучаем наши модели. Мы демонстрируем эффективность нашего подхода в крупномасштабном разговорном помощнике, обрабатывающем миллиарды высказываний каждую неделю. Увеличив нашу обучающую выборку всего на 0,05 % больше высказываний с помощью нашего подхода, мы наблюдаем статистически значимые улучшения для нечастых высказываний хвоста: снижение частоты семантических ошибок (SemER) на 0,45 % в офлайн-экспериментах и снижение частоты дефектов на 1,23 % в онлайн-экспериментах. А/Б тесты.
