Оригинал статьи принадлежит Ромену Паулюсу, Каймингу Сюнгу и Ричарду Сошеру из Salesforce.com. Первоначальное название - Глубоко усиленная модель для абстрактного обобщения. Он был опубликован 19 мая 2017 года. Оригинал статьи можно найти здесь. Оригинальная запись в блоге автора о статье находится здесь.

Постановка проблемы, которая движет бумагой, не нова, но все же важна, поскольку становится все более актуальной:

  1. Большая тенденция: контент создается каждый день.
  2. Конкретный объем: Объем текстового содержания также увеличивается. (Текстовое содержимое, создаваемое пользователями - социальные сети, самооценка новостей, блоггеры и т. Д.)
  3. Способность и скорость людей потреблять контент ограничены индивидуальными возможностями

В документе предлагается решение: сделать более длинный текст короче за счет резюмирования и, следовательно, улучшить способность людей к потреблению. (Опять не новое решение). Новое в документе - это предлагаемые улучшения существующей проблемы НЛП в поиске хорошего решения для резюмирования:

  1. более контекстная модель генерации слов
  2. новый способ обучения моделям реферирования с помощью обучения с подкреплением (RL).

Эти два новых улучшения помогают создавать резюме из более длинных текстов, которые легко читаются и актуальны. Прежде чем углубляться в детали вклада этих авторов. Справочная информация о проблемах, с которыми сталкивается резюмирование текста, необходима и представлена ​​авторами, например:

Обзор текущих решений по обобщению текста

Резюмирование текста может быть выполнено одним из следующих способов:

  1. Извлечение: копирование и вставка ключевых и релевантных фраз из оригинала в предложения. PRO: надежный, поскольку используется естественный язык оригинала. Минусы: не гибкость, так как не вводятся новые коннекторы + новые слова, нельзя перефразировать.
  2. Абстракция: фактически абстракция от оригинала. ЗА: довольно очевидные Минусы: сложно придумать модель для генерации связных фраз и т. Д., И они делают много ошибок.

Проблемы с фактической реализацией абстрактного реферирования текста раньше: в выводе «отсутствовало ощущение общей согласованности, последовательности и удобочитаемости». В данной статье делается попытка решить эту проблему путем разработки абстрактной модели, решающей эту проблему.

Актуальный обзор решения статьи

Основные строительные блоки

Кодирование / чтение: RNN (рекуррентная нейронная сеть) - это алгоритм глубокого обучения, используемый для обработки последовательностей входных данных - модель читает предложение слово за словом в последовательности. Каждое слово представлено как скрытый слой.

Декодирование / генерация: Точно так же RNN также может использоваться для генерации выходных данных (хотя и другая модель RNN).

Уловка: модели RNN как кодирования, так и декодирования могут быть объединены таким образом, что «конечное скрытое состояние входного RNN используется в качестве начального скрытого состояния выходного RNN». Фреймворк называется моделью кодировщика / декодера.

Предостережения, хотя это очень важные тактические детали:

  1. В этой статье кодировщик RNN представляет собой двунаправленный считыватель с двумя моделями. Предложения читаются в обе стороны. Одна модель читает вперед, а другая - назад.
  2. Временное внимание: декодер RNN оглядывается на части входного документа при генерации новых слов. Таким образом, контекстная информация собирается с помощью функции внимания. Функция внимания дополнительно модулируется для улучшения информационного охвата вывода.
  3. Функция внимания внутри декодера: эта функция просматривает предыдущие скрытые состояния RNN декодера.
  4. Комбинация временного внимания + внимания внутри декодера генерирует следующее слово в резюме.

Обучение модели

Распространенный метод обучения: Алгоритм принуждения учителя (другая статья). Модель генерирует сводку и использует справочную сводку для пословной проверки частоты ошибок. МИНУСЫ: слишком много замечает справочную сводку, и она не гибкая. Достоинства: помогает обеспечить хороший языковой поток

Предпочтительный алгоритм: Обучение с подкреплением (RL). RL создает сводку и использует справочную сводку для оценки того, насколько хорошо полученная сводка сравнивается. Оценка указывает, что модель должна обновлять сама по себе. Достоинства: улучшает общую запоминаемость - вся важная информация действительно суммируется

Алгоритм, используемый в статье: используются как алгоритм принуждения учителя, так и алгоритм обучения с подкреплением, поскольку требуется контроль как на уровне слов, так и на уровне резюме.

Оценка модели

ROUGE: для оценки сущности используется ориентированный на отзыв дублер. Он работает, сравнивая подфразы в сгенерированных сводках с подфразами в сводках наземных справочных материалов. Используются различные варианты оценки Руж. Как и любой другой результат, чем выше, тем лучше.

Модель Производительность

«Комбинация нашей модели RNN внимания внутри декодера с совместным контролируемым обучением и обучением RL улучшает этот результат до 39,87 и 41,16 только с RL», в то время как «наивысший балл ROUGE-1 за абстрактное обобщение в наборе данных CNN / Daily Mail составил 35,46. . »

Читабельность модели только для RL страдает, хотя из-за более высокого балла Rouge.

Вот образец резюме, созданного алгоритмом, чтобы узнать больше, вернитесь к статье:

Бумага запоздалой мысли

Прочитав несколько предоставленных примеров, я был поражен тем, насколько качественным стало контролируемое резюме → оно чрезвычайно читабельно и плавно. С другой стороны, мне интересно, насколько адаптируемой является модель для генерации резюме для любого документа без основополагающей истины.

Ромен Паулюс, Кайминг Сюн и Ричард Сохер. 2017.
Модель с глубоким усилением для абстрактного обобщения