Оригинал статьи принадлежит Ромену Паулюсу, Каймингу Сюнгу и Ричарду Сошеру из Salesforce.com. Первоначальное название - Глубоко усиленная модель для абстрактного обобщения. Он был опубликован 19 мая 2017 года. Оригинал статьи можно найти здесь. Оригинальная запись в блоге автора о статье находится здесь.
Постановка проблемы, которая движет бумагой, не нова, но все же важна, поскольку становится все более актуальной:
- Большая тенденция: контент создается каждый день.
- Конкретный объем: Объем текстового содержания также увеличивается. (Текстовое содержимое, создаваемое пользователями - социальные сети, самооценка новостей, блоггеры и т. Д.)
- Способность и скорость людей потреблять контент ограничены индивидуальными возможностями
В документе предлагается решение: сделать более длинный текст короче за счет резюмирования и, следовательно, улучшить способность людей к потреблению. (Опять не новое решение). Новое в документе - это предлагаемые улучшения существующей проблемы НЛП в поиске хорошего решения для резюмирования:
- более контекстная модель генерации слов
- новый способ обучения моделям реферирования с помощью обучения с подкреплением (RL).
Эти два новых улучшения помогают создавать резюме из более длинных текстов, которые легко читаются и актуальны. Прежде чем углубляться в детали вклада этих авторов. Справочная информация о проблемах, с которыми сталкивается резюмирование текста, необходима и представлена авторами, например:
Обзор текущих решений по обобщению текста
Резюмирование текста может быть выполнено одним из следующих способов:
- Извлечение: копирование и вставка ключевых и релевантных фраз из оригинала в предложения. PRO: надежный, поскольку используется естественный язык оригинала. Минусы: не гибкость, так как не вводятся новые коннекторы + новые слова, нельзя перефразировать.
- Абстракция: фактически абстракция от оригинала. ЗА: довольно очевидные Минусы: сложно придумать модель для генерации связных фраз и т. Д., И они делают много ошибок.
Проблемы с фактической реализацией абстрактного реферирования текста раньше: в выводе «отсутствовало ощущение общей согласованности, последовательности и удобочитаемости». В данной статье делается попытка решить эту проблему путем разработки абстрактной модели, решающей эту проблему.
Актуальный обзор решения статьи
Основные строительные блоки
Кодирование / чтение: RNN (рекуррентная нейронная сеть) - это алгоритм глубокого обучения, используемый для обработки последовательностей входных данных - модель читает предложение слово за словом в последовательности. Каждое слово представлено как скрытый слой.
Декодирование / генерация: Точно так же RNN также может использоваться для генерации выходных данных (хотя и другая модель RNN).
Уловка: модели RNN как кодирования, так и декодирования могут быть объединены таким образом, что «конечное скрытое состояние входного RNN используется в качестве начального скрытого состояния выходного RNN». Фреймворк называется моделью кодировщика / декодера.
Предостережения, хотя это очень важные тактические детали:
- В этой статье кодировщик RNN представляет собой двунаправленный считыватель с двумя моделями. Предложения читаются в обе стороны. Одна модель читает вперед, а другая - назад.
- Временное внимание: декодер RNN оглядывается на части входного документа при генерации новых слов. Таким образом, контекстная информация собирается с помощью функции внимания. Функция внимания дополнительно модулируется для улучшения информационного охвата вывода.
- Функция внимания внутри декодера: эта функция просматривает предыдущие скрытые состояния RNN декодера.
- Комбинация временного внимания + внимания внутри декодера генерирует следующее слово в резюме.
Обучение модели
Распространенный метод обучения: Алгоритм принуждения учителя (другая статья). Модель генерирует сводку и использует справочную сводку для пословной проверки частоты ошибок. МИНУСЫ: слишком много замечает справочную сводку, и она не гибкая. Достоинства: помогает обеспечить хороший языковой поток
Предпочтительный алгоритм: Обучение с подкреплением (RL). RL создает сводку и использует справочную сводку для оценки того, насколько хорошо полученная сводка сравнивается. Оценка указывает, что модель должна обновлять сама по себе. Достоинства: улучшает общую запоминаемость - вся важная информация действительно суммируется
Алгоритм, используемый в статье: используются как алгоритм принуждения учителя, так и алгоритм обучения с подкреплением, поскольку требуется контроль как на уровне слов, так и на уровне резюме.
Оценка модели
ROUGE: для оценки сущности используется ориентированный на отзыв дублер. Он работает, сравнивая подфразы в сгенерированных сводках с подфразами в сводках наземных справочных материалов. Используются различные варианты оценки Руж. Как и любой другой результат, чем выше, тем лучше.
Модель Производительность
«Комбинация нашей модели RNN внимания внутри декодера с совместным контролируемым обучением и обучением RL улучшает этот результат до 39,87 и 41,16 только с RL», в то время как «наивысший балл ROUGE-1 за абстрактное обобщение в наборе данных CNN / Daily Mail составил 35,46. . »
Читабельность модели только для RL страдает, хотя из-за более высокого балла Rouge.
Вот образец резюме, созданного алгоритмом, чтобы узнать больше, вернитесь к статье:
Бумага запоздалой мысли
Прочитав несколько предоставленных примеров, я был поражен тем, насколько качественным стало контролируемое резюме → оно чрезвычайно читабельно и плавно. С другой стороны, мне интересно, насколько адаптируемой является модель для генерации резюме для любого документа без основополагающей истины.
Ромен Паулюс, Кайминг Сюн и Ричард Сохер. 2017.
Модель с глубоким усилением для абстрактного обобщения