- GLM-Dialog: устойчивая к шуму предварительная подготовка для создания диалога, основанного на знаниях (arXiv)
Автор: Цзин Чжан, Сяокан Чжан, Даниэль Чжан-Ли, Джифан Юй, Цзыцзюнь Яо, Цзэяо Ма, Ици Сюй, Хаохуа Ван, Сяохань Чжан, Няньи Линь, Сунруи Лу, Цзюаньцзы Ли, Цзе Тан
Аннотация: Мы представляем GLM-Dialog, крупномасштабную языковую модель (LLM) с параметрами 10B, способную вести основанный на знаниях разговор на китайском языке с использованием поисковой системы для доступа к знаниям в Интернете. GLM-Dialog предлагает ряд применимых методов для использования различных внешних знаний, включая как полезные, так и зашумленные знания, что позволяет создавать надежные диалоговые LLM, основанные на знаниях, с ограниченными надлежащими наборами данных. Чтобы оценить GLM-Dialog более справедливо, мы также предлагаем новый метод оценки, позволяющий людям одновременно общаться с несколькими развернутыми ботами и сравнивать их производительность неявно, а не явно оценивать с использованием многомерных показателей. Комплексные оценки от автоматической до человеческой точки зрения демонстрируют преимущества Сравнение GLM-Dialog с существующими моделями китайского диалога с открытым исходным кодом. Мы выпускаем как контрольную точку модели, так и исходный код, а также развертываем ее как приложение WeChat для взаимодействия с пользователями. Мы предлагаем нашу оценочную платформу онлайн, чтобы ускорить разработку моделей с открытым исходным кодом и надежных систем оценки диалогов. Дополнительный простой в использовании набор инструментов, который состоит из коротких текстовых ссылок, создания запросов и полезной классификации знаний, также выпущен для поддержки различных приложений. Весь исходный код доступен на Github
2. CAB: Генерация эмпатического диалога с познанием, привязанностью и поведением (arXiv)
Автор: Пань Гао, Дунхун Хань, Жуй Чжоу, Сюэцзяо Чжан, Цзыкунь Ван.
Аннотация: Эмпатия — важная характеристика, которую следует учитывать при построении более интеллектуального и гуманизированного диалогового агента. Однако существующие методы не полностью понимали эмпатию как сложный процесс, включающий три аспекта: познание, привязанность и поведение. В этой статье мы предлагаем CAB, новую структуру, которая использует всестороннюю перспективу познания, привязанности и поведения для создания эмпатических ответов. Для познания мы прокладываем пути между критическими ключевыми словами в диалоге, используя внешние знания. Это потому, что ключевые слова в диалоге являются ядром предложений. Построение логической связи между ключевыми словами, которая упускается из виду в большинстве существующих работ, может улучшить понимание ключевых слов и контекстуальной логики, тем самым повысить когнитивные способности. Для привязанности мы фиксируем эмоциональные зависимости с двойными латентными переменными, которые содержат эмоции обоих собеседников. Причина в том, что учет эмоций обоих собеседников одновременно помогает изучить эмоциональные зависимости. Что касается поведения, мы используем соответствующие диалоговые акты, чтобы направлять генерацию диалога, чтобы усилить выражение эмпатии. Обширные эксперименты показывают, что наша многоракурсная модель превосходит современные модели как при автоматической, так и при ручной оценке.
