Основы генерации естественного языка
- Стеклянный потолок автоматической оценки в генерации естественного языка(arXiv)
Автор:Пьер Коломбо, Максим Пейрар, Натан Нуари, Роберт Уэст, Пабло Пьянтанида
Аннотация . Метрики автоматической оценки, способные заменить человеческие суждения, имеют решающее значение для быстрой разработки новых методов. Таким образом, многочисленные исследовательские усилия были сосредоточены на разработке таких показателей. В этой работе мы делаем шаг назад и анализируем недавний прогресс, сравнивая совокупность существующих автоматических метрик и человеческих метрик в целом. Поскольку метрики используются на основе того, как они ранжируют системы, мы сравниваем метрики в пространстве ранжирования систем. Наш обширный статистический анализ показывает удивительные результаты: автоматические метрики — старые и новые — гораздо больше похожи друг на друга, чем на человека. Автоматические метрики не дополняют друг друга и ранжируют системы аналогичным образом. Поразительно, но человеческие метрики предсказывают друг друга намного лучше, чем комбинация всех автоматических метрик, используемых для прогнозирования человеческой метрики. Это удивительно, потому что человеческие метрики часто разрабатываются как независимые, чтобы отражать различные аспекты качества, например. достоверность содержимого или читабельность. Мы предлагаем обсуждение этих выводов и рекомендации для будущей работы в области оценки.
2.Демократизация этической оценки моделей генерации естественного языка(arXiv)
Автор: Амин Расех, Ян Айзенберг
Аннотация:модели генерации естественного языка — это компьютерные системы, которые генерируют связный язык при запросе последовательности слов в качестве контекста. Несмотря на их повсеместное распространение и множество полезных применений, модели генерации языков также могут нанести общественный вред, создавая дискриминационные высказывания, ненавистнические высказывания, богохульный контент и другие вредоносные материалы. Поэтому этическая оценка этих моделей имеет решающее значение. Но это также сложная задача, требующая опыта в нескольких специализированных областях, таких как компьютерная лингвистика и социальная справедливость. Хотя исследовательское сообщество добилось значительных успехов в этой области, доступность таких этических оценок для широких слоев населения ограничена из-за высоких входных барьеров. В этой статье представлен новый инструмент для демократизации и стандартизации этической оценки моделей генерации естественного языка: Инструмент для этической оценки моделей генерации языка (TEAL), компонент Credo AI Lens, системы оценки с открытым исходным кодом.
3.Творческое письмо учеников и ИИ: педагогические стратегии применения генерации естественного языка в школах(arXiv)
Автор: Дэвид Джеймс Ву, Янжи Ван, Хэнки Сусанто.
Аннотация : Генерация естественного языка ИИ (NLG) – это процесс, при котором компьютерные системы генерируют тексты на понятном человеку языке из информации. Он может стать неотъемлемой частью творческого процесса письма человека. Важно отметить, что молодые люди могут научиться применять NLG в обычном образовании и лучше подготовиться к писательским работам с использованием ИИ и другим писательским начинаниям. Чтобы изучить, как учащиеся применяют NLG в творческом письме, мы разработали и провели 1-й конкурс творческого письма человека и ИИ в средней школе Гонконга. В этом конкурсе каждый студент-участник написал короткий рассказ объемом до 500 слов, используя собственные слова студента и слова, сгенерированные компьютером и построенные на языковых моделях с открытым исходным кодом. Мы разработали четыре текстовых генератора для конкурса в качестве ввода текста на компьютере. Кроме того, используя исследования, основанные на дизайне, мы разработали семь семинаров, на которых студенты учились писать с помощью четырех текстовых генераторов и отвечали на вопросы для размышления. Анализируя короткие рассказы четырех учащихся и оценки судей за рассказы, мы обнаружили различные стратегии с точки зрения количества и типа слов генератора текста, которые использовали учащиеся. Некоторые стратегии оказались более изощренными, чем другие. Анализируя размышления учащихся, мы обнаружили, что учащиеся могут описывать ввод и вывод текстового генератора как единицы мысли. Кроме того, студенты отдавали предпочтение текстовым генераторам; и они выражали целый ряд чувств, когда писали с помощью текстовых генераторов. Полученные результаты дают представление о последствиях дизайна не только для приложений NLG в формальном школьном образовании, но также предлагают педагогические стратегии для учебной программы ИИ.
