- Линейное межъязыковое сопоставление вложений предложений (arXiv)
Автор : Олег Васильев, Фумика Исоно, Джон Боханнон.
Аннотация: Семантика предложения определяется с гораздо меньшей неоднозначностью, чем семантика отдельного слова, и она должна лучше сохраняться при переводе на другой язык. Если многоязычные вложения предложений предназначены для представления семантики предложений, то сходство между вложениями любых двух предложений должно быть инвариантным по отношению к переводу. Основываясь на этом предложении, мы рассматриваем простое линейное межъязыковое отображение как возможное улучшение многоязычных вложений. Мы также рассматриваем отклонение от условий ортогональности как меру дефектности вложений
2. Предварительное обучение двойному выравниванию для встраивания межъязыковых предложений (arXiv)
Автор: Цзихэн Ли, Шаохань Хуан, Цзыхан Чжан, Чжи-Хун Дэн, Цян Лу, Хайчжэнь Хуан, Цзянь Цзяо, Фуру Вэй, Вэйвэй Дэн, Ци Чжан
Аннотация: Недавние исследования показали, что модели двойного кодировщика, обученные с помощью задачи ранжирования перевода на уровне предложений, являются эффективными методами для межъязыкового встраивания предложений. Однако наше исследование показывает, что выравнивание на уровне токенов также имеет решающее значение в многоязычных сценариях, которые ранее не были полностью изучены. Основываясь на наших выводах, мы предлагаем структуру предварительного обучения (DAP) с двойным выравниванием для межъязыкового встраивания предложений, которая включает выравнивание как на уровне предложений, так и на уровне токенов. Чтобы достичь этого, мы вводим новую задачу обучения переводу представления (RTL), где модель учится использовать одностороннее контекстуализированное представление токенов для восстановления своего аналога перевода. Эта цель реконструкции побуждает модель встраивать информацию о переводе в представление токена. По сравнению с другими методами выравнивания на уровне токенов, такими как моделирование языка перевода, RTL больше подходит для архитектур с двойным кодировщиком и эффективен в вычислительном отношении. Обширные эксперименты с тремя межъязыковыми эталонными тестами на уровне предложений показывают, что наш подход может значительно улучшить встраивание предложений. Наш код доступен по адресу https://github.com/ChillingDream/DAP.
