- Глубокое метрическое обучение с помощью мягких ортогональных прокси (arXiv)
Автор: Фаршад Сабери-Мовахед, Мохаммад К. Эбрагимпур, Фарид Сабери-Мовахед, Монире Мошаваш, Дорса Рахматян, Махваш Мохаззеби, Махди Шариатзаде, Махди Эфтехари.
Аннотация: Модели глубокого метрического обучения (DML) основаны на сильных представлениях и мерах, основанных на сходстве, с определенными функциями потерь. Потери на основе прокси показали большую производительность по сравнению с парными потерями с точки зрения скорости сходимости. Однако прокси, назначенные разным классам, могут оказаться близко расположенными в пространстве встраивания и, следовательно, им будет трудно различить положительные и отрицательные элементы. В качестве альтернативы они могут стать сильно коррелированными и, следовательно, предоставлять избыточную информацию с моделью. Для решения этих проблем мы предлагаем новый подход, который вводит ограничение Soft Orthogonality (SO) на прокси. Ограничение гарантирует, что прокси будут как можно более ортогональными и, следовательно, контролируют их положение в пространстве вложений. Наш подход использует Data-Efficient Image Transformer (DeiT) в качестве кодировщика для извлечения контекстных функций из изображений вместе с целью DML. Целью является потеря прокси-якоря вместе с регуляризацией SO. Мы оцениваем наш метод по четырем общедоступным эталонным тестам для поиска изображений на уровне категорий и демонстрируем его эффективность с помощью всесторонних экспериментальных результатов и исследований абляции. Наши оценки демонстрируют значительное превосходство предложенного нами подхода над современными методами.
2. Приобретение знаний об элементах фрейма с помощью глубокого изучения метрик для индукции семантических фреймов (arXiv)
Автор: Косукэ Ямада, Рёхей Сасано, Коити Такеда.
Аннотация: задачи индукции семантических фреймов определяются как группировка слов в фреймы, которые они вызывают, и группировка их аргументов в соответствии с ролями элементов фрейма, которые они должны выполнять. В этой статье мы рассматриваем последнюю задачу кластеризации аргументов, которая направлена на получение знаний об элементах фрейма, и предлагаем метод, который применяет глубокое метрическое обучение. В этом методе предварительно обученная языковая модель настраивается так, чтобы она подходила для различения ролей элементов фрейма с помощью данных с аннотациями фрейма, а кластеризация аргументов выполняется с помощью вложений, полученных из точной модели. Экспериментальные результаты на FrameNet демонстрируют, что наш метод обеспечивает значительно лучшую производительность, чем существующие методы.
