- Риторическая ролевая маркировка юридических документов с использованием преобразователей и графовых нейронных сетей (arXiv)
Автор: Аншика Гупта, Шаз Мебельвала, Виджай Кумари, Яшвардхан Шарма.
Аннотация: Юридический документ, как правило, длинный и плотный, и для его разбора требуется человеческое усилие. Он также содержит значительное количество жаргона, из-за чего получение информации с использованием существующих моделей является плохим подходом. В этом документе представлены подходы, предпринятые для выполнения задачи риторической маркировки ролей в решениях индийского суда в рамках задания SemEval 6: понимание юридических текстов, общая подзадача A. Мы экспериментируем с подходами на основе графов, такими как сверточные сети графов и алгоритм распространения меток, а также трансформатор основанные на подходах, включая варианты BERT, для повышения точности классификации текстов сложных юридических документов
2.X-RLflow: обучение усилению графа для преобразования подграфов нейронной сети (arXiv)
Автор: Голян Хэ, Шон Паркер, Эйко Ёнеки.
Аннотация: Системы супероптимизации тензорных графов выполняют последовательность замены подграфов в нейронных сетях, чтобы найти оптимальную структуру вычислительного графа. Такой процесс преобразования графа естественным образом попадает в рамки последовательного принятия решений, и существующие системы обычно используют подход жадного поиска, который не может исследовать все пространство поиска, поскольку он не может допустить временной потери производительности. В этой статье мы решаем проблему супероптимизации тензорного графа, исследуя альтернативный подход к поиску, обучение с подкреплением (RL). Предложенный нами подход, X-RLflow, может научиться выполнять перезапись графа потока данных нейронной сети, которая заменяет подграф по одному. X-RLflow основан на агенте RL без моделей, который использует графовую нейронную сеть (GNN) для кодирования целевого графа вычислений и итеративно выводит преобразованный граф вычислений. Мы показываем, что наш подход может превзойти современные системы супероптимизации в ряде моделей глубокого обучения и достичь до 40 % по сравнению с моделями, основанными на архитектурах трансформера.
