- GNN-SL: маркировка последовательностей на основе ближайших примеров через GNN(arXiv)
Автор: Шухэ Ван, Юсянь Мэн, Жунбинь Оуян, Цживэй Ли, Тяньвэй Чжан, Линцзюань Лю, Гоинь Ван
Аннотация: чтобы лучше справляться с длинными хвостами в задаче маркировки последовательностей (SL), в этой работе мы вводим маркировку последовательностей графовых нейронных сетей (GNN-SL), которая дополняет выходные данные стандартной модели SL с помощью аналогичные примеры тегов, извлеченные из всего обучающего набора. Поскольку не все извлеченные примеры тегов приносят пользу предсказанию модели, мы строим гетерогенный граф и используем графовые нейронные сети (GNN) для передачи информации между извлеченными примерами тегов и входной последовательностью слов. Расширенный узел, который собирает информацию от соседей, используется для предсказания. Эта стратегия позволяет модели напрямую получать аналогичные примеры тегов и улучшает общее качество прогнозов. Мы проводим множество экспериментов с тремя типичными задачами маркировки последовательностей: распознавание именованных объектов (NER), маркировка частей речи (POS) и сегментация китайских слов (CWS), чтобы продемонстрировать значительную производительность нашего GNN-SL. Примечательно, что GNN-SL достигает результатов SOTA 96,9 (+0,2) по PKU, 98,3 (+0,4) по CITYU, 98,5 (+0,2) по MSR и 96,9 (+0,2) по AS для задачи CWS, и результаты сопоставимы с Производительность SOTA для наборов данных NER и наборов данных POS.
2. GNN на основе моделей для обучения предварительному кодированию(arXiv)
Аннотация: изучение политик предварительного кодирования с помощью нейронных сетей обеспечивает несложную онлайн-реализацию, устойчивость к искажениям канала и совместную оптимизацию с получением канала. Однако существующие нейронные сети страдают от высокой сложности обучения и плохой способности к обобщению, когда они используются для обучения оптимизации предварительного кодирования для уменьшения многопользовательских помех. Это затрудняет их использование в практических системах, где количество пользователей меняется во времени. В этой статье мы предлагаем графовую нейронную сеть (GNN) для изучения политик предварительного кодирования, используя как математическую модель, так и свойства политик. Сначала мы показываем, что обычная GNN не может хорошо выучить псевдообратную матрицу канала, когда количество антенн и пользователей велико, и не может быть обобщена на невидимое количество пользователей. Затем мы разрабатываем GNN, прибегая к расширению псевдообратной матрицы Тейлора, что позволяет уловить важность объединения соседних ребер, что имеет решающее значение для эффективного изучения политик предварительного кодирования. Результаты моделирования показывают, что предложенная GNN может хорошо изучать спектрально-эффективные и энергоэффективные политики предварительного кодирования в одно- и многосотовых многопользовательских многоантенных системах с низкой сложностью обучения и может быть хорошо обобщена на количество пользователей.
