- Моделирование динамического гетерогенного графа и важности узлов для прогнозирования цитирования в будущем (arXiv)
Автор: Хао Гэн, Дэцин Ван, Фучжэнь Чжуан, Сюэхуа Мин, Чэнгуан Ду, Тин Цзян, Хаолун Го, Жуй Лю.
Аннотация: Точный прогноз количества цитирований недавно опубликованных статей может помочь редакторам и читателям быстро определить влиятельные статьи в будущем. Хотя для прогнозирования будущей цитируемости статьи предлагается множество подходов, большинство из них игнорируют динамическую гетерогенную структуру графа или важность узлов в академических сетях. Чтобы справиться с этой проблемой, мы предлагаем обучающую среду динамической гетерогенной сети графов и узлов (DGNI), которая полностью использует динамические гетерогенные графы и информацию о важности узлов для прогнозирования будущих тенденций цитирования недавно опубликованных статей. Во-первых, предоставляется модуль встраивания динамической гетерогенной сети, чтобы фиксировать динамические эволюционные тенденции всей академической сети. Затем предлагается модуль встраивания важности узла, чтобы зафиксировать отношение глобальной согласованности, чтобы определить важность узла каждой статьи. Наконец, вложения динамического эволюционного тренда и вложения важности узлов, рассчитанные выше, объединяются для совместного прогнозирования будущих показателей цитирования каждой статьи с помощью модели логарифмически нормального распределения в соответствии с многогранными представлениями узлов бумаги. Обширные эксперименты на двух крупномасштабных наборах данных демонстрируют, что наша модель значительно улучшает все показатели по сравнению с моделями SOTA.
2. Унификация градиентной регуляризации для гетерогенных графовых нейронных сетей (arXiv)
Автор: Сяо Ян, Сюэцзяо Чжао, Чжици Шэнь.
Аннотация: Гетерогенные графовые нейронные сети (HGNN) — это класс мощных методов глубокого обучения, широко используемых для изучения представлений гетерогенных графов. Несмотря на быстрое развитие HGNN, они все еще сталкиваются с некоторыми проблемами, такими как чрезмерное сглаживание и ненадежность. Предыдущие исследования показали, что эти проблемы можно уменьшить, используя методы регуляризации градиента. Однако существующие методы регуляризации градиента сосредоточены либо на топологии графа, либо на характеристиках узлов. Не существует универсального подхода для интеграции этих функций, что сильно влияет на эффективность регуляризации. Кроме того, включение градиентной регуляризации в HGNN иногда приводит к некоторым проблемам, таким как нестабильный процесс обучения, повышенная сложность и недостаточное покрытие регуляризованной информацией. Кроме того, все еще не хватает полного теоретического анализа эффектов регуляризации градиента на HGNN. В этой статье мы предлагаем новый метод регуляризации градиента под названием Grug, который итеративно применяет регуляризацию к градиентам, генерируемым как распространяемыми сообщениями, так и функциями узла в процессе передачи сообщений. Grug предоставляет единую структуру, объединяющую топологию графа и функции узлов, на основе которых мы проводим подробный теоретический анализ их эффективности. В частности, теоретический анализ раскрывает преимущества Grug: 1) уменьшение выборочной дисперсии в процессе обучения (стабильность); 2) Повышение обобщения модели (Универсальность); 3) Снижение сложности модели (Простота); 4) Повышение целостности и разнообразия использования графовой информации (Diversity). В результате у Grug есть потенциал превзойти теоретические верхние границы, установленные DropMessage (выдающиеся документы AAAI-23). Кроме того, мы оцениваем Grug на пяти общедоступных наборах данных реального мира с двумя последующими задачами.
