- Лапласианский подход к избыточному сглаживанию на основе дробного графа(arXiv)
Автор:Сохир Маскей, Раффаэле Паолино, Арас Бачо, Гитта Кутынёк
Аннотация. Графовые нейронные сети (GNN) продемонстрировали самые современные характеристики в различных приложениях. Тем не менее, GNN часто с трудом фиксируют дальние зависимости на графиках из-за чрезмерного сглаживания. В этой статье мы обобщаем концепцию пересглаживания неориентированных графов на ориентированные. С этой целью мы расширяем понятие энергии Дирихле, рассматривая направленный симметрично нормализованный лапласиан. Поскольку сверточные сети с ванильным графом склонны к чрезмерному сглаживанию, мы принимаем структуру ODE нейронного графа. В частности, мы предлагаем нейронные ОДУ Лапласа с дробным графом, которые описывают нелокальную динамику. Мы доказываем, что наш подход позволяет распространять информацию между удаленными узлами, сохраняя при этом низкую вероятность дальних переходов. Кроме того, мы показываем, что наш метод является более гибким в отношении сходимости энергии Дирихле графа, тем самым уменьшая чрезмерное сглаживание. Мы проводим обширные эксперименты с синтетическими и реальными графами, как направленными, так и неориентированными, демонстрируя универсальность нашего метода на различных уровнях гомофилии графов. Наш код доступен по адресу https://github.com/RPaolino/fLode.
2. Сходство Хэмминга и лапласианы графов для разделения классов и обнаружения враждебных изображений (arXiv)
Автор: Хума Джамиль, Яцзин Лю, Тургай Чаглар, Кристина М. Коул, Натаниэль Бланшар, Кристофер Петерсон, Майкл Кирби.
Аннотация. Исследователи обычно изучают представления нейронных сетей, изучая выходные данные активации для одного или нескольких слоев сети. Здесь мы исследуем потенциал паттернов активации ReLU (закодированных в виде битовых векторов), чтобы помочь в понимании и интерпретации поведения нейронных сетей. Мы используем матрицы репрезентативных различий (RDM) для исследования согласованности данных в пространствах вложений глубокой нейронной сети. Из каждого слоя сети мы извлекаем и используем битовые векторы для построения показателей сходства между изображениями. Из этих оценок сходства мы строим матрицу сходства для набора изображений, взятых из двух классов. Затем мы применяем разбиение Фидлера к связанной матрице Лапласа, чтобы разделить классы. Наши результаты показывают, с помощью представлений битового вектора, что сеть продолжает улучшать обнаруживаемость классов, при этом последний уровень ReLU достигает точности разделения выше 95%. Кроме того, мы демонстрируем, что битовые векторы помогают в обнаружении враждебных изображений, снова достигая точности более 95% при разделении враждебных и не враждебных изображений с использованием простого классификатора.
