Как карьерный технический менеджер по продуктам, специализирующийся на AI/ML и поисковых системах, я часто использовал мощь графов знаний и их способность представлять информацию в виде семантической сети сущностей и отношений. Графы знаний нашли широкое применение в таких приложениях, как релевантность поисковых систем, устранение неоднозначности сущностей и системы рекомендаций (и это далеко не все).
Но знаете ли вы, что графы знаний могут быть чрезвычайно мощными при использовании в сочетании с нейронными сетями? Они достигают этого, комбинируя более формальное символическое представление человеческого знания, которое машины могут легко понять (используя графовую базу данных), с коннекционистским подходом нейронных сетей.
В рамках моего недавнего интереса я хотел рассмотреть несколько методов, иллюстрирующих основные способы использования графов знаний в сочетании с нейронными сетями. Я надеюсь, что это интересно и полезно для вас, как это было для меня. Если вы сегодня используете KG и NN вместе, напишите мне об этом!
Как всегда, я стараюсь писать об этих темах ML/AI таким образом, чтобы они были понятны как бизнес-пользователям, так и инженерам, и стараюсь включать достаточно подробностей, чтобы передать суть каждой из концепций, не утопая при этом в ненужных мелочах. .
Встраивания диаграммы знаний
Один из подходов включает создание вложений или векторных представлений сущностей и отношений графа знаний. Эти вложения могут использоваться в качестве входных данных для нейронных сетей, что позволяет им использовать структурированную информацию, закодированную в графе. Эта интеграция оказалась полезной во многих задачах, таких как предсказание ссылок, устранение неоднозначности сущностей и системы рекомендаций. Методы встраивания графов, такие как TransE, DistMult и RotatE, являются яркими примерами этого метода.
Графические нейронные сети (GNN) —чертовски круто!
Другой способ объединить графы знаний с нейронными сетями — использовать графовые нейронные сети (GNN). GNN предназначены для работы непосредственно с данными, структурированными в виде графов, что делает их идеальными для обработки информации из графов знаний. Их можно использовать для классификации узлов, прогнозирования ссылок и задач построения графов. Популярные архитектуры GNN включают сверточные сети графов (GCN), сети внимания графов (GAT) и GraphSAGE.
Механизмы внимания
Механизмы внимания, ставшие основой современных нейронных сетей, также можно применять к графам знаний. Научившись сосредотачиваться на соответствующих частях графика, эти механизмы позволяют нейронным сетям получать доступ и использовать наиболее подходящую информацию для данной задачи. Например, при обработке естественного языка механизмы внимания могут помочь сети устранить неоднозначность значений слов и фраз, обращая внимание на соответствующие объекты и отношения в графе знаний.
«Нам нужно двигаться вперед по вещам, которые в настоящее время не работают. Нам нужно двигаться к системам, которые лучше понимают мир. Это, вероятно, потребует включения гораздо большего количества предварительных знаний, гораздо большего количества фоновых знаний, гораздо большего количества знаний здравого смысла в обучающиеся машины». - Янн ЛеКун, во время интервью ZDNet в 2019 году.
Нейронное мышление
Нейронное мышление — это еще один метод, объединяющий графы знаний с нейронными сетями. В этом подходе нейронные сети обучаются выполнять задачи логического мышления над структурированной информацией в графе знаний. Научившись рассуждать через отношения между объектами, нейронные сети можно использовать для ответа на сложные вопросы, делать выводы и обнаруживать скрытые закономерности в данных. Одним из примечательных примеров нейронных рассуждений является Нейронный доказатель теорем (NTP), который использует граф знаний для изучения логических правил и рассуждений о невидимых фактах.
Многозадачное обучение
Многозадачное обучение — это метод, при котором одна нейронная сеть обучается выполнять несколько задач одновременно. Включив графы знаний в многозадачное обучение, нейронная сеть может извлечь выгоду из структурированной информации, чтобы улучшить свою производительность при выполнении нескольких задач. Этот подход может привести к более эффективному обучению и лучшему обобщению, поскольку сеть может использовать общие знания, закодированные в графе.
Разнообразные методы объединения графов знаний и нейронных сетей открывают новые захватывающие возможности для расширения возможностей обеих технологий. Изучая эти инновационные подходы, мы можем раскрыть истинный потенциал систем искусственного интеллекта и раздвинуть границы их возможностей.
Дополнительная литература
В своей книге «Перезагрузка ИИ: создание искусственного интеллекта, которому мы можем доверять» Гэри Маркус и Эрнест Дэвис подчеркивают необходимость объединения сильных сторон как глубокого обучения, так и классического ИИ для создания более надежных и надежных систем ИИ.
