Модели и системы рекомендаций все чаще используются для улучшения взаимодействия с пользователем практически во всех веб-сервисах и мобильных сервисах. Например, поисковые системы используют его для улучшения результатов поиска, веб-сайты электронной коммерции используют его, чтобы рекомендовать пользователям более качественные продукты, платформы потокового видео используйте его, чтобы рекомендовать лучшие фильмы / видео. Мы видели, как рекомендательные системы эволюционировали от упрощенных подходов, таких как ближайшие соседи, алгоритмы на основе правил и т. Д., К подходам глубокого обучения.

В этой статье описываются некоторые современные (SOTA) модели рекомендаций, которые охватывают варианты использования рекомендаций, такие как видео-рекомендация, рекомендация по электронной коммерции, рекомендация в социальных сетях и т. Д. .

Может быть довольно сложно моделировать предпочтения пользователя на основе исторических предпочтений и взаимодействий, но поскольку взаимодействия пользователей основаны только на небольшой части потенциальных взаимодействий, которые может иметь пользователь, с учетом количества элементов, имеющихся в распоряжении пользователей. Это приводит к тому, что в моделях рекомендаций используются как плотные, так и разреженные элементы.

Фигура. 1 описывает «Общая архитектура модели рекомендаций». Плотные функции - это в основном непрерывные вводы, основанные на характеристиках пользователя, а не на взаимодействии элемента с пользователем. Эти плотные функции обычно обрабатываются с использованием классических подходов Deep Neural Network (DNN) (Multilayer Perceptron (MLP) - полносвязные слои (FC)).

Большинство разреженных функций являются результатом взаимодействия элемента с пользователем и являются категориальными входными данными. Поскольку количество таких функций очень велико, а положительное взаимодействие со стороны пользователей очень низкое, приводит к тому, что такие функции взаимодействия элемента с пользователем заканчиваются как редкие функции. У разреженных объектов есть таблица внедрения, которая состоит из набора скрытых векторов внедрения. Строки определяются количеством уникальных категорий функций. Количество элементов в каждом векторе или размер столбца таблицы внедрения определяется количеством скрытых функций, выбранных для представления категории. Разреженные входные данные, которые закодированы как закодированные как одноразовые (или многоразовые) закодированные векторы, используются для индексации определенных строк соответствующей таблицы внедрения.

Сгенерированные векторы таблицы внедрения объединяются с помощью операции объединения разреженных функций, такой как «сумма», «скалярное произведение» или «умножение».

Операции взаимодействия функций, такие как «сумма», «среднее» и «конкатенация», используются для объединения результатов плотных и разреженных функций. Эта комбинация теперь обрабатывается стеками DNN предсказателя.

Результатом стеков DNN является вероятность того, что одна пара элемент-пользователь является успешной рекомендацией. Эта вероятность создается для всех элементов в контексте конкретного пользователя, а затем пользователю отображаются рекомендации / варианты TopN.

Ниже описываются некоторые отраслевые модели рекомендаций SOTA и то, как эти модели связаны с «общей архитектурой моделей рекомендаций», описанной выше.

  1. Совместная нейронная фильтрация (NCF): NCF основана на методе матричной факторизации наряду с MLP и нелинейностями. NCF учитывает только разреженные функции с горячим кодированием, а не стек плотных полностью подключенных (FC), и это немного отличает его от обобщенной модели, описанной выше. Эта модель состоит из набора таблиц встраивания, обслуживающих как пользовательские функции, так и особенности элементов. Стек предикторов NCF - это относительно небольшой стек предикторов. Разреженное объединение в этом случае реализуется с помощью общей матричной факторизации (GMF). Выходные данные GMF обрабатываются стеком MLP.
  2. Широкая и глубокая (WnD): Глубокая модель в WnD, основанная на модели MLP для сопоставления признаков, а широкая модель - это, по сути, линейная модель, основанная на функциях перекрестного произведения для представления элемента-пользователя. взаимодействия. Плотные входные функции не проходят через Dense FC, как описано в обобщенной модели выше, и на самом деле плотные входные функции напрямую объединяются с выходными данными поисков встраивания с горячим кодированием, а затем большой стек MLP дает выходную вероятность удачная рекомендация.
  3. Широкая и глубокая многозадачность (MTWnD): MTWnD использует WnD для прогнозирования не только вероятности того, что элемент-пользователь будет успешной рекомендацией, но и других целей, таких как «частота комментариев», «вероятность получения». «лайк» от пользователя »,« рейтинги »и т. д. MTWnD запускает« N »параллельных стеков FC (« N »представляет количество целей, которые модель должна прогнозировать). Наличие нескольких тезисов помогает получить лучшие рекомендации и, следовательно, улучшить пользовательский опыт.
  4. Модель рекомендаций по глубокому обучению (DLRM RMC1, RMC2, RMC3): Она включает в себя большое количество поисков на уровне внедрения. Он также обрабатывает плотные функции с помощью стека DNN, как описано в обобщенной модели, а затем имеет полностью связанный стек. В зависимости от размера FC и количества поисков существует три различных архитектуры, а именно DLRM-RMC1, DLRM-RMC2 и DLRM-RMC3.
  5. Сеть глубокого интереса (DIN): DIN реализует механизм внимания для взвешивания важности поведения пользователей, располагая локальные блоки активации в верхней части таблиц внедрения. DIN не имеет плотных функций ввода. В модели множество встраиваемых столов разного размера. Таблицы встраивания меньшего размера использовались для функций пользователя и элементов с горячим кодированием, а большие таблицы использовались для входных данных с горячим кодированием с сотнями поисков. Выходные данные этих внедрений с горячим кодированием объединяются в виде взвешенной суммы локальным блоком активации, представляющим «внимание пользователя», затем они объединяются, а затем стеки MLP используются для прогнозирования вероятности элемент-пользователь является успешной рекомендацией.
  6. Сеть развития глубокого интереса (DIEN): в DIEN к DIN добавлены закрытые повторяющиеся единицы (GRU) для взвешивания меняющихся интересов пользователей. После операций с таблицей встраивания выходные данные проходят через многоуровневые ГРУ, основанные на внимании. Остальные векторы внедрения теперь связаны с выходными данными ГРУ. Затем у нас есть небольшой стек FC, который теперь предсказывает вероятность того, что элемент-пользователь будет успешной рекомендацией.

Ссылки:

  1. Б. Сарвар, Г. Карипис, Дж. Констан и Дж. Ридл, «Алгоритмы рекомендаций совместной фильтрации на основе элементов», в Труды 10-й Международной конференции по всемирной паутине, WWW ' 01. С. 285–295, АКМ, 2001.
  2. X. He, L. Liao, H. Zhang, L. Nie, X. Hu и T.-S. Чуа, «Совместная нейронная фильтрация», в Proceedings of the 26th International Conference on World Wide Web, WWW '17, (Республика и кантон Женева, Швейцария), стр. 173–182, International Руководящий комитет конференций World Wide Web, 2017 г.
  3. Х.-Т. Cheng, L. Koc, J. Harmsen, T. Shaked, T. Chandra, H. Aradhye, G. Anderson, G. Corrado, W. Chai, M. Ispir, et al., " Широкое и глубокое обучение для рекомендательных систем », в Труды 1-го семинара по глубокому обучению для рекомендательных систем, стр. 7–10, ACM, 2016.
  4. Г. Чжоу, X. Чжу, К. Сонг, Ю. Фань, Х. Чжу, X. Ма, Ю. Ян, Дж. Цзинь, Х. Ли и К. Гай, «Сеть с глубоким интересом для оценки CTR. предсказание », в Протоколах 24-й Международной конференции ACM SIGKDD по обнаружению знаний и интеллектуальному анализу данных, стр. 1059–1068, ACM, 2018.
  5. Г. Чжоу, Н. Моу, Ю. Фан, К. Пи, В. Биан, К. Чжоу, X. Чжу и К. Гай, «Сеть глубокой эволюции интереса для прогнозирования рейтинга кликов», в Труды конференции AAAI по искусственному интеллекту, т. 33. С. 5941–5948, 2019.
  6. З. Чжао, Л. Хонг, Л. Вэй, Дж. Чен, А. Нат, С. Эндрюс, А. Кумтекар, М. Сатиамурти, X. И и Э. Чи, «Рекомендации, какое видео смотреть дальше: A многозадачная система ранжирования », в Протоколах 13-й конференции ACM по рекомендательным системам, RecSys '19 (Нью-Йорк, Нью-Йорк, США), стр. 43–51, ACM, 2019.
  7. У. Гупта, X. Ван, М. Наумов, C.-J. Wu, B. Reagen, D. Brooks, B. Cottel, K. Hazelwood, B. Jia, H.-H. С. Ли, и др., «Архитектурные последствия персонализированной рекомендации facebook на основе dnn», препринт arXiv arXiv: 1906.03109, 2019.
  8. «Обновление Netflix: попробуйте это дома». https: //sifter.org∼simon/journal/20061211.html.
  9. Ю. Корен, Р. Белл, К. Волинский, «Методы матричной факторизации для рекомендательных систем», Компьютер, т. 42, стр. 30–37, август 2009 г.
  10. Удит Гупта, Самуэль Ся, Викрам Сараф, Сяодун Ван, Брэндон Реаген, Гу-Ён Вэй, Сянь-Синь С. Ли, Дэвид Брукс, Кэрол-Жан Ву, и другие, DeepRecSys: A Система оптимизации сквозного вывода нейронных рекомендаций на уровне масштабов », https://arxiv.org/pdf/2001.02772.pdf .