Одна из основных целей Facebook — предоставить каждому пользователю персонализированный опыт. Они делают это, просматривая ваш профиль, взаимодействуя с рекламой и взаимодействуя между людьми, однако они не тратят много времени на понимание самого контента. На ужине «Женщины в машинном интеллекте» в Сан-Франциско 23 января Энни Лю, научный сотрудник, и Кристина Шо, технический руководитель подразделения Computer Vision в Facebook, представят свою текущую работу. в машинном обучении и глубоком обучении. Кристина поделится своей работой в области глубокого обучения релевантности поиска с точки зрения пользователей, а Энни расскажет, как Facebook подходит к проблеме понимания контента, комбинируя сигналы из текста, изображений, видео и аудио.
Я поговорил с Энни в преддверии мероприятия, чтобы узнать больше о ее работе и о том, что нам следует ожидать от ужина на следующей неделе.
Расскажите мне о своей работе в Facebook.
Я работаю в подгруппе в новостной ленте, которая фокусируется на понимании контента (постов) в Facebook. Пост может содержать текст, изображения, видео, смайлики, хэштеги, комментарии, реакции и т. д., и наша цель — использовать все эти сигналы, чтобы придумать содержательные ярлыки для каждого поста. Традиционно существует два подхода к пониманию контента: 1) изучить встраивание контента, 2) явно пометить контент метками. Преимущество 1) в том, что его можно обучить без таксономии. Преимущество 2) заключается в том, что, поскольку эти этикетки являются интерпретируемыми, их можно использовать в различных продуктах. Например, если мы понимаем, что пост посвящен «политике», мы можем дать пользователям возможность увеличить или уменьшить такой контент в своей ленте новостей.
В Facebook мы работаем над обоими подходами, но моя команда уделяет особое внимание подходу 2, где мы поддерживаем таксономию примерно 3000 категорий и строим иерархические модели для классификации сообщений по подмножеству этих категорий. В настоящее время мы классифицируем все сообщения на английском языке, и результаты используются в различных продуктах рекомендаций/ранжирования, чтобы сделать результаты более персонализированными.
Как вы начали свою работу в области машинного обучения и, в частности, в ранжировании и персонализации?
Моя кандидатская диссертация была посвящена статистическому машинному обучению в крупномасштабной сенсорной сети. Хотя это подготовило меня к основам машинного обучения, у меня не было большого опыта ранжирования до прихода в Facebook. Мои первые два года в Facebook были в команде сущностей, работающей над разрешением и классификацией сущностей, и я только начал заниматься ранжированием и начал думать о персонализации в основном после того, как присоединился к команде ранжирования новостных лент. Легкий переход в команду встроен в культуру Facebook, и я очень благодарен за возможности, которые позволяют мне продолжать учиться даже после 4 лет работы в компании.
С какими основными проблемами вы сейчас сталкиваетесь при создании персонализированного опыта для пользователей Facebook?
Возможность предоставлять персонализированные результаты очень важна для экосистемы Facebook и имеет множество вариантов использования от новостной ленты до рекламы и поиска. Однако чрезмерно персонализированный контент вызвал у компании некоторую критику, особенно в связи с обсуждением эхо-камеры. Иногда приходится делать сознательный выбор, чтобы не подводить газ к уже разделенной среде. Эти трудные решения обычно являются результатом многих месяцев исследований и подготовки, выходящих за рамки обычного обсуждения машинного обучения и оптимизации. Одним из примеров является решение об уничтожении кликбейтов и сенсационного контента; Недавнее заявление Марка Цукерберга о переключении новостной ленты на семью и друзей — еще одно. Эти решения не всегда хорошо согласуются с существующей целевой функцией, которую мы оптимизируем, что создает постоянную проблему для всех, кто работает над продуктами.
Как вы используете ИИ для положительного воздействия?
Столько примеров, что не знаю с чего начать! Facebook превратился в компанию, управляемую искусственным интеллектом. Почти все продукты, которые вы использовали на Facebook, имеют некоторые компоненты ИИ, будь то показ наиболее релевантных комментариев, обобщение актуальных новостей, борьба со спамерами или предотвращение самоубийств. Конкретным примером, над которым я недавно работал, является использование модели машинного обучения для обнаружения кликбейтов и сенсационных постов — эти посты (с такими заголовками, как «Женщина заходит в бар, и вы никогда не поверите, что происходит дальше!») генерируют тонны обязательств, но постоянно входили в тройку самых популярных жалоб на новостную ленту. Мы обучили ConvNet, который принимает тексты, а также другие функции метаданных, чтобы предсказать, насколько вероятно сообщение является кликбейтом, и использовать прогнозы для понижения таких сообщений в ленте новостей. Этот сдвиг, хотя и привел к снижению некоторых показателей вовлеченности, значительно улучшил взаимодействие пользователей с новостной лентой.
Какие разработки в области ИИ вас больше всего интересуют и какие отрасли, по вашему мнению, будут затронуты в наибольшей степени?
Я очень рад многим недавним разработкам в области ИИ, таким как машинное обучение в фармацевтике для ускорения разработки лекарств и машинное обучение в искусстве и фундаментальных науках. Но если бы мне пришлось выбирать, это была бы беспилотная машина. Как и многие люди, живущие в районе залива, я ежедневно езжу на работу по 101, и, как и многие люди, выбравшие этот вариант, я ненавижу его, особенно когда и без того плохое движение усугубляется авариями. Мне кажется, что уже есть решение этой проблемы с беспилотными автомобилями, которые общаются друг с другом, и это только вопрос времени, когда это станет реальностью. И неизбежно, что нынешняя отрасль, предоставляющая услуги водителей, пострадает напрямую.
ИИ и глубокое обучение вызывают множество этических проблем, таких как предвзятость, безопасность и конфиденциальность. Что вы думаете по этому поводу и как это влияет на вашу работу?
Модели с машинным обучением обучаются на данных реального мира, поэтому неудивительно, что они фиксируют предубеждения реального мира. Не все предубеждения плохи — синонимом «предвзятости» в машинном обучении является «приоритет», и каждый, кто изучал байесовскую статистику, знает, насколько сильна априорность. Однако есть предубеждения, которых мы намеренно избегаем, такие предубеждения варьируются от гендерных (попытка поиска в Google «изображений генеральных директоров»), расовых (например, проблема Google с «изображениями горилл») до религиозных (например, перевод Facebook стал причиной ареста палестинский мужчина). На самом деле не существует универсального решения, которое решило бы проблему плохого смещения, и все, что мы можем сделать, как инженеры по машинному обучению, — это проявлять особую осторожность при создании продуктов, основанных на моделях, задавая такие вопросы, как «является ли наше руководство по сбору этикеток таким же ясным и нейтральным, как возможно?», «Все ли функции, которые мы разработали, свободны от человеческих предубеждений?» и «Достаточно ли низок потенциальный риск, чтобы использовать эту модель в этом продукте?». На практике мы, конечно, отменили запуск моделей, потому что не могли дать положительных ответов на эти вопросы, и это правильно, как компания, которая несет социальную ответственность.
