От Transformers in Robotics (Google AI) до мультимодального SSL (Meta AI) до разработки требований в ML (CMU) и бесплатных курсов. Эта неделя полна увлекательных объявлений: исследовательские работы, технологии, лежащие в основе популярных сервисов, и объявления с открытым исходным кодом!

Вот краткое изложение новости. Мы рассмотрим основные моменты каждого из них в статье ниже.

МО исследование

  • Google AI представил модель RT-1: Robotics Transformer 😮
  • Meta AI опубликовала статью с подробным описанием алгоритма data2vec 2.0 с повышенной эффективностью обучения (новая версия data2vec).
  • OpenAI представляет улучшенную модель встраивания, стоимость которой на 99,8% ниже, чем у модели Davinci.
  • Исследователи из Университета Карнеги-Меллона представили основу для разработки требований в машинном обучении.

ML-приложения

  • Amazon Science подробно рассказала о методах непрерывного обучения в Alexa
  • Google AI думал, что Recorder обнаруживает разных говорящих в режиме реального времени
  • Meta AI открыла свою службу анонимных учетных данных (ACS) для аутентификации пользователей деидентифицированным способом.

Объявления

  • Hugging Face создала «Информационный бюллетень по этике и обществу» и уже опубликовала его номер 2.
  • Университет машинного обучения под кураторством Amazon Science представил бесплатный онлайн-курс «Ответственный ИИ»
  • IBM выпустила первый эпизод своей бесплатной серии, объясняющей, как работают квантовые вычисления

Давайте погрузимся в новости! Убедитесь, что вы прочитали статью, чтобы найти все ссылки.

МО исследование

Google AI представил модель RT-1: Robotics Transformer 😮

Новое исследование Google AI направлено на решение проблемы отсутствия эффективных, масштабируемых и достаточно быстрых моделей логического вывода в реальном времени в робототехнике.

Robotics Transformer 1 (RT-1) — это многозадачная модель, которая токенизирует входные и выходные действия робота (например, изображения с камеры, инструкции по выполнению задач и моторные команды), чтобы обеспечить эффективный вывод во время выполнения, что делает возможным управление в реальном времени.

Ссылки: оригинальный блог post, оригинальный paper, веб-сайт проекта

Meta AI опубликовала статью с подробным описанием алгоритма data2vec 2.0 с повышенной эффективностью обучения (новая версия data2vec).

data2vec 2.0 работает так же хорошо, как и эти модели, со значительным улучшением времени предварительной подготовки:

  • Маскированные автоэнкодеры экономят в 16,4 раза время на компьютерном зрении
  • wav2vec 2.0 в 10,6 раз меньше времени на распознавание речи Librispeech
  • Модель RoBERTa затрачивает в 2 раза меньше времени на понимание естественного языка GLUE

Ссылки: оригинальный блог post, оригинальный paper, модели и код здесь

OpenAI представляет улучшенную модель встраивания, стоимость которой на 99,8% ниже, чем у модели Davinci.

Модель внедрения преобразует текстовую концепцию в числовой вектор, который затем можно использовать для различных задач машинного обучения. Это числовое представление текста,

позволяет словам с похожими значениями иметь одинаковое представление. Из статьи Мастерство машинного обучения.

Новая модель OpenAI называется text-embedding-ada-002. Он превосходит все старые модели встраивания в следующих задачах:

  • текстовый поиск
  • поиск кода
  • сходство предложений

Он получает сопоставимую производительность при классификации текста.

В то же время он стоит на 99,8% ниже, чем модель Davinci, предыдущая самая мощная модель OpenAI.

Ссылки: оригинальный блог пост, документация, цены

Исследователи из Университета Карнеги-Меллона представили основу для разработки требований в машинном обучении.

Разработка требований (RE) является важнейшим компонентом разработки программного обеспечения. Когда дело доходит до машинного обучения, эта практика не стандартизирована и не определена должным образом и считается одной из самых сложных задач в разработке машинного обучения.

Чтобы восполнить этот пробел, исследователи создали простую систему оценки.

Ссылка: оригинальный блог post

ML-приложения

Amazon Science подробно рассказала о методах непрерывного обучения в Alexa

Компания создала сообщение в блоге, описывающее подход, позволяющий Alexa обнаруживать опечатки или орфографические ошибки в запросах и самостоятельно исправлять их.

Эта концепция называется Перезапись запроса (QR), когда агент искусственного интеллекта автоматически обнаруживает и исправляет неправильные запросы. Amazon Science представила две статьи:

  1. Первая бумага посвящена проблеме перезаписи запросов с помощью новой среды ограниченной генерации (CGF).
  2. Вторая бумага посвящена ограничению метода перезаписи.

Ссылки: оригинальный блог post, (1) paper, (2) paper

Google AI думал, что Recorder обнаруживает разных говорящих в режиме реального времени

Рекордер — это не просто приложение для записи звука. Он использует машинное обучение, чтобы предоставить пользователю больше возможностей. Например, он может транскрибировать речь или предлагать теги для заголовков и т. д.

На прошлой неделе Google AI опубликовал статью об исследовании новой возможности Recorder — функции «метки динамиков».

Система в основном состоит из трех компонентов: модели обнаружения поворота говорящего, которая обнаруживает смену говорящего во входной речи, модели кодировщика говорящего, которая извлекает голосовые характеристики из каждого поворота говорящего, и многоступенчатого алгоритма кластеризации, который аннотирует метки говорящего к каждому. динамик поворачивается очень эффективным способом. Из оригинального блога пост

Ссылки: оригинальный блог post, paper, открытый алгоритм спектральной кластеризации здесь

Meta AI открыла свою службу анонимных учетных данных (ACS) для аутентификации пользователей деидентифицированным способом.

Аутентификация деидентифицированным способом является частью мета-стратегии по минимизации данных. В статье подробно описан подход, лежащий в основе Anonymous Credential Service (ACS).

На высоком уровне ACS поддерживает деидентифицированную аутентификацию, разделяя аутентификацию на две фазы: выдачу токена и погашение токена. Из оригинального блога пост

Ссылки: оригинальный блог post, ACS с открытым исходным кодом repo

Объявления

Hugging Face создала «Информационный бюллетень по этике и обществу» и уже опубликовала его номер 2.

Ссылки: Выпуск №1, Выпуск №2

Университет машинного обучения под кураторством Amazon Science представил бесплатный онлайн-курс «Ответственный ИИ»

Ссылки: оригинальный пост в блоге, Плейлист YouTube курса

IBM выпустила первый эпизод своей бесплатной серии, объясняющей, как работают квантовые вычисления

Ссылки: оригинальный блог пост, YouTube плейлист курса, учебник

Если вам понравился этот выпуск, не забудьте нажать кнопку 👏🏼 «хлопать», 📨 поделиться с друзьями или 💭 написать сообщение в социальных сетях. Я планирую регулярно делать эти еженедельные дайджесты, и мне важна ваша реакция! Каждое ваше действие показывает мне вашу поддержку! 🙌🏼