От Transformers in Robotics (Google AI) до мультимодального SSL (Meta AI) до разработки требований в ML (CMU) и бесплатных курсов. Эта неделя полна увлекательных объявлений: исследовательские работы, технологии, лежащие в основе популярных сервисов, и объявления с открытым исходным кодом!
Вот краткое изложение новости. Мы рассмотрим основные моменты каждого из них в статье ниже.
МО исследование
- Google AI представил модель RT-1: Robotics Transformer 😮
- Meta AI опубликовала статью с подробным описанием алгоритма data2vec 2.0 с повышенной эффективностью обучения (новая версия data2vec).
- OpenAI представляет улучшенную модель встраивания, стоимость которой на 99,8% ниже, чем у модели Davinci.
- Исследователи из Университета Карнеги-Меллона представили основу для разработки требований в машинном обучении.
ML-приложения
- Amazon Science подробно рассказала о методах непрерывного обучения в Alexa
- Google AI думал, что Recorder обнаруживает разных говорящих в режиме реального времени
- Meta AI открыла свою службу анонимных учетных данных (ACS) для аутентификации пользователей деидентифицированным способом.
Объявления
- Hugging Face создала «Информационный бюллетень по этике и обществу» и уже опубликовала его номер 2.
- Университет машинного обучения под кураторством Amazon Science представил бесплатный онлайн-курс «Ответственный ИИ»
- IBM выпустила первый эпизод своей бесплатной серии, объясняющей, как работают квантовые вычисления
Давайте погрузимся в новости! Убедитесь, что вы прочитали статью, чтобы найти все ссылки.
МО исследование
Google AI представил модель RT-1: Robotics Transformer 😮
Новое исследование Google AI направлено на решение проблемы отсутствия эффективных, масштабируемых и достаточно быстрых моделей логического вывода в реальном времени в робототехнике.
Robotics Transformer 1 (RT-1) — это многозадачная модель, которая токенизирует входные и выходные действия робота (например, изображения с камеры, инструкции по выполнению задач и моторные команды), чтобы обеспечить эффективный вывод во время выполнения, что делает возможным управление в реальном времени.
Ссылки: оригинальный блог post, оригинальный paper, веб-сайт проекта
Meta AI опубликовала статью с подробным описанием алгоритма data2vec 2.0 с повышенной эффективностью обучения (новая версия data2vec).
data2vec 2.0 работает так же хорошо, как и эти модели, со значительным улучшением времени предварительной подготовки:
- Маскированные автоэнкодеры экономят в 16,4 раза время на компьютерном зрении
- wav2vec 2.0 в 10,6 раз меньше времени на распознавание речи Librispeech
- Модель RoBERTa затрачивает в 2 раза меньше времени на понимание естественного языка GLUE
Ссылки: оригинальный блог post, оригинальный paper, модели и код здесь
OpenAI представляет улучшенную модель встраивания, стоимость которой на 99,8% ниже, чем у модели Davinci.
Модель внедрения преобразует текстовую концепцию в числовой вектор, который затем можно использовать для различных задач машинного обучения. Это числовое представление текста,
позволяет словам с похожими значениями иметь одинаковое представление. Из статьи Мастерство машинного обучения.
Новая модель OpenAI называется text-embedding-ada-002. Он превосходит все старые модели встраивания в следующих задачах:
- текстовый поиск
- поиск кода
- сходство предложений
Он получает сопоставимую производительность при классификации текста.
В то же время он стоит на 99,8% ниже, чем модель Davinci, предыдущая самая мощная модель OpenAI.
Ссылки: оригинальный блог пост, документация, цены
Исследователи из Университета Карнеги-Меллона представили основу для разработки требований в машинном обучении.
Разработка требований (RE) является важнейшим компонентом разработки программного обеспечения. Когда дело доходит до машинного обучения, эта практика не стандартизирована и не определена должным образом и считается одной из самых сложных задач в разработке машинного обучения.
Чтобы восполнить этот пробел, исследователи создали простую систему оценки.
Ссылка: оригинальный блог post
ML-приложения
Amazon Science подробно рассказала о методах непрерывного обучения в Alexa
Компания создала сообщение в блоге, описывающее подход, позволяющий Alexa обнаруживать опечатки или орфографические ошибки в запросах и самостоятельно исправлять их.
Эта концепция называется Перезапись запроса (QR), когда агент искусственного интеллекта автоматически обнаруживает и исправляет неправильные запросы. Amazon Science представила две статьи:
- Первая бумага посвящена проблеме перезаписи запросов с помощью новой среды ограниченной генерации (CGF).
- Вторая бумага посвящена ограничению метода перезаписи.
Google AI думал, что Recorder обнаруживает разных говорящих в режиме реального времени
Рекордер — это не просто приложение для записи звука. Он использует машинное обучение, чтобы предоставить пользователю больше возможностей. Например, он может транскрибировать речь или предлагать теги для заголовков и т. д.
На прошлой неделе Google AI опубликовал статью об исследовании новой возможности Recorder — функции «метки динамиков».
Система в основном состоит из трех компонентов: модели обнаружения поворота говорящего, которая обнаруживает смену говорящего во входной речи, модели кодировщика говорящего, которая извлекает голосовые характеристики из каждого поворота говорящего, и многоступенчатого алгоритма кластеризации, который аннотирует метки говорящего к каждому. динамик поворачивается очень эффективным способом. Из оригинального блога пост
Ссылки: оригинальный блог post, paper, открытый алгоритм спектральной кластеризации здесь
Meta AI открыла свою службу анонимных учетных данных (ACS) для аутентификации пользователей деидентифицированным способом.
Аутентификация деидентифицированным способом является частью мета-стратегии по минимизации данных. В статье подробно описан подход, лежащий в основе Anonymous Credential Service (ACS).
На высоком уровне ACS поддерживает деидентифицированную аутентификацию, разделяя аутентификацию на две фазы: выдачу токена и погашение токена. Из оригинального блога пост
Ссылки: оригинальный блог post, ACS с открытым исходным кодом repo
Объявления
Hugging Face создала «Информационный бюллетень по этике и обществу» и уже опубликовала его номер 2.
Университет машинного обучения под кураторством Amazon Science представил бесплатный онлайн-курс «Ответственный ИИ»
Ссылки: оригинальный пост в блоге, Плейлист YouTube курса
IBM выпустила первый эпизод своей бесплатной серии, объясняющей, как работают квантовые вычисления
Ссылки: оригинальный блог пост, YouTube плейлист курса, учебник
Если вам понравился этот выпуск, не забудьте нажать кнопку 👏🏼 «хлопать», 📨 поделиться с друзьями или 💭 написать сообщение в социальных сетях. Я планирую регулярно делать эти еженедельные дайджесты, и мне важна ваша реакция! Каждое ваше действие показывает мне вашу поддержку! 🙌🏼
