OpenAI разделяет награду NeurIPS 2020 Best Paper Award с Миланским политехническим университетом, CMU и Калифорнийским университетом в Беркли.
Конференция по системам обработки нейронной информации (или NeurIPS, как ее обычно называют), возможно, является самым важным мероприятием года в области машинного обучения. Крупные исследовательские лаборатории, такие как OpenAI и DeepMind, представляют некоторые из своих наиболее заметных работ, и тысячи исследователей имеют возможность общаться и обмениваться идеями, а также заниматься различными зимними видами спорта.
Таким образом, называть статьи, получившие награду NeurIPS 2020 Best Paper Award, лучшими исследованиями в области искусственного интеллекта за 2020 год, равносильно названию LA Lakers чемпионами мира. Другая команда в мире могла бы быть лучше, но у них есть все формальности и пыль.
Тридцать четвертая ежегодная конференция прошла на прошлой неделе как чисто виртуальное мероприятие. Было подано более двенадцати тысяч тезисов, в результате чего было подано почти 9 500 полных статей. Хотя количество представленных статей выросло на 40% по сравнению с 2019 годом, было принято только 20% статей (хотя кто-то может возразить, что это довольно хороший показатель принятия NeurIPS).
В этой истории представлены три основных документа, получивших награду за лучшую работу 2020 года. Для тех, кто не смог присутствовать на конференции, есть несколько записанных презентаций, доступных в Интернете.
Learning Rate - это мой еженедельный информационный бюллетень для тех, кто интересуется миром AI и MLOps. Каждую пятницу вы будете получать от меня обновления и мысли о последних новостях, исследованиях, репозиториях и книгах в области искусственного интеллекта. Подпишитесь здесь!
языковые модели
GPT-2 поразил мир своими навыками написания рассказов, и OpenAI был уверен, что будет рекламировать результаты, не выпуская всю модель, чтобы избежать якобы вредных последствий, таких как распространение компьютерных фальшивых статей.
В этом году лаборатория представила нам третью итерацию модели, которая является самой большой и сложной языковой моделью из когда-либо созданных. Команда работала с беспрецедентным объемом вычислений и данных, чтобы создать модель, настолько точную, что она может решать различные языковые задачи без дополнительного обучения. Действительно, достаточно всего нескольких подсказок на естественном языке, чтобы модель сгенерировала все, что вы хотите, от сценариев фильмов до кода Python. Это называется частичным обучением, отсюда и название: Языковые модели - малоизученные.
Результаты впечатляют в языковых задачах, таких как ответы на вопросы, создание правдоподобного текста, оценка настроения в обзорах и машинный перевод. Я коснулся некоторых последствий такой системы для сообщества разработчиков и изучил новый API OpenAI в статье ниже.
Коррелированное равновесие
Представьте себе мир, в котором нет полиции, обеспечивающей соблюдение законов. Если правительство хочет принять новый закон и ожидать, что все будут его соблюдать, оно должно разработать его так, чтобы ни у кого не было стимула его нарушать.
Наши действия зависят от действий других, но они также влияют на действия других людей. Чтобы начать вести себя рационально, в сценарии, когда нет полиции, обеспечивающей соблюдение правил, мы должны преодолеть эту взаимозависимость и достичь определенного баланса. Это то, что экономисты и теоретики игр называют равновесием. Однако создание автоматизированных процедур для поиска равновесий, как известно, является сложной задачей.
Более того, коррелированное равновесие описывает идею наличия внешнего сигнала, внушающего предложения лицам, принимающим решения, которые соответственно выбирают свои действия. Конкретный пример этого - светофор; это означает, что автомобили должны прекратить движение, когда он красный. Нарушение указателя светофора не в интересах кого-либо.
Беспроигрышная динамика обучения для коррелированного равновесия с обширной формой, статья Андреа Челли и др. совместные усилия Миланского политехнического университета и Университета Карнеги-Меллона демонстрируют, что алгоритмы обучения, действующие полностью независимо, могут достичь такого баланса, даже если их среда частично наблюдаема. Эта работа может иметь серьезные последствия в сегодняшней гиг-экономике, когда независимые подрядчики, дежурные по вызову, временные работники и работники онлайн-платформ полагаются на централизованный контроль.
Обобщение данных
Третья и последняя статья посвящена суммированию данных. Иногда представление необработанных данных нецелесообразно. Это происходит потому, что данные могут быть очень сложными или иметь большой размер. Таким образом, суммирование данных направлено на четкое описание больших наборов данных.
Этот вызов сейчас как никогда актуален; Поскольку большие наборы данных легко доступны для всех, необходимость их эффективного описания имеет решающее значение. Таким образом, нам необходимо идентифицировать определенные атрибуты в данных, которые могут сформировать репрезентативное подмножество. Например, если у нас есть текстовый набор данных и мы хотим эффективно извлечь тему набора данных, мы должны идентифицировать определенные документы, которые могут создать репрезентативное подмножество.
До сих пор эта проблема считалась неразрешимой. Но работа Михала Дерезинского и др. из Беркли показывает, что эти анализы слишком пессимистичны. В документе под названием Улучшенные гарантии и кривая множественного спуска для выбора подмножества столбцов и метода Нистрома делается вывод о том, что мы скоро создадим точные, интерпретируемые и эффективно генерируемые сводки данных. Это значительно расширит нашу способность воспринимать и обрабатывать сложные наборы данных.
Learning Rate - это мой еженедельный информационный бюллетень для тех, кто интересуется миром AI и MLOps. Каждую пятницу вы будете получать от меня обновления и мысли о последних новостях, исследованиях, репозиториях и книгах в области искусственного интеллекта. Подпишитесь здесь!
об авторе
Меня зовут Димитрис Поулопулос, я инженер по машинному обучению, работающий в Arrikto. Я разработал и внедрил ИИ и программные решения для крупных клиентов, таких как Европейская комиссия, Евростат, МВФ, Европейский центральный банк, ОЭСР и IKEA.
Если вы хотите прочитать больше сообщений о машинном обучении, глубоком обучении, науке о данных и DataOps, подпишитесь на меня в Medium, LinkedIn или @ james2pl в Twitter.
Выраженные мнения являются исключительно моими и не отражают взгляды или мнения моего работодателя.
