Недавнее исследование исследовательской группы Microsoft углубилось в возможности GPT-4. Результаты этого исследования одновременно интересны и тревожны, поскольку команда предполагает, что GPT-4 может стать первым в мире искусственным интеллектом общего назначения (AGI).

Если вам интересно узнать больше об этом новаторском исследовании, я настоятельно рекомендую посмотреть поучительную речь Себастьяна Бубека, прежде чем читать дальше: https://youtu.be/qbIk7-JPB2c.

Но сначала немного предыстории

В 2013 году Google представила свои модели word2vec, революционный прорыв в области обработки естественного языка. Эта разработка позволила обучать нейронные сети без участия человека-аннотатора и со значительно меньшими вычислительными затратами. Однако самым примечательным аспектом этого нововведения была простота идеи, лежащей в основе его метода обучения — предсказание следующего слова в заданном тексте. Этот подход оказался очень эффективным и с тех пор проложил путь к многочисленным достижениям в языковых моделях ИИ.

Этот так называемый неконтролируемый метод обучения элегантно избегает необходимости в помеченных данных. Вместо этого нейронная сеть будет предсказывать следующее слово в огромном корпусе текста — обычно на дампе Википедии — снова и снова, пока не произойдет что-то выдающееся. Модель смогла создать внутреннее представление текста, на котором она обучалась.

Внутреннее представление, разработанное этими моделями, оказалось очень универсальным. Включение автономной классификации документов или спама, анализа настроений и основных задач на вопросы и ответы. Стоит отметить, что многие из инструментов, которые мы используем ежедневно, в значительной степени зависят от этих моделей и по сей день. Но никто, включая меня, в то время и подумать не мог, что это приведет к некоторой степени интеллекта.

Перенесемся в 2017 год. Исследователи из Google опубликовали статью Внимание — это все, что вам нужно, в которой представили новую архитектуру нейронной сети, называемую моделью трансформера, которая с огромным отрывом превзошла все ранее известные архитектуры в языковых задачах.

Эти новые модели смогли присвоить каждому слову в предложении разный вес в зависимости от того, как оно соотносится с другими. Теперь слова можно было понимать в контексте, что привело к серьезным прорывам в возможностях этих моделей. В конце концов, архитектура преобразователя позволила нейронным сетям иметь глубокое контекстуальное понимание естественного человеческого языка, что позволило этим моделям преобразовать большие объемы неструктурированных данных в краткую сводку, создать более точный перевод и ответить на сложные вопросы, среди многих других. задания.

Гонка начинается

Как только потенциал этих новых моделей стал очевиден, началась ожесточенная гонка вооружений между горсткой организаций, разделяющих цель раздвинуть границы этой архитектуры. Основное внимание уделялось исключительно увеличению количества слоев/параметров для создания еще более крупных языковых моделей, что привело к острой конкуренции между претендентами.

Обучение этих огромных моделей стало бы очень дорогостоящим. К счастью, в то же время облачные хостеры, такие как AWS, Azure и GCP, интегрировали в свои серверы более эффективные и мощные вычислительные блоки, что позволило обучать более крупные модели. Эта гонка вооружений все еще продолжается и недавно завершилась реализацией модели трансформера под названием GPT-4 от OpenAI, крупнейшей известной модели большого языка в истории, которая, как предполагается, имеет более 1 триллиона параметров.

Хорошо, но что такое интеллект?

Поскольку исследовательская группа из Microsoft хотела ответить на вопрос, является ли GPT-4 общим искусственным интеллектом, им сначала нужно было согласовать очень общее определение того, что на самом деле означает термин «интеллект». К счастью, в 1994 году группа из 52 психологов придумала определение.

Интеллект — это очень общая умственная способность, которая включает в себя способность рассуждать, планировать, решать проблемы, мыслить абстрактно, понимать сложные идеи, быстро учиться и учиться на собственном опыте.

Исследовательская группа утверждает, что модель, обладающая всеми заявленными способностями, должна называться искусственным интеллектом общего назначения.

Внутреннее представление о мире

Чтобы проверить свои предположения, авторы провели множество эмпирических экспериментов. Выделю самые умопомрачительные.

В раннем эксперименте они попросили GPT-4 нарисовать единорога в Tikz, языке сценариев для рисования иллюстраций. Он смог нарисовать визуальное представление единорога, несмотря на то, что не обучался на изображениях. Он также смог изменить изображение, когда ему было предложено это сделать, что означает, что GPT-4 действительно понимает сложную концепцию единорога.

Они повторили этот эксперимент через примерно равные промежутки времени, так как GPT-4 все еще обучался. Это показало, что он стал еще лучше понимать концепцию единорога, поскольку его обучали в течение более длительного периода.

В другом эксперименте исследователи играли в текстовую игру, в которой GPT-4 было поручено исследовать воображаемую карту, состоящую из разных комнат, с помощью текстовых подсказок, пока не будет найдена цель. Затем они попросили его нарисовать карту, и GPT-4 смог точно изобразить все комнаты, в которых он побывал. Исследователи также утверждают, что эта протестированная версия GPT-4 обучалась только на текстовых данных, что делает этот результат еще более выдающимся.

Является ли GPT-4 AGI?

Авторы утверждают, что GPT-4 обладает возможностями во всех упомянутых измерениях, кроме измерения планирования. Планирование — это то, в чем GPT-4 исключительно плох. Поскольку GPT-4 застыла во времени и не обновляет свои параметры, она также не может учиться на прошлом опыте. Хотя это скорее ограничение, основанное на политике, а не то, чем ограничена сама модель.

Помимо этого основного недостатка GPT-4. Он превосходит почти по всем остальным параметрам. Таким образом, группа исследователей утверждает, что GPT-4 следует называть искусственным интеллектом общего назначения. Возможно, это не самый сложный ОИИ, но, исходя из их определения, его следует назвать первым из созданных.

Каким бы захватывающим ни было введение GPT-4, это всего лишь моментальный снимок во времени. Можно предположить, что в настоящее время другие организации обучают еще более способных моделей.

Также ясно, что есть много возможностей для улучшения, не говоря уже об улучшении архитектуры трансформатора. Поскольку эти организации выбросили огромные объемы вычислений и данных, чтобы добраться до этого уровня, я подозреваю, что следующий большой скачок будет связан с изменением архитектуры этих моделей.

Что это значит для будущего?

Удивительно, но оказалось, что ключ к разгадке интеллекта полностью зависит от огромного количества взаимосвязанных динамических параметров. По мере того, как мы получаем модели с более чем 10 триллионами параметров, мы должны ожидать, что эти модели в конечном итоге станут более разумными, чем любой из когда-либо живших людей. При нынешней скорости развития индустрия искусственного интеллекта явно опережает академические круги, поскольку мы до сих пор не понимаем, как эти модели «думают» и почему появляются эти возможности.

Как бы страшно это ни звучало, но похоже, что сложные ОИИ не так уж и далеки, как подозревают многие эксперты в этой области.

Это также означает, что существует реальная угроза неконтролируемого ОИИ, который потенциально может нанести вред всему человечеству. Потребуется тщательное рассмотрение и соблюдение руководящих правил, чтобы использовать положительное влияние этих моделей и в то же время максимально смягчить отрицательные аспекты.