Ускорение — это еще не все, что вам нужно: состояние аппаратного обеспечения ИИ

Состояние ИИ: подача эссе на Kaggle 2023

Оглавление

1. Преобразование ландшафта ИИ
2. Аппаратная революция для глубокого обучения: обзор
3. Измерение прогресса аппаратного обеспечения ИИ
4. MLPerf: комплексный инструмент для сравнительного анализа
5. Путешествие по аппаратным достижениям искусственного интеллекта
6. Большой темп: перспективы и вызовы
7. Чему научилось сообщество
8. Рекомендации
9. Благодарности

Преобразование ландшафта ИИ

С начала 2021 года в аппаратных возможностях систем искусственного интеллекта (ИИ) произошла беспрецедентная трансформация, превосходящая традиционные ориентиры, такие как закон Мура, который предсказывает удвоение количества транзисторов в схеме за два года. Возможности обработки исторически ограничивались количеством транзисторов; однако в последние годы наблюдается ускоренное удвоение вычислительной мощности, особенно в оборудовании, предназначенном для приложений ИИ. Нынешние темпы удвоения опережают не только технологический рост, предсказанный законом Мура, но и биологическую эволюцию, которая заняла миллионы лет. Это произошло, несмотря на общее замедление скорости удвоения транзисторов. Генеральный директор Epic Games Тим Суини недавно отметил это явление: «Искусственный интеллект удваивается со скоростью, намного превышающей 2 года закона Мура или 2 миллиона лет эволюционной биологии. Почему? Потому что мы запускаем его на основе обоих законов. И если он может вернуться к собственному ускорению, это сложенная экспонента» (Sweeney, 2023).

В связи с этим возникает вопрос: как удалось добиться таких быстрых инноваций в системах искусственного интеллекта, несмотря на снижение традиционных стандартов производительности оборудования? Быстрое ускорение аппаратных возможностей, связанных с ИИ, имеет серьезные последствия для практиков в сообществе машинного обучения (ML) и долгосрочных перспектив нашей способности приносить пользу. В этом эссе будут рассмотрены ключевые прорывы, движущие силы и альтернативные показатели производительности оборудования для обработки данных, разработанные в период с 2021 по середину 2023 года. Обсуждение будет сосредоточено на том, как улучшения обработки и ускорения влияют на различные типы данных, повышают эффективность приложений ИИ и делают сложные системы ИИ более доступными. Хотя невозможно подробно описать каждую разработку, в этом эссе делается попытка дать исчерпывающую картину того, как работа и эксперименты с аппаратным обеспечением ИИ в течение последнего времени изменили сообщество машинного обучения.

Аппаратная революция для глубокого обучения: обзор

Придуманный в 1956 году учеными, в том числе Джоном Маккарти и Марвином Мински, «искусственный интеллект» вызвал волну инвестиций, которая привела к «пузырю ИИ» в 1970-х годах. Однако вычислительные потребности раннего ИИ быстро превысили возможности ЦП. Процессоры способны выполнять множество сложных задач, но они делают это последовательно. Это означало, что они плохо подходили для векторных и матричных операций, которые требуются алгоритмам ИИ. Когда в начале 1980-х лопнул «пузырь искусственного интеллекта», развитие искусственного интеллекта регрессировало до того, что сейчас называют «зимой искусственного интеллекта» (Jotrin Electronics, 2022).

В 1999 году Nvidia представила графический процессор (GPU), новый тип процессора, который позволял выполнять множество операций одновременно. Это ускорение вычислительных возможностей принесло графическим процессорам название «ускорители». Графические процессоры гораздо лучше подходят для управления векторными и матричными операциями, которые требуются для алгоритмов ИИ.

Истинный потенциал графических процессоров для ИИ был впервые признан в 2012 году, когда модель нейронной сети, известная как AlexNet, обученная с использованием графических процессоров Nvidia, выиграла конкурс ImageNet. Это достижение привело к широкому распространению графических процессоров для ИИ (Amodei & Hernandez, 2018). С тех пор специализированные аппаратные ускорители, предназначенные для больших объемов математических вычислений, такие как тензорные процессоры (TPU), нейронные процессоры (NPU) и интеллектуальные процессоры (IPU), стали важными инструментами для обучения и развертывания моделей ИИ. Дальнейшие инновации в этой области, в том числе разработка микросхем с помощью ИИ, начали набирать популярность примерно в 2018 году. Это привело к разработке таких сред, как платформа оптимизации конструкции микросхем Google (Goldie & Mirhoseini, 2020) и DSO.ai от Synopsys, приложение ИИ для автономной разработки микросхем (Synopsys, 2023).

Продолжающаяся глобальная нехватка микросхем, вызванная пандемией COVID-19, подчеркнула необходимость инноваций в производстве полупроводников. Дефицит усугубляется резким ростом спроса на бытовую электронику во время пандемии и постоянно растущим спросом на графические процессоры для обучения более сложных моделей ИИ. Несмотря на эти неудачи, в период с 2021 по 2023 год аппаратное обеспечение ИИ значительно улучшилось.

Измерение прогресса аппаратного обеспечения ИИ

Перед изучением аппаратных усовершенствований важно установить общую терминологию измерения производительности. Мощность ЦП обычно оценивается количеством транзисторов, размером транзисторов в нанометрах (нм) или тактовой частотой в терагерцах (ТГц). Ускорители, такие как графические процессоры, измеряют вычислительную мощность, часто называемую «массовыми вычислениями», в операциях с плавающей запятой в секунду (FLOPS) или операциях с целыми числами в секунду (OPS). Эти единицы измеряют вычисления, которые чип может выполнить за одну секунду, с такими вариантами, как TeraFLOPS/TeraOPS (триллион FLOPS/OPS), PetaFLOPS/PetaOPS (квадриллион FLOPS/OPS) и ExaFLOPS/ExaOPS (квинтиллион FLOPS/OPS). Кроме того, важными показателями производительности ускорителя являются общая используемая энергия (ватты), энергоэффективность (FLOPS/OPS на ватт) и возможности передачи данных, измеряемые в мегабайтах (МБ), терабайтах (ТБ) или петабайтах (ПБ) в секунду.

Использование только мощности ЦП или количества транзисторов для сравнения аппаратного обеспечения упускает из виду недавний прогресс вычислений ИИ. Например, NPU или «нейронный движок» от Apple демонстрирует более 100% ежегодных улучшений в массовых вычислениях, опережая рост как ЦП, так и ГП. На рис. 1а показана историческая вычислительная мощность системы на кристалле (SoC) iPhone серии A от Apple, а также изолированных ЦП, ГП и NPU. Состав A14 SoC показан на рисунке 1b. Рост объема массовых вычислений в SoC, показанный пунктирной линией, с 2015 года ежегодно увеличивается на 118 % (Vellante & Floyer, 2021).

OpenAI определил три компонента, отражающие прогресс ИИ в исследовании 2018 года: алгоритмические инновации, данные и обучающие вычисления, при этом OPS является важным показателем, превосходящим релевантность тактовой частоты (Amodei & Hernandez, 2018). Закон Мура, коррелирующий с тенденцией роста количества транзисторов и развитием машинного обучения, показывает признаки напряжения из-за технических инноваций. В начале 2020-х годов техническое сообщество поставило под сомнение актуальность закона Мура, и статья MIT Technology Review «Мы не готовы к отмене закона Мура» (Hoffman, 2020) вызвала сомнения. Однако некоторые предлагали более широкое определение закона Мура и более полные показатели для вычислительных достижений. На рис. 2 показано различие роста до и после 2012 года.

На рис. 3 более подробно показан вычислительный спрос моделей ИИ, превышающий закон Мура с 2012 года. Объем вычислительных ресурсов для обучения ИИ вырос более чем в 300 000 раз, а время удвоения составило 3,4 месяца (Amodei & Hernandez, 2018). Тенденция закона Мура удвоилась бы только семь раз за тот же период времени. Это указывает на то, что мы находимся в новой эре эволюции вычислений ИИ, в соответствии с концепцией «наложенной экспоненты» Суини.

MLPerf: комплексный инструмент для сравнительного анализа

Чтобы удовлетворить потребность в стандартном измерении производительности процессоров глубокого обучения и ускорителей, исследователи из Baidu, Беркли, Google, Гарварда и Стэнфорда в 2018 году объединились для разработки производительности машинного обучения (MLPerf). MLPerf — это набор тестов, которые оценивают скорость, масштабируемость, мощность и эффективность программного и аппаратного обеспечения машинного обучения. Каждый тест соответствует конкретным требованиям каждой модели или задачи, предлагая более всестороннюю оценку производительности (Bunting, 2023).

Хотя MLPerf был создан в 2018 году, ежегодные эталонные соревнования не были стандартизированы до 2020 года. В 2021 году был официально представлен MLPerf v1.0, включающий восемь эталонных тестов: распознавание изображений, сегментация медицинских изображений, обнаружение объектов (две версии), распознавание речи, обработка естественного языка, рекомендации и обучение с подкреплением. В этих тестах, широко известных как «Олимпиада машинного обучения», участвуют более 20 ведущих производителей аппаратного обеспечения (Moore, 2022). Результаты теста MLPerf v2.0, проведенного в июне 2022 года, продемонстрировали значительное увеличение времени обучения в девять-десять раз по сравнению с законом Мура, как показано на рисунке 4 (Moore, 2022).

Nvidia последовательно представила результаты всех восьми эталонных тестов, что делает его основным образцом эволюции вычислений ИИ в среде машинного обучения. В 2022 году платформа искусственного интеллекта Nvidia на базе графического процессора A100 с тензорными ядрами продемонстрировала исключительную универсальность и эффективность в MLPerf. Он показал самое быстрое время обучения в четырех тестах и ​​самую высокую производительность на чип в шести тестах. Эта замечательная производительность была связана с инновациями в графических процессорах, программном обеспечении и масштабируемости, что привело к увеличению производительности в 23 раза всего за 3,5 года (Salvator, 2022). На рис. 5а показаны результаты MLPerf 2022 года для A100.

В тестах MLPerf 2023 года (MLPerf v3.0) оборудование Nvidia для искусственного интеллекта продемонстрировало значительный прирост производительности по сравнению с 2022 годом. Недавно представленные графические процессоры Nvidia H100 с тензорными ядрами были разработаны с использованием искусственного интеллекта и работают на системах DGX H100. Они не только достигли наивысшей производительности вывода ИИ во всех тестах, но и продемонстрировали прирост производительности до 54% ​​с момента их дебюта в сентябре 2022 года (Salvator, 2023). На рис. 5b показаны результаты MLPerf 2023 года для H100 по сравнению с A100. В частности, в области здравоохранения возможности графических процессоров H100 улучшились по сравнению с эталонным тестом 3D U-Net для медицинских изображений на 31%. Кроме того, графические процессоры H100 на базе Transformer Engine показали отличные результаты в тесте двунаправленных кодировщиков от Transformers (BERT) LLM, что в значительной степени способствовало развитию генеративного ИИ (Salvator, 2023).

Путешествие по аппаратным достижениям искусственного интеллекта

В следующих разделах в хронологическом порядке представлены краткие сведения о значительных аппаратных достижениях в области искусственного интеллекта с 2021 по 2023 год. Выделены ключевые улучшения, а дополнительные технические сведения можно найти в прилагаемых сводных таблицах. Хотя точные сроки для каждого усовершенствования оборудования могут различаться, основное внимание уделяется демонстрации прогресса на основе широко признанных технологий с доступными данными. Не все компании предоставляют исчерпывающую информацию о возможностях чипов, что может ограничить конкретную информацию, доступную для каждого элемента оборудования.

2021: беспрецедентный скачок

Инвестиции в разработку оборудования для ИИ значительно выросли в 2021 году, при этом общий объем инвестиций по всему миру почти удвоился и достиг 68 миллиардов долларов (Sharma, 2021). Precedence Research оценила рынок аппаратного обеспечения ИИ в 2021 году в 10 миллиардов долларов, прогнозируя рост до 90 миллиардов долларов к 2030 году, как показано на рисунке 6 (Precedence Research, 2022). В 2021 году рыночный спрос на аппаратное обеспечение ИИ был в основном обусловлен потребностью в более мощных процессорах, как показано на рис. 7. Этот спрос возник из-за значительного расхождения траекторий вычислительной мощности, что наглядно показано на рис. 8. Несмотря на ограничения вычислительной мощности хранилища и сети для общих возможностей системы, именно процессоры увеличили вычислительные мощности системы, измеренные в OPS. Специализированные процессоры и ускорители все чаще избавляют от необходимости в сетевом оборудовании или оборудовании для хранения данных, оптимизируя поток данных на устройстве. Это уменьшило зависимость от передачи данных по сети, что привело к более эффективным и быстрым вычислениям (Vellante & Floyer, 2021).

OpenAI

В январе OpenAI запустила DALL-E, мультимодальную систему искусственного интеллекта, генерирующую изображения из текста. Хотя это и не аппаратный продукт сам по себе, его вычислительные возможности огромны, поскольку он сочетает в себе компьютерное зрение и обработку естественного языка — две ресурсоемкие области ИИ. Для обучения и масштабирования базовых моделей DALL-E требуются значительные аппаратные ресурсы для обучения собственной модели генеративного предварительно обученного преобразователя третьего поколения OpenAI (GPT-3). Поддержание такой производственной модели требует огромных вычислительных мощностей, сетевых возможностей и высокоскоростного хранилища. Хотя точная аппаратная настройка DALL-E остается нераскрытой, ее воспроизведение в меньших масштабах раскрывает сложность аппаратной настройки (Cuenca, 2023).

Графкор

В начале 2021 года британский производитель микросхем Graphcore анонсировал второе поколение интеллектуального процессора Colossus (IPU) — GC200 Colossus MK2. GC200 разработан для более высокого уровня возможностей параллельной обработки для эффективного управления разреженными и нерегулярными рабочими нагрузками ML, предлагая другой подход по сравнению с более распространенными графическими процессорами Nvidia (Doherty, 2021).

Церебра Системы

В апреле Cerebras Systems, известный стартап по производству микросхем искусственного интеллекта, выпустил WSE-2, самый большой из когда-либо созданных чипов. Его мощность более чем вдвое превышает мощность его предшественника, WSE-1 (Dilmengani, 2023 г.). Cerebras также объявила о «первом в мире решении для искусственного интеллекта в масштабе мозга». Этот термин связан с оценкой, согласно которой человеческий мозг имеет порядка 100 триллионов синапсов, а до этого существующие кластеры ИИ могли соответствовать примерно 1% от этого размера. Ускоритель CS-2 размером с небольшой холодильник поддерживает модели с более чем 120 триллионами параметров, но состоит только из одного чипа WSE-2 (Business Wire, 2021).

Нвидиа

ЦП Nvidia Grace, анонсированный в апреле, стал первым ЦП компании для центра обработки данных, предназначенным для удовлетворения вычислительных требований передовых приложений, таких как обработка естественного языка, рекомендательные системы и супервычисления ИИ с большими наборами данных. Grace объединила энергоэффективные ядра ЦП Arm с уникальной подсистемой памяти с низким энергопотреблением, чтобы обеспечить высокую производительность с замечательной эффективностью. Этот процессор на базе Arm был призван обеспечить 10-кратное увеличение производительности систем, обучающих большие модели ИИ, по сравнению с ведущими серверами того времени. Примечательно, что Швейцарский национальный суперкомпьютерный центр и Лос-Аламосская национальная лаборатория Министерства энергетики США планируют построить суперкомпьютеры на базе Grace для поддержки научных исследований (Nvidia, 2021).

Google

В мае Google объявила о выпуске своих TPU четвертого поколения для рабочих нагрузок AI и ML. TPU, разработанные специально для оптимизации вычислений ИИ, стали ответом Google на растущее доминирование графических процессоров. Google также задокументировал прирост производительности TPU v4 в этом году, предлагая ошеломляющее 10-кратное увеличение производительности системы машинного обучения по сравнению с его предшественником, TPU v3. Благодаря инновационным технологиям межсоединений и ускорителям для конкретных доменов TPU v4 не только повышает производительность, но и повышает энергоэффективность. Примечательно, что TPU v4 разработан для больших языковых моделей (LLM), таких как Google Pathways Language Model (PaLM), обеспечивая 57,8% пиковой аппаратной производительности с плавающей запятой за 50 дней обучения на TPU v4 (Jouppi & Patterson, 2022).

В следующем месяце Google опубликовала статью в журнале Nature, в которой подробно описала свой подход к использованию ИИ на этапе планирования проектирования микросхем (Mirhoseini et al., 2021). Этот документ был формальным оформлением их сообщения в блоге 2020 года о дизайне чипов на основе ИИ и сделал выводы более прозрачными. Они также сообщили, что их TPU четвертого поколения, выпущенный всего месяц назад, был разработан с использованием этой новой техники глубокого обучения с подкреплением (Винсент, 2021).

HPE, AMD и Nvidia

В мае месяце также было объявлено от Национального научно-вычислительного центра исследований в области энергетики Беркли, Hewlett Packard Enterprise (HPE) в сотрудничестве с Advanced Micro Devices (AMD) и Nvidia завершили работу над суперкомпьютером Perlmutter. С тех пор он сыграл важную роль в картографировании видимой Вселенной, охватывающей 11 миллиардов световых лет, путем обработки данных спектроскопического прибора темной энергии. Предварительный бенчмаркинг показал до 20-кратного увеличения производительности при использовании графических процессоров, что позволило сократить необходимое время вычислений с недель или месяцев до нескольких часов (Trader, 2021).

Мифический

В июне Mythic анонсировала ИИ-процессор M1076, который может хранить до 80 миллионов взвешенных параметров. Это означает, что он может запускать сложные модели ИИ без необходимости использования внешней памяти (Митчелл, 2021). M1076 требовал в 10 раз меньше энергии, чем обычная система на кристалле или графический процессор. Это введение ознаменовало переход к созданию более энергоэффективных аппаратных решений для ИИ, что является важным фактором, поскольку затраты на электроэнергию и воздействие на окружающую среду становятся все более важными (Sharma, 2021).

Каденс

После июньского ажиотажа, связанного с разработкой чипов на основе ИИ, в июле компания Cadence выпустила платформу Cerebrus. Инструмент Cerebrus Intelligent Chip Explorer использует машинное обучение для улучшения процесса проектирования микросхем, что значительно повышает производительность труда инженеров. Внедрение машинного обучения добавило дополнительный уровень автоматизации в процесс проектирования, в результате чего производительность каждого инженера увеличилась в 10 раз, а мощность, производительность и площадь микросхемы увеличились на 20 % (Takahashi, 2021).

Системы СамбаНова

В августе SambaNova Systems, еще один популярный стартап в области чипов, анонсировал уникальную архитектуру Dataflow, высокопроизводительную и высокоточную программно-аппаратную систему, предназначенную для приложений ИИ. Архитектура Dataflow основана на инновационном реконфигурируемом чипе блока данных Cardinal SN10 с невероятной производительностью 300 Терафлопс и пропускной способностью встроенной памяти до 150 ТБ/с. Эти возможности высокоскоростных вычислений особенно актуальны в контексте машинного обучения и искусственного интеллекта (Kennedy, 2021).

Тенсторрент

Канадский стартап Tenstorrent запустил в производство свой флагманский процессор Grayskull в конце 2020 года. Его настоящий дебют состоялся только на Hot Chips 33 в августе. Grayskull называют компьютерной системой «все в одном». В предварительных экспериментах система набрала 368 TeraOPS и обрабатывала до 23 345 предложений в секунду с использованием языковой модели Google BERT-Base для набора данных SQuAD 1.1, что дает ей 26-кратное преимущество в производительности по сравнению с существующими решениями (Wiggers, 2020).

Яблоко

В октябре Apple дополнительно обновила чипы серии M1, выпущенные всего годом ранее и признанные самыми мощными чипами Apple. Чипы M1 Pro и M1 Max оснащены стандартным, но усовершенствованным 16-ядерным NPU для лучшего машинного обучения на устройстве, что подчеркивает стремление Apple интегрировать машинное обучение в свои продукты («Представляем M1 Pro и M1 Max», 2021 г.). Хотя Apple и не является пионером традиционного ИИ, она делает упор на Edge AI, развертывая приложения ИИ на физических устройствах, а не полагаясь на централизованные облачные серверы.

АМС

Amazon Web Services (AWS) продолжила анонсировать оборудование на своей ежегодной конференции Re:Invent в ноябре. Среди них было третье поколение оборудования Graviton, Graviton3. Эта последняя версия в три раза быстрее для рабочих нагрузок ML и обеспечивает экономию энергии до 60 % по сравнению с другим ведущим оборудованием, что обеспечивает «лучшее соотношение цены и качества в Amazon EC2» (Nikita, 2022).

Грок

Хотя стартап под названием Groq не был выпущен в 2021 году, он привлек значительное внимание в конце 2021 года, когда объявил, что их флагман GroqChip или тензорный потоковый процессор Groq (TSP) использовался для открытия лекарств от COVID в Аргоннской национальной лаборатории. Они показали 333-кратное увеличение скорости по сравнению с устаревшими графическими процессорами того времени (Westfall, 2021). Этот чип узкоспециализирован для рабочих нагрузок машинного обучения и не более того, он способен обеспечить производительность 1 петаопераций в секунду при реализации на одном чипе (Garanhel, 2022).

2022: Переход в мейнстрим

Нвидиа

В марте Nvidia объявила о выпуске своей линейки серверных станций общего назначения с графическим процессором DGX-1 и DGX-2, построенных на современной архитектуре графического процессора Volta (Gupta, 2022). В состав системы входит DGX A100, который представляет собой систему с одним сервером и несколькими графическими процессорами A100. С 2020 года A100 служит отраслевым стандартом для оборудования графических процессоров, что часто вызывает сравнение при выпуске нового оборудования. Nvidia также объявила о выпуске графического процессора H100 для центров обработки данных, построенного на новой архитектуре Hopper с масштабируемой скоростью в обмен на более низкую числовую точность. Все эти компоненты специально разработаны для обучения глубокому обучению, ускоренной аналитики и логических выводов (Fu, 2022).

Всего через год после того, как Google опубликовала свое исследование дизайна микросхем ИИ, Nvidia объявила о собственном включении ИИ под названием «PrefixRL». Подобные методы обучения с подкреплением были включены в их новую архитектуру Hopper, в результате чего схемы были на 25% меньше, чем те, которые были разработаны людьми (Roy, Raiman, & Godil, 2023). В конце 2022 года Nvidia объявила о крупных обновлениях своих потребительских графических процессоров новой серии GeoForce 40 (Walton, 2023).

Яблоко

В марте и июне Apple анонсировала чипы M1 Ultra и M2, оба усовершенствования нового поколения революционного чипа M1. M1 ultra содержал самое большое количество транзисторов, когда-либо существовавших в персональном компьютере. Новый стандарт NPU для Mac в M2 примерно на 40 % быстрее, чем в предыдущем году, в каждой категории («Apple представляет M2», 2022 г.). Эти достижения показали, что Apple продолжает уделять особое внимание машинному обучению на устройствах и более стабильной производительности на всех типах устройств Apple.

Интел

В мае лаборатория Intel Habana Labs выпустила второе поколение своих процессоров глубокого обучения для обучения и логических выводов — Habana Gaudi2. Первоначальные результаты показывают более быстрое обучение BERT в тестах MLPerf (Gupta, 2022).

Каденс

В июне Cadence объявила о росте популярности платформы Cerebrus среди клиентов. Они рассказали, что компания MediaTek, обслуживающая более двух миллиардов подключенных устройств по всему миру, интегрировала Cerebrus в производство. (Бизнес-провод, 2022 г.). Cadence также запустила JedAI, платформу, которая интегрирует различные специализированные продукты для разработки аппаратного обеспечения ИИ в одну платформу (Freund, 2023).

HPE и AMD

Июнь ознаменовался новаторским сотрудничеством между HPE и AMD, в результате которого Национальная лаборатория Ок-Риджа анонсировала суперкомпьютер Frontier, работающий на базе аппаратного обеспечения AMD. Примечательно, что Frontier является первым в мире официально признанным экзафлопсным суперкомпьютером, выдержавшим 1,102 экзафлопс при 64-разрядных операциях во время раннего теста производительности. Впечатляет, что первоначальные оценки признали архитектуру Frontier самой энергоэффективной в мире и назвали ее «самой быстрой системой искусственного интеллекта на планете» (Alcorn, 2022).

IBM и Токио Электрон

В июле IBM и Tokyo Electron добились больших успехов в стекировании 3D-чипов, устранив ограничения, налагаемые законом Мура. Кремниевые пластины-носители, серьезное препятствие в производстве 3D-чипов, были в центре их проблем. Внедренные ими усовершенствования предназначены для оптимизации производственного процесса с дополнительным преимуществом, заключающимся в потенциальном снижении глобальной нехватки чипов (Peckham, 2022).

Отвязать ИИ

В августе Untether AI представила устройство под кодовым названием Boqueria, также известное как SpeedAI240. Это устройство предназначено для повышения энергоэффективности и плотности, обеспечивая масштабируемость для устройств разных размеров. Масштабируемость производительности чипа оказывается полезной при работе с языковыми моделями с различными размерами параметров (Burt, 2022).

Тесла

В сентябре на День искусственного интеллекта Tesla представила свой мощный чип Dojo, предназначенный для более быстрого обучения и выводов в беспилотных автомобилях. Чип Dojo настолько мощный, что «отключил электросеть в Пало-Альто» (Lambert, 2022). Tesla утверждает, что один чип Dojo может заменить шесть графических процессоров. Ожидается, что чип Dojo повысит способность Tesla обучать нейронные сети с использованием видеоданных, которые пользуются большим спросом в их инициативе по созданию беспилотных автомобилей.

Системы СамбаНова

В октябре SambaNova Systems объявила о поставке второго поколения системы DataScale-SN30. Система на базе чипа Cardinal SN30 создана для больших моделей с более чем 100 миллиардами (B) параметров и способна обрабатывать как 2D-, так и 3D-изображения (Fu, 2022). DataScale SN30, восемь чипов SN30, может похвастаться в шесть раз более быстрым обучением GPT, чем система Nvidia DGX A100 (Butler, 2022).

АМС

В октябре AWS объявила об общедоступных инстансах Amazon EC2 Trn1, которые работают на чипах AWS Trainium, созданных специально для обучения высокопроизводительных приложений машинного обучения в облаке. Инстансы Trn1 заявили об экономии до 50 % по сравнению с сопоставимыми инстансами EC2 на базе GPU для обучения LLM (AWS, 2022). Месяц спустя, на AWS Re:Invent 2022, Amazon сделала общедоступным EC2 Inf2 на базе AWS Inferentia2. Этот ускоритель машинного обучения, оптимизированный для логических выводов, обеспечивает большую плотность вычислений, что позволяет снизить затраты на запрос. Inf2 также может похвастаться возможностью развертывания модели параметров 175 байт, такой как GPT-3, на одном сервере. Эти две архитектуры микросхем представляют собой переход от использования оборудования общего назначения к использованию оборудования, специально созданного для конкретной фазы системы, чтобы снизить затраты на вычисления для конкретных задач (Liu, 2022).

мозги

В ноябре компания Cerebras Systems запустила свой суперкомпьютер с искусственным интеллектом Andromeda, стремясь ускорить академические и коммерческие исследования (Gupta, 2022). Компания Cerebras подчеркнула концепцию под названием «почти идеальное линейное масштабирование». Это означает, что при удвоении ресурсов системы, например, за счет использования двух микросхем WSE-2 вместо одной, можно ожидать, что производительность или скорость обработки также удвоятся (Hall, 2022).

IBM

Ноябрь также ознаменовался запуском чипа IBM AIU. Этот уникальный чип ограничивает операции с плавающей запятой графического процессора до 8 бит, что менее точно, чем даже ЦП с более высокой плотностью вычислений и аналогичной точностью модели. Кроме того, он требует меньше энергии и памяти по сравнению с другими графическими процессорами высшего уровня с такими же показателями. Основное преимущество заключается в его доступности. При цене около 1000 долларов за чип набор из 10 AIU может соперничать по производительности с графическим процессором Nvidia H100, стоимость которого колеблется от 20 000 до 30 000 долларов. IBM считает, что к 2030 году эта платформа ускорит обучение моделей в 1000 раз (Morgan, 2022).

OpenAI

Ноябрьский выпуск ChatGPT от OpenAI подчеркнул ключевую роль оборудования в производительности ИИ. Обучение GPT-3 на 10 000 графических процессоров Nvidia A100 облегчило управление параметрами 175 байт и набором данных объемом 45 ТБ в разумные сроки. Кроме того, вывод в реальном времени требует мощных серверов для размещения моделей и эффективного оборудования для быстрой обработки запросов. Несмотря на высокие первоначальные затраты, их масштабная настройка инфраструктуры обеспечивает низкую стоимость запроса в 0,36 цента (Patel & Ahmad, 2023). Однако, по оценкам, при цене около 10 000 долларов за штуку для каждого графического процессора стоимость обучения для GPT-3 составила около 4 миллионов долларов (Vanian & Leswing, 2023).

Сравните это с апрельским выпуском DALLE-2, обновленного инструмента для создания изображений OpenAI. DALLE-2 использует технику под названием «стабильная диффузия», которая избавляет от необходимости обучать GPT-3. В недавнем отчете говорится, что для обучения DALLE-2 требуется только кластер из 256 графических процессоров A100 и 150 000 часов обучения, что соответствует примерно 600 000 долларов США (Bastian, 2022). Недостатком является то, что для обучения стабильной диффузии требуется больше обучающих данных. DALLE-2 — яркий пример того, как упрощенная архитектура модели позволила повысить эффективность без изменения типа графического процессора.

2023: Новый пейзаж

Apple, Google и Microsoft

На конференциях разработчиков Apple, Google и Microsoft в 2023 году был представлен предварительный обзор типов достижений, которые появятся во второй половине года и в дальнейшем. Google I/O, Microsoft Build и Apple WWDC выделили в первую очередь обновления программного обеспечения, указывающие на приоритеты компаний. Microsoft полностью поддерживает гонку ИИ и участвует в ней с новыми виртуальными помощниками, функциями продуктов, суперкомпьютером Azure и открытыми LLM (Porter, 2023). Многие были удивлены отсутствием анонса TPUv5 на Google I/O, учитывая, что его существование было признано еще в 2021 году (Shah, 2023). Apple, немного более отстраненная от шумихи вокруг ИИ, ни разу не упомянула термин «искусственный интеллект» на WWDC (Greenburg, 2023). Вместо этого они представили многочисленные улучшения программного обеспечения для машинного обучения во всей экосистеме устройств, а также обновленный 32-ядерный NPU M2 Ultra, который рекламируется на 40% быстрее, чем в предыдущем году. («Apple представляет M2 Ultra», 2023 г.).

Синопсис и каденция

Разработка чипов с помощью ИИ снова стала более популярным вариантом для производителей. Хотя в 2023 году не было сделано каких-либо значительных заявлений о чипах, разработанных с помощью ИИ, Synopsys и Cadence сообщили о более широком внедрении своего программного обеспечения для интеллектуального проектирования. В частности, в феврале Synopsys сообщила, что она достигла 100 коммерческих «записей» или 100 чипов, которые используются в коммерческих продуктах (Ward-Foxton, 2023).

Грок

В марте компания Groq привлекла к себе внимание, заявив, что она создала процесс переноса LLaMA Meta от чипов Nvidia на собственное оборудование, что сигнализирует о потенциальной угрозе 90% доли Nvidia на рынке графических процессоров. Сложность существующего аппаратного обеспечения ИИ делает утомительной адаптацию архитектур моделей для быстрой работы на новых установках (Lee & Nellis, 2023).

Нвидиа

На Международной конференции по суперкомпьютерам в мае было сделано несколько важных объявлений от Nvidia. Их процессорные суперчипы Grace, теперь интегрированные в базирующийся в Великобритании суперкомпьютер Isambard 3, обеспечивают превосходную скорость и пропускную способность памяти с числом ядер более 55 000. Эти преимущества связаны с включением ядер Arm Neoverse V2 (Kennedy, 2023). Суперкомпьютер Nvidia DGX GH200 оснащен комбинацией нового графического процессора Grace Hopper 200 и процессора Grace с такими функциями, как 144 ТБ общей памяти, что означает почти 500-кратное увеличение по сравнению с предыдущим поколением DGX A100. Стандартный кластер из 256 таких конфигураций предлагает ошеломляющий 1 ExaFLOP (Эдвардс, 2023).

Интел

В мае Intel анонсировала встроенные блоки обработки изображений (VPU) во всех вариантах чипов Meteor Lake, тем самым перенеся задачи обработки ИИ с CPU и GPU на VPU. Этот шаг привел к повышению энергоэффективности и способности управлять сложными моделями ИИ, предоставляя преимущества для энергоемких приложений, таких как пакет Adobe, Microsoft Teams и Unreal Engine (Roach, 2023). Intel также представила процессоры Xeon четвертого поколения с десятикратным ускорением для обучения/логического вывода PyTorch. Серия обновлений Xeon предлагает оптимизированные модели для высокопроизводительных сетей с малой задержкой и пограничных рабочих нагрузок (Smith, 2023).

В мае Meta совершила прорыв в аппаратном обеспечении ИИ, представив свои первые специально разработанные чипы, Meta Training and Inference Accelerator (MTIA) и Meta Scalable Video Processor (MSVP). Эти чипы, оптимизированные для глубокого обучения и обработки видео, лежат в основе планов Meta по созданию центра обработки данных нового поколения, оптимизированного для ИИ, что свидетельствует о ее приверженности созданию полностью интегрированной экосистемы ИИ (Khare, 2023).

AMD

В июне AMD представила чип ИИ под названием MI300X, который описывается как «самый передовой в мире ускоритель для генеративного ИИ» (Mohan, 2023). Ожидалось, что это введение будет конкурировать с ИИ-чипами Nvidia и вызовет интерес у крупных облачных провайдеров. Одновременно с этим AMD инициировала массовые поставки чипа центрального процессора общего назначения под названием «Бергамо», принятого Meta Platforms и другими компаниями для своей вычислительной инфраструктуры (Mohan, 2023).

Перегиб ИИ

В июле стартап Inflection AI, целью которого является создание «личного ИИ для всех», сделал важное заявление о своем стремлении разработать чат-бот под названием «Pi». Компания планирует оснастить суперкомпьютер с искусственным интеллектом 22 000 графических процессоров Nvidia H100. Этот суперкомпьютер позволит их инфраструктуре конкурировать с суперкомпьютером AMD Frontier и позволит значительно улучшить их LLM Inflection 1. Интересно, что ключевым моментом обсуждения является не столько сама вычислительная мощность, сколько то, сможет ли Nvidia удовлетворить такой существенный заказ на GPU. Это происходит на фоне недавних сообщений о трудностях с приобретением даже одного устройства H100 в дополнение к продолжающейся нехватке чипов (Zuhair, 2023).

Еще не все

Несмотря на значительные достижения в 2023 году, важно отметить, что основные конференции AI Hardware, такие как AI Hardware Summit, AWS Re:Invent, Hot Chips и другие, еще не состоялись. По состоянию на июль 2023 года нет полной картины всех разработок в этой области на 2023 год. Таким образом, информация о текущем состоянии аппаратного обеспечения ИИ в 2023 году все еще ограничена.

Большой темп: перспективы и вызовы

Выпуск ChatGPT от OpenAI в конце 2022 года вызвал всплеск достижений в области ИИ в течение следующих шести месяцев, в первую очередь вызванный увеличением спроса на оборудование, связанное с генеративным ИИ и LLM. Конкурентная среда с участием таких ключевых игроков, как Google Bard на базе PaLM 2, Microsoft Bing AI и Meta LLaMA, была обусловлена ​​быстрым развитием LLM в ответ на взрывной спрос. LLM, обеспечивающие качество обучения, требовали самого современного оборудования для искусственного интеллекта; однако аппаратное обеспечение — это лишь один из аспектов разработки продукта. Выбор параметров и размера данных критически влияет на дизайн, влияя на все: от требований к оборудованию до продолжительности обучения и производительности модели. Например, последствия выбора параметров 175B для GPT-3 OpenAI, 1,8 трлн для GPT-4 по сравнению с параметрами 65B LLaMA значительны.

Всплеск спроса со стороны LLM и других приложений для генеративного ИИ подорвал рынок графических процессоров, поскольку эти сектора не учитывались в исторических рыночных прогнозах. Возникшая в результате нехватка не позволила графическим процессорам стать дешевле, что еще больше затруднило выход на рынок небольших компаний и препятствовало широкому внедрению аппаратного ускорения. Повышенный спрос даже создает проблемы для передовых компаний, таких как OpenAI, которые сталкиваются с узкими местами при развертывании из-за нехватки графических процессоров. Этот дефицит является причиной того, что только 37% из 500 самых мощных компьютерных систем в мире используют графические процессоры. Это указывает на то, что отрасль склоняется к альтернативным решениям для желаемой вычислительной мощности, уделяя особое внимание другим системным компонентам, таким как решения только для ЦП или инновационное использование интегрированных графических процессоров (Eadline, 2023).

Это стремительное продвижение к продвинутому ИИ вызвало широкий спектр взглядов в сообществе ИИ на долгосрочную перспективу. С одной стороны, видные деятели технологий, такие как Джеффри Хинтон, Илон Маск и Эрик Шмидт, призывают к осторожности, подчеркивая этические и долгосрочные экзистенциальные риски (Gairola, 2023). С другой стороны, другие выдающиеся сторонники ИИ, такие как Эндрю Нг, видят потенциал превосходного ИИ, обеспечивающего беспрецедентные достижения и решение глобальных проблем (Cherney, 2023). В то время как эти современные деятели борются с неопределенностью в отношении развития ИИ, пионеры в этой области также глубоко размышляли о последствиях развития машин.

Размышляя о темпах технического прогресса после промышленной революции и недавней публикации дарвиновского «Происхождения видов», Сэмюэл Батлер (1863) выразил это наблюдение в своем эссе: «Нет никакой гарантии против окончательного развития механического сознания, поскольку машины сейчас обладают небольшим сознанием… Подумайте о необычайном прогрессе, достигнутом машинами за последние несколько сотен лет, и обратите внимание, как медленно развиваются животные и растительные царства». Слова Батлера подчеркивают ошеломляющую скорость эволюции машин, особенно по сравнению с медленными постепенными изменениями, наблюдаемыми в биологических организмах.

Спустя годы Алан Тьюринг повторил эти чувства. Тьюринг (1951) размышлял о непредсказуемом характере технологических достижений своего времени, утверждая: «Мы можем увидеть много того, что необходимо сделать, и хотя мы можем сделать некоторые довольно надежные, хотя и довольно грубые предположения, основанные на прошлом опыте, относительно порядка, в котором эти разработки будут происходить, остается вероятность того, что какое-либо отдельное исследование может привести к последствиям революционного характера».

Превзойдут ли машины человеческий интеллект или нет, вопрос извечный. Разница между ажиотажем сейчас и 1970-х годов заключается в том, что у нас есть вычислительные возможности, чтобы не отставать от ажиотажа, предполагая, что мы не находимся в пузыре, который приведет к новой «ИИ-зиме». Как показано на рисунке 9, в недавнем отчете ARK Investment Management LLC (ARK) показано, что нейронные сети и последующее обучение обладают наиболее влиятельным потенциалом в качестве катализатора для множества других технологий (ARK, 2023). Не менее важен, хотя прямо и не показан на рисунке, процесс обучения этих сетей, который по необходимости сопровождает их развитие и является значительным катализатором.

Прогнозируется, что к 2030 году процесс обучения такой модели, как GPT-3, станет намного дешевле, как показано на рисунке 10 (ARK, 2023). Затраты на обучение ИИ в настоящее время снижаются примерно на 70% в год и, по прогнозам, будут продолжаться такими же темпами. Важным моментом является то, что по отношению к производительности на уровне GPT-3 основным фактором здесь является прогноз улучшения стоимости оборудования, а не прогноз сложности модели.

Несмотря на прогнозируемую более низкую стоимость обучения существующих моделей, таких как GPT-3, сложность модели уже вышла далеко за рамки этой модели, которая изначально использовала ChatGPT. Как указывалось ранее, GPT-3 состоит из 175 миллиардов параметров и был обучен на 45 ТБ данных. Преемник, выпущенный в марте 2023 года, GPT-4, содержит 1,8 триллиона параметров и был обучен на 1 ПБ данных (E2Analyst, 2023). Любые улучшения стоимости обучения для GPT-3 теперь неактуальны из-за более высокой стоимости данных и гораздо большего размера параметра. В недавнем отчете OpenAI проанализирована стоимость обучения последних моделей ИИ, таких как GPT-4, и обнаружено, что стоимость обучения растет экспоненциально, как показано на рисунке 11. Данные показывают, что к 2030 году стоимость обучения модели вырастет до 500 миллионов долларов (Cottier, 2023).

Хотя нехватка оборудования сохраняется, а специализированные графические процессоры остаются дорогими, недавняя оценка ARK показывает, что затраты на аппаратное и программное обеспечение ИИ, если измерять их в относительных вычислительных единицах, снижаются, как показано на рис. 12а. Эта комбинация постоянных инноваций в конечном итоге позволит таким приложениям, как ChatGPT, делать выводы по такой низкой цене, что ее можно будет развернуть на уровне поиска Google в соответствии с прогнозом, показанным на рисунке 12b (ARK, 2023).

Чему научилось сообщество

Годы, прошедшие с 2021 года, оказались историческими для разработки оборудования для искусственного интеллекта, ознаменовав заметный отход от традиционных вычислительных парадигм. Достижения в аппаратном обеспечении обработки и ускорения связаны не только с повышением производительности или строгим соблюдением предсказания закона Мура об удвоении транзисторов. Эксперименты были ключевыми в этот период, что привело к многочисленным технологическим прорывам, а также к новому пониманию того, что включение дорогого графического процессора не гарантирует успеха. Вместо этого отрасль сместила акцент на специализацию архитектуры GPU для необходимых задач, таких как обучение или вывод, оптимизация других компонентов компьютерной архитектуры или создание более специализированных моделей для снижения потребности в оборудовании. Специализация различных компонентов привела к экспериментам с другими архитектурами, такими как 3D-стекинг чипов и «нейроморфные» чипы, предназначенные для имитации структуры человеческого мозга (Калифорнийский университет — Сан-Диего, 2022 г.).

Этот сдвиг парадигмы еще больше подчеркивается появлением таких тестов, как MLPerf. Это уже не просто приятные показатели производительности; они являются жизненно важными индикаторами технического прогресса в области ИИ. Редко объявление о новом процессоре или графическом процессоре происходит без каких-либо указаний на производительность MLPerf. Эти эталонные тесты отражают тонкие характеристики производительности различных рабочих нагрузок ИИ и предоставляют бесценный контекст для специалистов по машинному обучению. Этот сдвиг парадигмы еще больше подчеркивается появлением таких тестов, как MLPerf. Это уже не просто приятные показатели производительности; они являются жизненно важными индикаторами технического прогресса в области ИИ. Редко объявление о новом процессоре или графическом процессоре происходит без каких-либо указаний на производительность MLPerf. Эти эталонные тесты отражают тонкие характеристики производительности различных рабочих нагрузок ИИ и предоставляют бесценный контекст для специалистов по машинному обучению. Однако критики MLPerf указывают на то, что он недостаточно всеобъемлющий, чтобы охватить весь сквозной жизненный цикл приложения ИИ. Имея всего восемь эталонных тестов, производители могут слишком узко фокусироваться на обучении и выводах, игнорируя другие важные задачи для вычислительных ресурсов, такие как загрузка данных, обслуживание моделей и граничные вычисления (Bunting, 2023).

Несмотря на критику, эта культура бенчмаркинга вселила уверенность в будущее вычислений, развеяла любые иллюзии о надвигающемся «искусственном пузыре», подобном 1970-м годам, и подтвердила, что ИИ прочно укоренился в нашем технологическом ландшафте. Этот недавний период достижений привел к ощутимому снижению стоимости, широкому внедрению приложений ИИ и постоянному улучшению аппаратных возможностей.

Одним из наиболее важных выводов является осознание того, что большая мощность ускорения не является единственным фактором, определяющим производительность системы ИИ. Эволюция LLM, таких как ChatGPT и других специализированных моделей, ясно продемонстрировала, что истинный потенциал ИИ раскрывается, когда существует гармония между данными, оборудованием и программным обеспечением, специально оптимизированным для этого оборудования. Это признание изменило подход к разработке ИИ, демократизировало доступ к интеллектуальным системам и расширило аудиторию ИИ. Решения по дизайну продуктов все больше отражают это понимание, при этом гибкость, ориентированная на потребности потребителей, имеет приоритет над жесткими ускорителями, предназначенными для решения конкретных типов проблем.

Наконец, этот период времени показал, что аппаратное обеспечение больше не является самым узким местом в производительности ИИ. По мере того, как алгоритмы ИИ становятся все более эффективными, а аппаратное обеспечение продолжает развиваться, проблемы, связанные с использованием всего потенциала ИИ, лежат в другом месте. На первый план выходят такие вопросы, как размер данных, доступность, качество, энергоэффективность оборудования и системная интеграция. В конечном счете, достижения в области аппаратного ускорения ИИ с 2021 года значительно обогатили сообщество машинного обучения, позволив специалистам-практикам достичь того, что еще недавно считалось невозможным. Эти разработки будут продолжать расширять возможности разработчиков моделей, повышать производительность и освещать новые области исследований, готовые для изучения. Возникает вопрос: какие предполагаемые невозможности станут возможными к 2025 году?

Рекомендации

Алкорн, П. (2 июня 2022 г.). Суперкомпьютер Frontier на базе AMD преодолевает барьер экзафлопсных вычислений и становится самым быстрым в мире. Оборудование Тома. https://www.tomshardware.com/news/amd-powered-frontier-supercomputer-breaks-the-exascale-barrier-now-fastest-in-the-world

Алкорн, П. (2023, 29 мая). Intel подробно описывает ускорение AI Meteor Lake для ПК, блок VPU. Оборудование Тома. https://www.tomshardware.com/news/intel-details-meteor-lakes-ai-acceleration-for-pcs-vpu-unit

АлександрК. (2023, 3 июля). Inflection AI создает суперкомпьютер с 22 000 графических процессоров NVIDIA H100. TechPowerUp. https://www.techpowerup.com/310783/inflection-ai-builds-supercomputer-with-22-000-nvidia-h100-gpus

Веб-сервисы Амазон. (2022, 13 октября). Представляем инстансы Amazon EC2 TRN1 для высокопроизводительного и экономичного обучения глубокому обучению. https://aws.amazon.com/about-aws/whats-new/2022/10/ec2-trn1-instances-high-performance-cost-efficient-deep-learning-training/

Amazon Web Services, Inc. (nd). Инстансы Amazon EC2 Inf1. Получено 2 июля 2022 г. с https://aws.amazon.com/ec2/instance-types/inf1/.

Амодей, Д., и Эрнандес, Д. (2018 г., 16 мая). ИИ и вычисления. OpenAI. https://openai.com/research/ai-and-compute/

Аппенцеллер, Г., Борнштейн, М., и Касадо, М. (2023, 27 апреля). Борьба с высокой стоимостью вычислений ИИ. Андреессен Горовиц. https://a16z.com/2023/04/27/navigating-the-high-cost-of-ai-compute/

Apple Inc. (2021, 18 октября). Представляем M1 Pro и M1 Max: самые мощные чипы, когда-либо созданные Apple. Отдел новостей Apple. https://www.apple.com/newsroom/2021/10/introduction-m1-pro-and-m1-max-the-most-powerful-chips-apple-has-ever-built/

Apple Inc. (2022, июнь). Apple представляет M2, еще больше повышая производительность и возможности M1. Отдел новостей Apple. https://www.apple.com/newsroom/2022/06/apple-unveils-m2-with-breakthrough-performance-and-capabilities/

Apple Inc. (2022, март). Apple представляет M1 Ultra, самый мощный в мире чип для персонального компьютера. Отдел новостей Apple. https://www.apple.com/newsroom/2022/03/apple-unveils-m1-ultra-the-worlds-most-powerful-chip-for-a-personal-computer/

Apple Inc. (2023, июнь). Apple представляет M2 Ultra. Отдел новостей Apple. https://www.apple.com/newsroom/2023/06/apple-introduces-m2-ultra/

ООО АРК Инвестмент Менеджмент. (2023, 31 января). Большие идеи 2023. https://research.ark-invest.com/hubfs/1_Download_Files_ARK-Invest/Big_Ideas/ARK%20Invest_013123_Presentation_Big%20Ideas%202023_Final.pdf

Бастиан, М. (2022, 8 сентября). Стоимость обучения для Stable Diffusion составила всего 600 000 долларов, и это хороший знак для прогресса ИИ. Декодер. https://the-decoder.com/training-cost-for-stable-diffusion-was-just-600000-and-that-is-a-good-sign-for-ai-progress/#:~:text=This%20required%20about%20150%2C000%20hours,than%20the%20of%20Stable%20Diffusion.

Барри, ди-джей (2023, 17 апреля). За пределами закона Мура: новые решения для преодоления кривой роста данных. Советы по микроконтроллерам. https://www.microcontrollertips.com/beyond-moores-law-new-solutions-beating-data-growth-curve/

Бантинг, Дж. (2023, 14 марта). Критерии ИИ не работают. ПолуИнжиниринг. https://semiengineering.com/ai-benchmarks-are-broken/

Берт, Дж. (2022, 23 августа). Untether AI дергает занавес за свою систему логического вывода следующего поколения. Следующая платформа. https://www.nextplatform.com/2022/08/23/untether-ai-pulls-the-curtain-rope-for-its-next-gen-inferencing-system/

Деловой провод. (2021, 24 августа). Cerebras Systems представляет первое в мире решение для искусственного интеллекта масштаба мозга. https://www.businesswire.com/news/home/20210824005644/en/Cerebras-Systems-Announces-World%E2%80%99s-First-Brain-Scale-Artificial-Intelligence-Solution

Деловой провод. (2022, 9 июня). Решение Cadence Cerebrus на основе искусственного интеллекта обеспечивает революционные результаты в проектах заказчиков следующего поколения. https://www.businesswire.com/news/home/20220609005365/en/Cadence-Cerebrus-AI-Based-Solution-Delivers-Transformative-Results-on-Next-Generation-Customer-Designs

Батлер, Г. (2022, 5 октября). SambaNova представляет новую высокопроизводительную систему DataScale SN30. ДатацентрДинамика. https://www.datacenterdynamics.com/en/news/sambanova-announces-new-datascale-sn30-hpc-system/

Батлер, С. (1863 г.). Дарвин среди машин. В «Записных книжках Сэмюэля Батлера».

Черней, Массачусетс (2023, 6 июня). Эндрю Нг говорит, что ИИ не представляет опасности исчезновения. Бизнес-журнал Силиконовой долины. https://www.bizjournals.com/sanjose/news/2023/06/06/andrew-ng-says-ai-poses-no-extinction-risk.html

Коттье, Б. (2023). Тенденции долларовой стоимости обучения систем машинного обучения. Эпоха ИИ. https://epochai.org/blog/trends-in-the-dollar-training-cost-of-machine-learning-systems

Куэнка, П. (2023, 25 января). Инфраструктура для обслуживания DALL-E Mini. Веса и уклоны. https://wandb.ai/dalle-mini/dalle-mini/reports/The-Infrastructure-Behind-Serving-DALL-E-Mini-VmlldzoyMTI4ODAy

Дильменгани, К. (2023, 17 июня). Производители ИИ-чипов: 10 лучших компаний в 2023 году. https://research.aimultiple.com/ai-chip-makers/

Доэрти, С. (2021, 25 августа). Проектирование IPU Colossus MK2: Саймон Ноулз на Hot Chips 2021. Graphcore. https://www.graphcore.ai/posts/designing-the-colossus-mk2-ipu-simon-knowles-at-hot-chips-2021

Эдлайн, Д. (13 июля 2023 г.). Нас ждет великое сжатие графического процессора. Провод HPC. https://www.hpcwire.com/2023/07/13/the-great-gpu-squeeze-is-upon-us/

E2Аналитик. (2023). GPT-4: все, что вы хотите знать о новой модели искусственного интеллекта OpenAI. Середина. https://medium.com/predict/gpt-4-everything-you-want-to-know-about-openais-new-ai-model-a5977b42e495

Эдвардс, Б. (2023, 24 мая). Молниеносное наступление ИИ — что вдруг изменилось? Резюме Ars Frontiers 2023. Арс Техника. https://arstechnica.com/information-technology/2023/05/the-lightning-onset-of-ai-what-suddenly-changed-an-ars-frontiers-2023-recap/

Эдвардс, Б. (2023, 8 июня). Новый суперчип ИИ от Nvidia сочетает в себе ЦП и ГП для обучения систем ИИ-монстров. Арс Техника. https://arstechnica.com/information-technology/2023/06/nvidias-new-ai-superchip-combines-cpu-and-gpu-to-train-monster-ai-systems/

Фройнд, К. (2021, 9 августа). Использование ИИ для помощи в разработке чипов стало чем-то особенным. Форбс. https://www.forbes.com/sites/karlfreund/2021/08/09/using-ai-to-help-design-chips-has-become-a-thing/?sh=29e752cb5d9d

Фройнд, К. (2023, 13 июня). Cadence AI может повысить производительность разработчиков микросхем более чем в 10 раз. Форбс. https://www.forbes.com/sites/karlfreund/2023/06/13/cadence-ai-can-increase-chip-designer-productivity-by-over-10x/?sh=4d885f535f4f

Фу, Дж. (2022, 29 сентября). Границы ИИ в 2022 году. Лучшее программирование. https://betterprogramming.pub/ai-frontiers-in-2022-5bd072fd13c

Гайрола, А. (2023, 25 мая). Бывший генеральный директор Google повторяет мрачные предупреждения Маска и Хинтона о том, что искусственный интеллект становится экзистенциальным риском. Бензинга. https://www.benzinga.com/news/23/05/32566930/former-google-ceo-echoes-musk-and-hintons-dire-warnings-on-ai-becoming-existential-risk

Гаранхель, М. (2022, 14 октября). 20 лучших чипов ИИ на ваш выбор в 2022 году. AI Accelerator Institute. https://www.aiacceleratorinstitute.com/top-20-chips-choice-2022/

Голди А. и Мирхосейни А. (3 апреля 2020 г.). Чип-дизайн с глубоким обучением с подкреплением. Блог Google AI. https://ai.googleblog.com/2020/04/chip-design-with-deep-reinforcement.html

Гринберг, М. (2023, 6 июня). Лучшие функции искусственного интеллекта Apple анонсировала на WWDC 2023. VentureBeat. https://venturebeat.com/ai/the-best-ai-features-apple-announced-at-wwdc-2023/

Гупта, А. (2022, 22 марта). ЦП Nvidia Grace: все тонкости процессора, ориентированного на ИИ. Арс Техника. https://arstechnica.com/gadgets/2022/03/nvidias-grace-cpu-the-ins-and-outs-of-an-ai-focused-processor/

Гвеннап, Л. (nd). Untether Boqueria нацелился на лидера ИИ. TechInsights. https://www.techinsights.com/blog/untether-boqueria-targets-ai-lead

Холл, Дж. (2022, 21 ноября). Компания Cerebras представила суперкомпьютер Andromeda с искусственным интеллектом. ЭкстримТех. https://www.extremetech.com/extreme/340899-cerebras-unveils-andromeda-ai-supercomputer

Хэмблен, М. (2023, 16 февраля). ChatGPT использует 10 000 обучающих графических процессоров Nvidia с потенциалом для тысяч других. Жестокая электроника. Получено с https://www.fierceelectronics.com/sensors/chatgpt-runs-10k-nvidia-training-gpus-potential-thousands-more

Хиггинботэм, С. (2022, 14 февраля). Google использует ИИ для разработки чипов для своего оборудования ИИ. Протокол. https://www.protocol.com/google-is-using-ai-to-design-chips

Хоффман, К. (2020, 24 февраля). Мы не готовы к отмене закона Мура. Обзор технологий Массачусетского технологического института. Получено с https://www.technologyreview.com/2020/02/24/905789/were-not-prepared-for-the-end-of-moores-law/

Хрушка, Дж. (8 июня 2021 г.). Дорожная карта Intel на 2021–2022 годы: Ольховое озеро, Метеорное озеро и большая ставка на EUV. ЭкстримТех. https://www.extremetech.com/computing/323126-intels-2021-2022-roadmap-alder-lake-meteor-lake-and-a-big-bet-on-euv

Джотрин Электроникс. (2022, 4 января). Краткая история развития ИИ-чипов. Получено с https://www.jotrin.com/technology/details/a-brief-history-of-the-development-of-ai-chips

Юппи, Н., и Паттерсон, Д. (29 июня 2022 г.). TPU v4 обеспечивает повышение производительности, энергопотребления и эффективности использования CO2e. Облачный блог Google. Получено с https://cloud.google.com/blog/topics/systems/tpu-v4-enables-performance-energy-and-co2e-efficiency-gains

Кандел, А. (2023, 7 апреля). Секреты обучения искусственному интеллекту ChatGPT: взгляд на высокотехнологичное оборудование, стоящее за ним. Получено с https://www.linkedin.com/pulse/secrets-chatgpts-ai-training-look-high-tech-hardware-behind-kandel/

Каур, Д. (3 ноября 2021 г.). Вот что такое глобальная нехватка чипов в 2021 году. Tech Wire Азия. https://techwireasia.com/2021/11/heres-what-the-2021-global-chip-shortage-is-all-about/

Кеннеди, П. (2021, 24 августа). SambaNova SN10 RDU на Hot Chips 33. ServeTheHome. https://www.servethehome.com/sambanova-sn10-rdu-at-hot-chips-33/

Кеннеди, П. (2023, 17 июня). Nvidia одержала скромную победу над суперчипом Grace на выставке ISC 2023. ServeTheHome. Получено с https://www.servethehome.com/nvidia-notches-a-modest-grace-superchip-win-at-isc-2023-arm-hpe/

Харе, Ю. (2023, 16 июня). Meta раскрывает ИИ-чипы, которые произведут революцию в вычислительной технике. Аналитика Видья. Получено с https://finance.yahoo.com/news/1-amd-says-meta-using-174023713.html https://www.analyticsvidhya.com/blog/2023/05/meta-reveals-ai-chips-to-revolutionize-computing/

Ламберт, Ф. (2022, 1 октября). Суперкомпьютер Tesla Dojo отключил электросеть. Электрек. https://electrek.co/2022/10/01/tesla-dojo-supercomputer-tripped-power-grid/

Ли, Дж., и Неллис, С. (2023, 9 марта). Groq адаптирует чат-бота Meta к своим собственным чипам в гонке против Nvidia. Рейтер. https://www.reuters.com/technology/groq-adapts-metas-chatbot-its-own-chips-race-against-nvidia-2023-03-09/

Лю, М. (2022). Получите последние новости от re:Invent 2022. AWS re:Post. https://repost.aws/articles/ARWg0vtgR7RriapTABCkBnng/get-the-latest-from-re-invent-2022

Маккензи, Дж. (20 июня 2023 г.). Закон Мура: дальнейший прогресс будет сильно раздвигать границы физики и экономики. Физический мир. https://physicsworld.com/a/moores-law-further-progress-will-push-hard-on-the-boundaries-of-physics-and-economics/

Митчелл, Р. (2021, 19 июня). Mythic анонсирует новейший ИИ-чип M1076. Электропажи. https://www.electropages.com/blog/2021/06/mythic-announces-latest-ai-chip-m1076

Мирхосейни А., Голди А., Язган М. и соавт. (2021). Размещение чипов с глубоким обучением с подкреплением. Природа 595, 230–236. https://www.nature.com/articles/s41586-021-03544-w

MLCommons. (2023, 8 марта). История. MLCommons. Получено с https://mlcommons.org/en/history/

Мохан, Р. (2023, 17 июня). Гонка чипов искусственного интеллекта накаляется, поскольку AMD представляет конкурента технологии Nvidia. Техническое исследование. Получено с https://techxplore.com/news/2023-06-ai-chip-amd-rival-nvidia.html

Мур, GE (1965). Втиснуть больше компонентов в интегральные схемы. Электроника, 38(8), 114–117.

Мур, С. (2022). Рейтинг MLPerf 2022. IEEE Spectrum. https://spectrum.ieee.org/mlperf-rankings-2022

Морган, Т.П. (20 октября 2022 г.). IBM AI Accelerator: лучше бы это был не просто научный проект. Следующая платформа. https://www.nextplatform.com/2022/10/20/ibms-ai-accelerator-this-had-better-not-be-just-a-science-project/

Наик, А. Р. (2021, 4 августа). Объяснение: рекордная производительность Nvidia на обучающих тестах MLPerf v1.0. Журнал Analytics India. https://analyticsindiamag.com/explained-nvidias-record-setting-performance-on-mlperf-v1-0-training-benchmarks/

Никита, С. (2022, 27 мая). AWS объявляет об общедоступности процессоров Graviton 3. МГТ Коммерс. https://www.mgt-commerce.com/blog/aws-announces-general-availability-of-graviton-3-processors/

Нарасимхан, С. (2022, 29 июня). Партнеры Nvidia охватывают все категории в тестах MLPerf AI. Официальный блог Nvidia. https://blogs.nvidia.com/blog/2022/06/29/nvidia-partners-ai-mlperf/

Нарендран, С. (2023, 11 мая). Все основные функции ИИ, анонсированные на Google I/O 2023. ZDNet. Получено с https://www.zdnet.com/article/every-major-ai-feature-announced-at-google-io-2023/

Морская группа. (2023, 2 марта). Разработка чипов на основе искусственного интеллекта: революция в полупроводниковой промышленности. Пресс-центр военно-морской группы. https://www.naval-group.com/en/news/ai-powered-chip-design-a-revolution-in-the-semiconductor-industry/

Носта, Дж. (2023, 10 марта). Сложенный экспоненциальный рост: ИИ опережает закон Мура и эволюционную биологию. Середина. https://johnnosta.medium.com/stacked-exponential-growth-ai-is-outpacing-moores-law-and-evolutionary-biology-12882c38b68d

Нвидиа. (2021, 12 апреля). Nvidia представляет ЦП для гигантских задач искусственного интеллекта и высокопроизводительных вычислений. Отдел новостей Nvidia. https://nvidianews.nvidia.com/news/nvidia-announces-cpu-for-giant-ai-and-high-performance-computing-workloads

Нвидиа. (2023, 2 мая). Представляем Nvidia Grace: ЦП, специально разработанный для гигантского ИИ и высокопроизводительных вычислений. Отдел новостей Nvidia. https://nvidianews.nvidia.com/news/introduction-nvidia-grace-a-cpu-specifically-designed-for-giant-scale-ai-and-hpc

Патель Д. и Ахмад А. (9 февраля 2023 г.). Стоимость логического вывода из-за нарушения поиска. Полуанализ. https://www.semianalysis.com/p/the-inference-cost-of-search-disruption

Пекхэм, О. (2022, 7 июля). IBM и Tokyo Electron объявили о прорыве в области стекирования 3D-чипов. HPCwire. https://www.hpcwire.com/2022/07/07/ibm-tokyo-electron-announce-3d-chip-stacking-breakthrough/

Пекхэм, О. (2022, 14 сентября). SambaNova запускает систему DataScale второго поколения. HPCwire. https://www.hpcwire.com/2022/09/14/sambanova-launches-second-gen-datascale-system/

Портер, Дж. (2023, 24 мая). Microsoft Build 2023: все новости и анонсы. The Verge.https://www.theverge.com/23732609/microsoft-build-2023-news-announcements-ai

Лента новостей PR. (2018). Synopsys представляет компилятор Fusion, обеспечивающий на 20% более высокое качество результатов и вдвое более быстрое получение результатов. https://www.prnewswire.com/news-releases/synopsys-unveils-fusion-compiler-enabling-20-percent-higher-quality-of-results-and-2x-faster-time-to-results-300744510.html

Исследование приоритета. (2022). Искусственный интеллект (ИИ) на рынке оборудования. https://www.precedenceresearch.com/artificial-intelligence-in-hardware-market

Рэй, Т. (2023, 18 мая). Meta представляет первый специализированный чип искусственного интеллекта. ZDNet. https://www.zdnet.com/article/meta-unveils-first-custom-artificial-intelligence-chip/

Рэй, Т. (2023, 13 июня). AMD представляет ИИ-чип MI300X в качестве ускорителя генеративного ИИ. ZDNet. https://www.zdnet.com/article/amd-unveils-mi300x-ai-chip-as-generative-ai-accelerator/

Роуч, Дж. (2023, 17 июня). Intel считает, что вашему следующему ЦП нужен процессор с искусственным интеллектом — и вот почему. Цифровые тренды. https://www.digitaltrends.com/computing/intel-meteor-lake-vpu-computex-2023/

Рой, Р., Райман, Дж., и Годил, С. (2023, 5 апреля). Проектирование арифметических схем с глубоким обучением с подкреплением. Блог разработчиков Nvidia. Получено с https://developer.nvidia.com/blog/designing-arithmetic-circuits-with-deep-reinforcement-learning/

Сальватор, Д. (2022, 6 апреля). Nvidia Orin вырывается вперед в Edge AI, повышая лидерство в тестах MLPerf. Официальный блог Nvidia. https://blogs.nvidia.com/blog/2022/04/06/mlperf-edge-ai-inference-orin/

Сальватор, Д. (2023, 5 апреля). Инференс MLPerf AI. Официальный блог Nvidia. https://blogs.nvidia.com/blog/2023/04/05/inference-mlperf-ai/

Шах, А. (31 мая 2023 г.). Следующий TPU от Google становится большим, поскольку компания делает ставку на будущее ИИ. ПредприятиеИИ. https://www.enterpriseai.news/2023/05/31/googles-next-tpu-looms-large-as-company-wagers-future-on-ai/

Шарма, С. (2021, 20 декабря). 2021 год стал годом прорыва для ИИ. VentureBeat. https://venturebeat.com/ai/2021-was-a-breakthrough-year-for-ai/

Смит, Л. (10 января 2023 г.). Выпущены масштабируемые процессоры Intel Xeon 4-го поколения. Обзор хранилища. https://www.storagereview.com/news/4th-gen-intel-xeon-scalable-processors-launched

Суини, Т. [@TimSweeneyEpic]. (2023, 13 апреля). Искусственный интеллект удваивается со скоростью, намного превышающей 2 года закона Мура или 2 миллиона лет эволюционной биологии. Почему? Потому что мы запускаем его на основе обоих законов. И если он может вернуться к собственному ускорению, это сложенная экспонента. Твиттер. https://twitter.com/TimSweeneyEpic/status/1646645582583267328

Синопсис. (2023). DSO.ai. Получено в июне 2023 г. с https://www.synopsys.com/ai/chip-design/dso-ai.html.

Такахаши, Д. (2021, 22 июля). У ИИ есть талант: познакомьтесь с новой восходящей звездой медиа и развлечений. VentureBeat. https://venturebeat.com/ais-got-talent-meet-the-new-rising-star-in-media-and-entertainment/

Тарди, К. (2023, 17 июня). Закон Мура. Инвестопедия. https://www.investopedia.com/terms/m/mooreslaw.asp

Трейдер, Т. (2021, 27 мая). NERSC представляет Perlmutter, самый быстрый в мире суперкомпьютер с искусственным интеллектом. Провод HPC. https://www.hpcwire.com/2021/05/27/nersc-debuts-perlmutter-worlds-fastest-ai-supercomputer/

Тьюринг, AM (1950). Вычислительная техника и интеллект. Разум, 59(236), 433–460. дои: 10.1093/разум/LIX.236.433

Калифорнийский университет — Сан-Диего. (2022, 17 августа). Новый нейроморфный чип для ИИ на периферии, потребляющий лишь небольшую часть энергии и размера современных вычислительных платформ. ScienceDaily. https://www.sciencedaily.com/releases/2022/08/220817114253.htm

Ваниан, Дж., и Лесвинг, К. (2023, 13 марта). ChatGPT и генеративный ИИ переживают бум, но по очень высокой цене. Си-Эн-Би-Си. Обновлено 2023 г., 17 апреля. https://www.cnbc.com/2023/03/13/chatgpt-and-generative-ai-are-booming-but-at-a-very-expensive-price.html

Велланте Д. и Флойер Д. (10 апреля 2021 г.). Новая эра инноваций: закон Мура не умер, и искусственный интеллект готов взорваться. СиликоновыйУГОЛ. https://siliconangle.com/2021/04/10/new-era-innovation-moores-law-not-dead-ai-ready-explode/

Винсент, Дж. (2021, 10 июня). Google использует машинное обучение для разработки чипов машинного обучения следующего поколения. Грань. https://www.theverge.com/2021/6/10/22527476/google-machine-learning-chip-design-tpu-floorplanning

Уолтон, Дж. (2023, 18 мая). Nvidia Ada Lovelace и серия GeForce RTX 40: все, что мы знаем. Оборудование Тома. https://www.tomshardware.com/features/nvidia-ada-lovelace-and-geforce-rtx-40-series-everything-we-know

Уорд-Фокстон, С. (10 февраля 2023 г.). Разработка чипов на базе искусственного интеллекта становится мейнстримом. ЕЕ Таймс. https://www.eetimes.com/ai-powered-chip-design-goes-mainstream/

Вестфолл, Р. (2021, 18 ноября). Groq ускоряет открытие лекарств от COVID в Аргоннской национальной лаборатории. Футурум Исследования. https://futurumresearch.com/research-notes/groq-turbocharges-covid-drug-discovery-at-argonne-national-laboratory/

Виггерс, К. (2020, 7 апреля). Tenstorrent представляет Grayskull, универсальную систему, которая ускоряет обучение моделей ИИ. VentureBeat. https://venturebeat.com/ai/tenstorrent-reveals-grayskull-an-all-in-one-system-that-accelerates-ai-model-training/

Зухаир, М. (2023, 4 июля). Inflection AI разрабатывает суперкомпьютер, оснащенный 22 000 графических процессоров NVIDIA H100 AI. Wccftech. https://wccftech.com/inflection-ai-develops-supercomputer-equipped-with-22000-nvidia-h100-ai-gpus/

Благодарности

Я хотел бы поблагодарить подкаст SuperDataScience, ведущего Джона Крона и гостя Рона Диаманта в выпуске 691: A.I. Ускорители: аппаратное обеспечение для глубокого обучения. В этом выпуске я получил ценную информацию об аппаратном обеспечении ИИ. Я слушал этот подкаст, пока работал над своим эссе, и он помог мне понять различные типы аппаратного обеспечения ИИ и то, как они разрабатываются.

Генеративные модели ИИ, разработанные OpenAI (ChatGPT) и Google (Bard), использовались при написании этого эссе. Их конкретный вклад был следующим:

• Повествование. На ранних этапах написания эти модели использовались для создания идей для структуры эссе. На более поздних этапах они использовались в качестве ссылок для применения правильных рекомендаций по стилю.
• Исследование. Функция интеграции Bing в ChatGPT использовалась на протяжении всего процесса сбора информации для проверки дополнительных источников помимо тех, которые были найдены с помощью традиционных методов поиска.
• Проверка. Мои письменные резюме содержания статьи были сверены с первоисточником, чтобы обеспечить точность и избежать плагиата.

Первоначально опубликовано на https://jon-bown.github.io 17 июля 2023 г.