Новые большие модели энергоемки. Сколько CO2 необходимо для их обучения?
Данные и облако — это не виртуальные технологии. Им нужна дорогостоящая инфраструктура и электричество. То же самое для обучения модели ИИ. Исследователи прогнозируют, что в будущем их выбросы могут быть намного больше, чем ожидалось. Краткий обзор
Кто не дает нам спать по ночам?
Несколько недель назад Великобритания побила температурный рекорд, впервые температура поднялась выше 40 °C. Летние ночи теплые и влажные, в такие дни трудно уснуть. Это пятый самый теплый год на данный момент, но остальные четыре приходятся на то же десятилетие (скорее всего, мы можем вспомнить это лето как одно из самых прохладных). Несомненно, что год за годом мы сталкиваемся с более высокими температурами, эта тенденция также определяется как часть глобального потепления. Глобальное потепление означает не только более теплое лето, но и учащение экстремальных явлений (таких как ураганы, торнадо, засухи, лесные пожары и т. д.).
Кто виноват? Небольшая молекула, состоящая из одного атома углерода и двух атомов кислорода, более известная как углекислый газ или co2. Есть и другие парниковые газы, но углекислый газ остается самым важным. На приведенном ниже графике показано, как экспоненциально рос объем углекислого газа за последние два столетия.
Короче говоря, чем больше увеличивается количество углекислого газа, тем больше удерживается часть инфракрасной составляющей солнечного излучения, попадающего на Землю. Эта дополнительная энергия согревает Землю. Кто производит углекислый газ?
Человек и все его действия. Не говоря уже о том, что при вдыхании мы выдыхаем углекислый газ, потребление энергии вызывает образование углекислого газа. Автомобильные и авиаперевозки, предприятия, животноводческие фермы и т. д. способствуют выбросу СО2 в атмосферу.
Есть что-то, что также производит значительное количество углекислого газа, но о нем мало что известно. Данные.
Облако состоит из углекислого газа
Данные кажутся виртуальными объектами, почти метафизическими сущностями, но их нужно хранить, обрабатывать и передавать, а для этого нужна инфраструктура. Например, когда вы сохраняете некоторые файлы в облаке, им приходится преодолевать тысячи километров оптических кабелей, прежде чем они попадут в центр обработки данных. По всему миру тысячи дата-центров, но по сути это здания, заполненные огромным количеством жестких дисков. Эти жесткие диски постоянно работают и выделяют тепло.
«Чем больше у вас памяти, тем больше вещей вы накапливаете». — Алексис Стюарт
Ориентировочная стоимость гигабайта, хранящегося в облаке, составляет 7кВтч (не более сотни фотографий высокого разрешения). Мы производим 2,5 квинтиллиона байтов в день (2,5 с последующими 18 нулями). Если не считать, то хранить нужно много, и в процессе образуется много углекислого газа. На самом деле прогнозируется, что скоро отрасль связи будет производить больше, чем автомобилестроение, авиация и энергетика вместе взятые.
Фактически, сегодня существует около 8 миллионов центров обработки данных (в 2012 году их было 800 000), что показывает, насколько и какими темпами мы увеличиваем производство и хранение данных. Некоторые модели предсказывают, что к 2030 году более 10 % мирового электроснабжения будет приходиться на центры обработки данных. Эти прогнозы учитывают только потребление энергии, необходимое для хранения данных, но данные перемещаются в Интернете, что также потребляет энергию.
Есть много исследователей, которые ищут, как мы можем уменьшить воздействие хранения данных на окружающую среду. Однако данные не только сохраняются. На самом деле, когда у вас так много доступных данных, вы можете использовать их для обучения очень большой модели. Тогда возникает вопрос: сколько потребляет искусственный интеллект?
(искусственный) интеллект поглощает энергию, чтобы поддерживать себя
Человеческий мозг — одна из самых сложных вещей, когда-либо существовавших на Земле. Его сложность позволяет нам колебаться между абстрактными рассуждениями, наукой и искусством. Если такой развитый мозг является эволюционным преимуществом, то почему у большинства видов гораздо меньше нейронов? Один ответ — потому что это дорого стоит; только человеческий мозг потребляет 20–30% всей энергии тела. Не дешево для одного органа.
Мы можем подозревать, что искусственный интеллект делает то же самое: потребляет много энергии для выполнения всех вычислений. Вопрос становится все более актуальным, так как сейчас практически все компании инвестируют в машинное обучение. Тогда сколько потребляет ИИ?
В одной из первых работ на эту тему Эмма Штрубелл подсчитала, что модель-трансформер, обученная с помощью Поиска нейронной архитектуры, будет сопоставима с выбросами углекислого газа пяти автомобилей за время их жизни (ссылка на статью 2019 года здесь ). В очередной статье Паттерсон расширил анализ различных популярных архитектур моделей (T5, BERT, GPT-3), сравнив стоимость их обучения и их углеродный след.
В статье Паттерсон показал, сколько факторов необходимо учитывать для расчета энергетических затрат модели (ускоритель, метод оптимизации, размерность обучающей выборки, количество гиперпараметров и т. д.). В статье они сравнили стоимость обучения с выбросом струи, что вызывает беспокойство, учитывая, что в более новой модели гораздо больше гиперпараметров, а наборы данных для обучения также увеличиваются в размере.
В статье освещаются и другие интересные моменты: имеет значение географическое положение и инфраструктура (использующая облако или нет). Сейчас существует множество сервисов, предлагающих возможность обучать модели в облаке (Azure, AWS и так далее). Действительно, для небольшой компании проще обучить модель в облаке, чем покупать дорогой стек GPU и ставить внутреннюю инфраструктуру. Поскольку это становится все более популярным выбором, разные исследователи изучали углеродоемкость искусственного интеллекта в облачных инстансах.
Оказалось, что местоположение по-прежнему имеет значение, даже при использовании облака. В своих работах они отслеживали обучение 11 алгоритмов (от языковых моделей до алгоритмов зрения) на Microsoft Azure и отслеживали мощность электросети в разных местах. Различия были существенными, показывая, что выполнение обучения в центре обработки данных в США генерировало вдвое больше выбросов, чем такое же обучение, проведенное в Норвегии.
Самые эффективные регионы производят около трети выбросов наименее эффективных, — рассказал Nature один из соавторов Джесси Додж.
Кроме того, когда вы тренируетесь, ваша модель также изменяет ваш углеродный след. Например, при обучении модели днем в Вашингтоне энергия поступает от газовой станции, а ночью энергия вырабатывается гидроэлектростанцией.
команда выполнила только 13% тренировочного процесса трансформера; его полная подготовка привела бы к выбросам «порядка величины сжигания целого железнодорожного вагона с углем, - говорит Додж. (источник: Природа)
Выводы и перспективы
Облако было бы предпочтительным выбором для обучения моделей ИИ для многих малых и средних компаний. Однако облачные модели и модели искусственного интеллекта увеличивают свой углеродный след в тот момент, когда эффект глобального потепления становится все более и более заметным. Таким образом, нам нужно подумать о том, как мы можем уменьшить влияние обеих технологий.
Компании должны инвестировать в снижение воздействия энергии. Как предполагают исследователи, одним из первых шагов является возможность выбора и использования центра обработки данных с наименьшим углеродным следом при обучении ИИ в облаке. Кроме того, обучение должно быть гибким и планироваться, когда спрос на энергию ниже или центр обработки данных питается от зеленой энергии.
«Чем меньше мы делаем для решения проблемы изменения климата сейчас, тем больше регулирования у нас будет в будущем». — Билл Най
Поскольку, по прогнозам, размер рынка ИИ будет расширяться со среднегодовым темпом роста (CAGR) 38,1% с 2022 по 2030 год, мы должны решить проблему энергопотребления как можно скорее. Хорошая новость заключается в том, что компании и исследователи знают о проблеме и работают над ее решением. Кроме того, существуют также институциональные усилия, учитывающие использование зеленой энергии для обучения (например, модель BLOOM). Наконец, модели ИИ также могут быть полезны для оптимизации энергопотребления и ограничения выбросов углекислого газа.
Дополнительные ресурсы
- Если вы заинтересованы в отслеживании или прогнозировании энергопотребления и/или углеродного следа путем обучения модели глубокого обучения, вы можете попробовать: carbontracker(статья, репозиторий), codecarbon(веб-сайт, репозиторий GitHub, документация), ML CO2 Impact(веб-сайт) или EnergyVis(статья, репозиторий GitHub)
если вам было интересно:
Вы можете найти другие мои статьи, вы также можете подписаться, чтобы получать уведомления, когда я публикую статьи, и вы также можете связаться со мной или связаться со мной в LinkedIn. Спасибо за вашу поддержку!
Вот ссылка на мой репозиторий Github, где я планирую собирать код и множество ресурсов, связанных с машинным обучением, искусственным интеллектом и многим другим.
