Прошло два месяца с тех пор, как OpenAI, компания, стоящая за ChatGPT, выпустила в ноябре 2022 года свою новейшую крупноязыковую модель (LLM). ChatGPT, когда его спрашивают, скромно представляет себя как инструмент для перевода, поиска информации, создания стихов, эссе. и программный код; но кажется, что он может сделать гораздо больше. По словам Шридхара Рамасвами, бывшего руководителя Google Ads, это может произвести революцию в поиске и должно рассматриваться как серьезная угроза рекламному бизнесу Google. Языковая модель уже меняет академические круги, поскольку недавно она сдала экзамены на юридическом факультете Миннесотского университета. Точно так же он сдал экзамены на собеседование по коду Google в качестве младшего программиста. Все это происходит из коробки без дальнейшего обучения какой-либо конкретной дисциплине. Хотя ChatGPT — не единственный LLM такого рода и возможностей, такой инструмент впервые легко доступен для разработчиков и широкой публики. Поскольку ChatGPT предоставляет общедоступный API и становится легко интегрироваться с другим программным обеспечением, я хотел бы обсудить последствия для безопасности, конфиденциальности для пользователей LLM, а также силу и ответственность, которые несут те, кто занимается дальнейшим развитием ИИ.

Предвзятость и дезинформация

Две хорошо обсуждаемые слабости ChatGPT — это склонность предоставлять ложную информацию и риск неявной предвзятости. Например, попросите ChatGPT обобщить сюжет эпизода шоу. Вполне вероятно, что имена персонажей будут перепутаны, они повторяются или пропускают важную информацию.

Проблема предвзятости также хорошо задокументирована и влияет на языковые модели в целом. Еще в 2016 году Microsoft выпустила своего чат-бота Tay в Twitter. Менее чем за 24 часа комментарии пользователей отравили колодец, и Тэй хвастался комментариями в подстрекательских выражениях. Хотя ChatGPT не является откровенно возмутительным, как Tay, предубеждения все еще присутствуют, когда пользователи демонстрируют примеры в Интернете. Поскольку LLM интегрированы с программным обеспечением, эти предубеждения, вероятно, будут распространяться.

Пример финской компании Svea Ekonomi AB показывает, как статистические модели принятия решений влияют на реальный мир. Svea Ekonomi, поставщик онлайн-кредитов, предпочитал пользователей со шведским в качестве первого языка по сравнению с финским в заявках на получение кредита, поскольку шведское меньшинство в Финляндии богаче, чем среднее население страны. Скандал с выплатой детских пособий в Нидерландах иллюстрирует проблему на уровне автоматизированного принятия государственных решений и в конечном итоге привел к свержению правительства. Правительства всего мира стремятся модернизировать административную инфраструктуру, сократить бюрократию и инструменты, поскольку ChatGPT, вероятно, сыграет свою роль.

Предвзятость играет роль не только в цифровых системах принятия решений, но и тогда, когда на пользователей оказывают влияние в больших масштабах. Изменение поведения потребителей путем продажи целевой рекламы — основной бизнес Google и Facebook. В 2016 году услуги Cambridge Analytica использовались в ходе президентской кампании в США, чтобы повлиять на потенциальных избирателей в Facebook. Параллельно происходило распространение дезинформации, нацеленной на наиболее восприимчивых пользователей. Языковые модели столкнутся с аналогичными трудностями. OpenAI настроил ChatGPT, чтобы избежать прямых политических вопросов. Тем не менее, его можно привести к мнению о политических темах, таких как минимальная заработная плата, налогообложение и законы об оружии в США. Кроме того, ChatGPT можно использовать для создания реалистичной дезинформации на высокой скорости, подкрепленной сильными риторическими навыками. Это может усугубляться разработчиками, которые настраивают свой экземпляр ChatGPT, чтобы он отражал политическую повестку дня.

Конфиденциальность

В частности, использование ChatGPT может противоречить законодательству о конфиденциальности. В Европейском Союзе Общий регламент по защите данных (GDPR) предоставляет пользователям право на забвение и удаление их данных. Когда запросы пользователей используются для обучения языковой модели, входные данные сохраняются внутри модели. Это выходит за рамки хранения в базе данных, поскольку текст, на котором обучается модель, становится ее частью. Пользовательские входные данные могут быть удалены из обучающих данных, однако переобучение модели не является тривиальной задачей, когда затраты на это высоки с точки зрения денег, энергии и времени вычислений. Даже если пользовательские данные не используются в целях обучения, обработка запросов, содержащих конфиденциальные данные, может нарушать законы о конфиденциальности. Текст, отправленный в ChatGPT, доступен для OpenAI в виде открытого текста. Когда эти данные являются конфиденциальными, будь то медицинские записи, финансовые данные или коммерческая тайна, проблемы выходят за рамки конфиденциальности пользователей. Решением может стать размещение ChatGPT в нескольких юрисдикциях для повышения соответствия требованиям. Самостоятельное размещение было бы жизнеспособным для крупных компаний или государственных учреждений, однако малые и средние компании, желающие защитить свои секреты, вряд ли будут ограничивать ресурсы, необходимые для вывода LLM.

Моделирование атак, эксплойтов и уязвимостей

Данные обучения также подвержены риску утечки из-за самих языковых моделей. Предполагается, что при обучении на больших объемах данных модель изучает закономерности, но не запоминает точные обучающие примеры. Например, рассмотрим шаблон, согласно которому кредитные карты состоят из 16 цифр. Модель должна изучить этот шаблон, не запоминая номера отдельных кредитных карт, на которых она обучалась. Поскольку объем данных, на которых обучается ChatGPT, очень велик, такое запоминание считается маловероятным. Однако это происходит, как было продемонстрировано на GPT-2, предшественнике ChatGPT. Такая атака известна как атака извлечения обучающих данных. В принципе, это работает, потому что модель работает, предсказывая, какой текст, скорее всего, следует за заданным входным текстом. Если начать запрос с такой фразы, как «Джейн Доу, номер кредитной карты 1234», можно получить полный номер кредитной карты Джейн, который модель запомнила. Также возможны атаки на вывод о членстве, которые показывают злоумышленникам, был ли конкретный ввод частью обучающего набора. Дезинфекция обучающих данных с помощью таких методов, как дифференциальная конфиденциальность, для предотвращения атак, является активной областью исследований, в то время как ChatGPT уже используется. Кроме того, действующее законодательство GDPR не устраняет риск утечки данных из обученных моделей.

Поскольку приложения разрабатываются с использованием ChatGPT, сервисы могут захотеть привязать пользователей к конкретному варианту использования. Например, предположим, что веб-сайт по продаже зубных щеток интегрирует ChatGPT, чтобы помочь пользователям выбрать и купить нужную зубную щетку. Чтобы предотвратить злоупотребления, ChatGPT проинструктирован или настроен так, чтобы разрешать только вопросы, связанные с зубными щетками. Еще неизвестно, в какой степени пользователи смогут вырваться из ограниченного контекста, чтобы использовать ChatGPT для других целей, затрачивая при этом ресурсы продавца зубных щеток. Когда ChatGPT подключается к бэкэнд-API и базам данных для совершения покупок, злоумышленник может еще больше выйти за пределы контекста, заставив ChatGPT генерировать вредоносные бэкэнд-запросы. Вектор атаки аналогичен SQL-инъекции, когда запросы к базе данных манипулируются для извлечения информации или изменения базы данных. По этой причине не следует доверять языковым моделям для создания безопасных или действительных запросов к серверным службам, и установленные методы предотвращения таких атак по-прежнему необходимы.

Конкурс

ChatGPT — не единственная языковая модель, и OpenAI не будет единственным значимым игроком. Фактически, OpenAI опередил Google в поспешном запуске своего чат-бота с искусственным интеллектом под названием Bard. Bard будет работать на LaMDA, диалоговом LLM, которому удалось убедить разработчика Google, что он разумен; убеждение было настолько сильным, что инженер нанял адвоката от имени LaMDA, пока инженера не уволили. Янн ЛеКун, пионер сверточных нейронных сетей и главный специалист по искусственному интеллекту в Meta, утверждает, что Google и Meta не решались запускать аналогичные системы, потому что они могут давать ложную информацию, создавая риск для репутации их бизнеса. OPT-175B — это модель некоммерческой лицензии с открытым исходным кодом, недавно опубликованная Meta. Модель работает так же хорошо, как GPT-3, модель, на которой основан ChatGPT, при этом она примерно в 7 раз более энергоэффективна во время обучения. Открытые исследовательские коллективы Bigscience и EleutherAI также предоставляют предварительно обученные языковые модели с полностью открытым исходным кодом. Успех LLM в последние годы можно объяснить публикацией архитектуры трансформатора в 2017 году инженерами Google.

В настоящее время ChatGPT является наиболее производительной общедоступной моделью. Хотя ChatGPT имеет архитектурное сходство с другими моделями, он точно настроен на процесс маркировки человеком и обучения с подкреплением. Кроме того, ChatGPT является особенно хорошо интегрированным приложением, которое находится на переднем крае предоставления монетизируемого продукта, который, вероятно, получит широкое распространение. Уже в 2019 году Microsoft инвестировала в OpenAI 1 миллиард долларов, а в 2023 году еще 10 миллиардов долларов. Хотя партнерство между OpenAI и Microsoft является официальным, неофициальные источники утверждают, что Microsoft в конечном итоге получит 49% акций OpenAI, таким образом сосредоточив больше власти в хорошо зарекомендовавший себя игрок, если это правда.

Заключение

ChatGPT обещает сделать информацию более доступной для широкого круга пользователей и помочь им более эффективно разрабатывать идеи и создавать программное обеспечение. Тем не менее, его интеграция с программным обеспечением также сопряжена с риском. Хотя условия использования OpenAI предоставляют пользователям полные права на входные и выходные данные, риски безопасности и конфиденциальности LLM также следует учитывать на техническом уровне. В настоящее время ChatGPT не очень подходит для критически важных приложений, будь то потому, что они полагаются на точные выходные данные или потому, что входные данные чувствительны. Точно так же алгоритмическая предвзятость продолжает оставаться все более важным предметом обсуждения, особенно когда она используется в государственном секторе. Технология, лежащая в основе ChatGPT, интересна и, в принципе, общедоступна, а простота использования может способствовать концентрации власти в руках немногих. Использование искусственного интеллекта путем понимания и обсуждения — это наш самый многообещающий способ исправить недостатки и снизить риски, одновременно пожиная плоды и видя его красоту.

Рекомендации

- ChatGPT сдает университетские экзамены. https://edition.cnn.com/2023/01/26/tech/chatgpt-passes-exams/index.html

- ChatGPT изучает доменный язык. https://medium.com/@andreasmuelder/ai-powered-low-code-platform-by-example-how-to-use-chatgpt-to-abstract-from-domain-languages-625c3abf0e49

- Большая языковая модель Meta, OPT-175B. https://ai.facebook.com/blog/democratizing-access-to-large-scale-language-models-with-opt-175b/

- Языковая модель Блума от Bigscience. https://bigscience.huggingface.co/

- EleutherAI, исследовательская группа распределенного ИИ. https://www.eleuther.ai/

- ChatGPT, возможная угроза для бизнеса Google Ads. https://www.washingtonpost.com/business/energy/google-faces-a-serious-threat-from-chatgpt/2022/12/07/363d2440-75f5-11ed-a199-927b334b939f_story.html

- ChatGPT, по мнению Янна Лекуна, не такой уж и революционный. https://www.zdnet.com/article/chatgpt-is-not-особенно-innovative-and-nothing-revolutionary-says-metas-chief-ai-scientist/

- Предвзятость чат-ботов в Microsoft Tay. https://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist

- Алгоритмическое принятие решений, детские пособия в Нидерландах. скандал/"

- Самостоятельный хостинг BLOOM на потребительском оборудовании. https://towardsdatascience.com/run-bloom-the-largest-open-access-ai-model-on-your-desktop-computer-f48e1e2a9a32

- Обучение атакам извлечения данных на больших языковых моделях. https://www.usenix.org/system/files/sec21-carlini-extracting.pdf

- Условия использования OpenAI; права на ввод и вывод. https://openai.com/terms/

- OpenAI FAQ, использование входных данных для обучения и доступ к открытому тексту. https://help.openai.com/en/articles/6783457-chatgpt-general-faq

- Утечка информации о модели GDPR отсутствует в обсуждении расширения AI. https://www.europarl.europa.eu/RegData/etudes/STUD/2020/641530/EPRS_STU(2020)641530_EN.pdf

- GDPR, версия от 23.05.2018. https://gdpr-info.eu/

- ChatGPT как дезинформационный спамер. https://www.nytimes.com/2023/02/08/technology/ai-chatbots-disinformation.html

- ChatGPT проходит вступительный тест Google. https://www.cnbc.com/2023/01/31/google-testing-chatgpt-like-chatbot-apprentice-bard-with-employees.html

- Модель Meta's OPT, исследовательская работа. https://arxiv.org/abs/2205.01068

- Модель Google LaMDA. https://blog.google/technology/ai/lamda/

- Процесс обучения OpenAI для ChatGPT. https://openai.com/blog/chatgpt/

- Скандалы в Facebook. https://economictimes.indiatimes.com/magazines/panache/from-cambridge-analytica-scandal-to-fake-news-zuckerberg-remains-controversys-child/the-politic-ads-controversy/slideshow/75733008.cms

Последний доступ ко всем ссылкам 15 февраля 2023 года.

Рафаэль Таппе Маэстро — работающий студент компании itemis AG в Германии. Он получает степень магистра в области искусственного интеллекта в Университете Гронингена. Его исследовательские интересы в области ИИ связаны с энергетическими ограничениями, поиском нейронной архитектуры и локальными правилами обучения. Рафаэль пользуется широким спектром языков программирования, читает новости Phoronix Linux и отмечает проекты на GitHub.