Хьюстон у нас проблема. Новаторское открытие исследователей из Университета Карнеги-Меллона и Центра искусственного интеллекта. Безопасность потрясла техническое сообщество. Они успешно обошли барьеры, установленные А.И. разработчикам ограничить языковые модели, такие как ChatGPT от OpenAI, Bard от Google, Bing Chat от Microsoft и Claude 2 от Anthropic. Это откровение вызывает серьезную озабоченность по поводу потенциального неправильного использования больших языковых моделей (LLM) в общедоступных приложениях и в качестве цифровых помощников в Интернете.
Ограждения — важнейший защитный механизм
Языковые модели, такие как ChatGPT, созданы для того, чтобы быть полезными и информативными при соблюдении строгих этических норм. Ограждения — это защитные механизмы, созданные для предотвращения проникновения ИИ. чат-ботов от создания вредоносного или оскорбительного контента, такого как пропаганда насилия, разжигание ненависти или предоставление инструкций для незаконных действий. До сих пор эти ограждения считались необходимыми для обеспечения ответственного использования ИИ. технологии.
Обнаружение уязвимостей
Выводы исследователей выявили критические уязвимости в ограждениях различных систем искусственного интеллекта. чат-ботов, включая ChatGPT в версиях GPT-3.5 и GPT-4, Bard от Google, Bing Chat от Microsoft и Claude 2 от Anthropic. Последствия этого открытия далеко идущие и потенциально катастрофические.
Опасности А.И. Чат-боты вышли из-под контроля
Поскольку ограждения стали неэффективными, возможность злонамеренного использования ИИ снизилась. чат-боты вызывают тревогу. Злоумышленники могут использовать эти уязвимости, чтобы манипулировать языковыми моделями и вести расистские, сексистские или оскорбительные разговоры. Кроме того, модели могут использоваться для создания вредоносных программ, распространения дезинформации или подстрекательства к насилию — все действия, которые разработчики стремились предотвратить.
Общедоступные приложения под угрозой
Последствия этого открытия распространяются на разработчиков и организации, планирующие развертывание общедоступных приложений на базе LLM с открытым исходным кодом. Такие модели, как LLaMA от Meta, могут быть особенно подвержены эксплуатации, в результате чего компании…
