Изучение угроз системы машинного обучения, возникающих до и во время обучения модели.

Внедрение машинного обучения неуклонно растет в приложениях и отраслях. Это связано с рядом бизнес-проблем, которые может решить ML, а также с быстрорастущей экосистемой библиотек и инструментов, которые помогают организациям быстро запускать свои команды ML.

Однако... у всего есть обратная сторона!

Несмотря на то, что методы машинного обучения внедряются в подавляющем большинстве отраслей, хакеры и другие потенциально злоумышленники продолжают находить способы компрометации этих систем машинного обучения.

Угрозы системам машинного обучения

Чтобы понять угрозы безопасности, присущие системам машинного обучения, важно понять, как работают эти методы. Понятно, что машинное обучение — это процесс обучения системы распознаванию закономерностей на примерах. Эти примеры называются обучающими наборами данных. Система машинного обучения использует эти примеры для создания собственных обобщенных правил прогнозирования.

В зависимости от статуса обучения модели обучения угрозы для систем машинного обучения можно разделить на два типа. Существует две категории угроз: до/во время тренировки и после тренировки.

Угрозы до или во время обучения модели машинного обучения

Ранее я упоминал, что системы машинного обучения учатся на данных, которые им предоставляются для обучения. Различные факторы определяют точность системы, но в целом набор данных, предоставляемый обучающейся системе, имеет первостепенное значение, когда речь идет об определении точности системы. Как следствие, данные являются очень важным аспектом разработки системы машинного обучения.

Учитывая важность данных при разработке систем машинного обучения, злоумышленники пытались атаковать сами обучающие данные. Чтобы нацелить данные для обучения систем машинного обучения, есть два варианта.

1. Скрытая атака канала

Разработка хорошей модели машинного обучения во многом зависит от качества данных. Поэтому крайне важно собирать качественные и актуальные данные. Данные собираются из различных источников во время разработки реального приложения. Именно здесь злоумышленник может ввести мошеннические или неточные данные, что ставит под угрозу процесс машинного обучения. Еще до того, как модель будет создана, злоумышленник может скомпрометировать всю систему, вставив массу мошеннических данных — это называется скрытой атакой канала. Поэтому сборщики данных должны быть очень усердны при сборе данных для систем машинного обучения.

Давайте разберемся с помощью примера.

Часто злоумышленники создают изображения, которые кажутся человеку совершенно нормальными, но дают неверные результаты. Исследователи Google, например, показали, как введение шума в изображение может изменить предсказание модели распознавания изображений.

На рисунке 1 ниже вы можете видеть, что слой шума даже не воспринимается человеческим глазом. Однако модель теперь предсказывает, что панда — это гиббон.

Таким образом можно обмануть модели распознавания изображений, потому что они обучены связывать определенные пиксели с определенными целями. Предсказание будет изменено, если эти пиксели будут правильно настроены.

2. Отравление данными

Отравление данными — одна из наиболее изученных и эффективных атак на системы машинного обучения. Машинное обучение настолько сильно зависит от данных, что небольшие изменения в них могут сделать систему бесполезной. Злоумышленники пользуются этой уязвимостью и чувствительностью систем машинного обучения и манипулируют данными, которые используются для обучения.

Отравление данных напрямую влияет на два важных аспекта данных: конфиденциальность данных и надежность данных. Бывают случаи, когда данные, используемые для обучения системы, содержат конфиденциальную и конфиденциальную информацию. Когда данные отравлены, эта конфиденциальность скомпрометирована. Широко распространено мнение, что поддержание конфиденциальности данных само по себе является сложной задачей; однако добавление машинного обучения к этому уравнению делает его еще более сложным.

Отравление данными включает два конкретных типа атак.

а. Label Flipping
Атака Label Flipping отравляет данные, изменяя в них метки. Модели машинного обучения используют обучающие данные, которые также включают ожидаемый результат, в случае обучения с учителем. Когда ожидаемые результаты попадают в отдельную группу, они называются метками. При переворачивании меток ожидаемые результаты меняются местами.

Вот пример. Первая таблица показывает исходные данные, а вторая таблица отображает данные после переворачивания этикетки.

б. Атака градиентного спуска

Машинное обучение основано на пробах и ошибках. Во время начальной итерации модель с трудом предсказывает правильные ответы. Модель обычно сравнивает предсказанные ответы с фактическими ответами и постепенно корректирует некоторые постоянные переменные в течение многих итераций, чтобы получить правильные ответы. Мы называем этот процесс градиентным спуском. Атака градиентного спуска выполняется во время обучения модели.

Градиентный спуск требует, чтобы модель повторяла серию итераций, настраивая постоянные переменные, пока не будет уверена, что достигла правильного ответа.

Есть два способа выполнить атаку градиентного спуска. Во-первых, можно заставить модель поверить, что она все еще очень далека от фактического ответа, а затем запустить ее в бесконечный цикл итераций. В этом сценарии ответ постоянно меняется; в результате цикл обучения становится бесконечным, и модель никогда не достигает завершения.

Второй вид атаки градиентного спуска на модель машинного обучения заключается в том, чтобы заставить ее поверить, что она завершила свой спуск. Другими словами, модель вводится в заблуждение, думая, что предсказанный ответ является фактическим ответом. Из-за этой атаки произошло неправильное обучение модели, или другими словами, она была обучена с неточными параметрами. В результате такого неполного обучения все прогнозы модели будут неточными. Поэтому модель не будет точной.

Подпишитесь на еженедельник Deep Learning Weekly и присоединяйтесь к более чем 15 000 ваших коллег. Еженедельный доступ к последним новостям отрасли глубокого обучения, исследованиям, библиотекам кода, учебным пособиям и многому другому.

Уроки до сих пор

Обеспечить безопасность систем машинного обучения непросто. Часто это утомительный процесс, который не дает немедленных результатов, особенно когда киберпреступники находят новые способы проникновения в системы.

Организациям нужны решения для обеспечения безопасности, которые обеспечивают высоконадежную конфиденциальную вычислительную среду для защиты моделей машинного обучения. Приложения машинного обучения — большие или малые — могут быть эффективно защищены, если конфиденциальные вычисления сочетаются с правильным решением для кибербезопасности.

В этой части мы узнали, насколько важны данные для любой модели машинного обучения. Кроме того, мы обсудили угрозы, перед которыми уязвима система машинного обучения. Мы проанализировали угрозы, которые могут возникнуть до и во время обучения модели машинного обучения.

В следующей части мы рассмотрим угрозы, которые могут возникнуть после обучения модели машинного обучения.

Увидимся в следующий раз :)

Примечание редактора. Heartbeat — это интернет-издание и сообщество, созданное участниками и посвященное предоставлению лучших образовательных ресурсов для специалистов по науке о данных, машинному обучению и глубокому обучению. Мы стремимся поддерживать и вдохновлять разработчиков и инженеров из всех слоев общества.

Независимая от редакции, Heartbeat спонсируется и публикуется Comet, платформой MLOps, которая позволяет специалистам по данным и командам машинного обучения отслеживать, сравнивать, объяснять и оптимизировать свои эксперименты. Мы платим нашим авторам и не продаем рекламу.

Если вы хотите внести свой вклад, перейдите к нашему призыву к участию. Вы также можете подписаться на получение наших еженедельных информационных бюллетеней (Еженедельник глубокого обучения и Информационный бюллетень Comet), присоединиться к нам в Slack и следить за Comet в Twitter и LinkedIn, чтобы получать ресурсы, события и многое другое, что поможет вам быстрее создавать лучшие модели машинного обучения.