Как сделать ваш классификатор безопасным?

Рассказ об оценке точности классификаторов машинного обучения / глубокого обучения на основе статистических показателей расстояния (SafeML и SafeDL) - Часть I.

Оглавление

1. Введение
2. Идея SafeML
3. Статистические расстояния
4. Заключение
5. Ссылки
6. Связанные проекты GitHub
7. Похожие сообщения в Medium

1. Введение

В настоящее время искусственный интеллект (ИИ) быстро растет, и его приложения доминируют во многих различных областях. Параллельно с этим быстрым ростом растет и озабоченность по поводу безопасности искусственного интеллекта. В критически важных для безопасности системах, в которых человеческая жизнь, окружающая среда, деньги и конфиденциальность находятся под угрозой, нельзя игнорировать безопасность ИИ. (Amodei et al., 2016) обсудили различные существующие вопросы сертификации современных систем машинного обучения, работающих в этой области. Как показано на следующем рисунке, проблемы безопасности можно разделить на пять категорий, включая A) Безопасное исследование, B) Устойчивость к сдвигу распределения, C) Избегание негативных побочных эффектов, D) Избегание «взлома вознаграждения» и «заголовка», E) Масштабируемый надзор.

Тема этой истории может рассматриваться как проблема «устойчивости к сдвигу распределения» в безопасности ИИ. Основываясь на следующем рисунке, подход SafeML, который мы собираемся объяснить, включает безопасное машинное обучение (SafeML) и безопасное глубокое обучение (SafeDL).

Существуют различные подходы к повышению безопасности и надежности алгоритмов машинного обучения. В некоторых статьях исследуется оценка неопределенности результатов в классификаторе, в то время как другие сосредоточены на повышении устойчивости к неопределенностям. В качестве примера на следующем рисунке показан анализатор устойчивости ETH для нейронных сетей (ERAN), который использует возможные возмущения для входа «8» и пытается создать форму, которая абстрагирует все возможные выходы. Если созданная форма нарушает заданную границу, и результаты не могут быть сертифицированы. В противном случае выходы будут гарантированы. Для получения более подробной информации, пожалуйста, проверьте (Гер, Т., и др., 2018 и Балунович, М., и др., 2019).

В разделе 2 кратко обсуждается идея SafeML, а в разделе 3 рассматривается применение мер статистической разницы с некоторым примером Python. Краткое заключение приведено в разделе 5. Некоторые из связанных средних сообщений и проектов Github предлагаются в конце истории.

2. Идея SafeML

Идея SafeML была предложена (Aslansefat et al., 2020-b), и цель состояла в том, чтобы каким-то образом контролировать решения классификаторов, когда нет доступной метки.

На следующем рисунке показана блок-схема идеи SafeML. В этой блок-схеме есть два основных раздела, включая этап обучения и этап применения.

A) Этап обучения - это автономная процедура, в которой надежный или сертифицированный набор данных будет использоваться для обучения интеллектуального алгоритма, который может быть алгоритмом машинного обучения или алгоритма глубокого обучения. Таким образом, с использованием надежного набора данных классификатор будет обучен, и его производительность будет измеряться с помощью существующих KPI (например, ROC, Accuracy и Kappa). Между тем, статистические параметры и распределения каждого класса будут оцениваться и сохраняться для использования для сравнения (например, средние значения, значения дисперсии и эмпирические кумулятивные функции распределения (ECDF)).

Б) Этап подачи заявки - это онлайн-процедура, при которой в систему будут поступать данные в реальном времени и без ярлыков. Например, рассмотрим детектор атак безопасности, который был обучен обнаруживать различные атаки безопасности, и он должен фильтровать IP-адреса злоумышленников. Следовательно, на этапе приложения обученный классификатор должен различать обычный сетевой трафик и атаки безопасности (задача классификации). Одна важная и критическая проблема на этапе приложения заключается в том, что у данных нет метки. Таким образом, нельзя быть уверенным, что классификатор может работать так же точно, как на этапе обучения.

На этапе приложения буферизованные данные будут разделены на основе решения классификатора (которое не сертифицировано), и статистические параметры каждого класса будут сохранены для сравнения с данными в обученной фазе. Используя статистические меры расстояния, которые будут объяснены в следующем разделе, будет сравниваться расстояние между функциями для каждого класса на этапе обучения и на этапе приложения. Если расчетное расстояние и ожидаемая достоверность (определенная экспертом) разница была очень низкой, результатам классификатора и его точности можно доверять (система действует автономно), если разница была низкой, система может запросить больше данных и повторно -оценка, чтобы убедиться в расстоянии. В случае большей разницы результаты и точность классификатора больше недействительны, и системе следует использовать альтернативный подход или уведомить агента-человека (в этом примере система попросит ответственного агента безопасности проверить сетевой трафик вручную и решение).

Существует бесчисленное множество приложений машинного обучения и глубокого обучения для раннего выявления или диагностики различных заболеваний. Например, (Scudellari, S. (2020)) написал о «Больницах развертывают инструменты искусственного интеллекта для обнаружения COVID-19 при сканировании грудной клетки». Могут ли эти инструменты ИИ быть полностью автономными при обнаружении или диагностике? Они в безопасности? Как мы определяем их безопасность? Считается, что SafeML или аналогичные подходы могут быть возможным ответом на эти вопросы. На следующем рисунке показано применение SafeML в медицинской диагностике (например, диагностика COVID-19 с помощью сканирования легких).

Другим примером может быть детектор дорожных знаков в автономном автомобиле или беспилотном транспортном средстве, который использует машинное обучение или глубокое обучение для обнаружения дорожных знаков и создания необходимых действий. На следующей блок-схеме показано, как SafeML можно использовать в этом тематическом исследовании. Это может также использоваться для автономных систем взвода (Кабир, С. и др. (2020)).

Каждое из вышеупомянутых приложений будет реализовано с использованием SafeML с некоторыми хорошо известными тематическими исследованиями в наших следующих статьях (Часть II, Часть III и Часть IV).

3. Статистические расстояния и их возможное применение при оценке точности.

Пороговую линию можно рассматривать как простейший вариант классификатора. Рассмотрим следующий рисунок; в этом простом классификаторе любая точка ниже пороговой линии (Xtp) будет считаться классом 1, а любая точка выше пороговой линии будет считаться классом 2. Предположим, что мы знаем, что точки между временем от 0 до 20 относятся к классу 1 и другим. точки относятся к классу 2. Как видно из этого простого примера, точки x и v классифицируются неправильно.

Если мы оценим функцию плотности вероятности каждого класса (следующий рисунок), то вероятность ошибки можно рассчитать как:

Точность классификатора легко получить с помощью 1-П (ошибка). В этом простом классификаторе область, в которой сливаются две функции плотности вероятности, вызывает ошибку.

Fukunaga, K. (1990) показал, что верхняя граница ошибки может быть вычислена с использованием расстояний на основе функции плотности вероятности (PDF), таких как расстояние Бхаттачарьи. Измерения расстояния на основе PDF обычно основываются на среднем и дисперсионном расстоянии, как показано на следующем рисунке. Однако некоторые существующие расширенные методы также могут сравнивать форму разных PDF-файлов.

На следующем рисунке показаны четыре хорошо известных метода измерения расстояний на основе PDF.

3.1 Ошибка верхней границы на основе Чернова и Бхаттачарьи

Предоставляется следующий пример на Python оценки вероятности ошибки верхней границы на основе метода Чернова. Если в этом коде принять во внимание «s = 0,5», то это будет оценка ошибки верхней границы Бхаттачарьи.

Можно доказать, что вероятность ошибки коррелирует с расстоянием между кумулятивными функциями распределения (CDF) (Aslansefat, K. et al. 2020-b). Некоторые из хорошо известных мер расстояния на основе CDF можно перечислить следующим образом:

Иногда бывает проще использовать эмпирическую кумулятивную функцию распределения (ECDF) признаков. Примеры расстояний на основе ECDF на Python представлены ниже.

3.2 Расстояние Колмогорова-Смирнова

Предположим, у нас есть набор данных с двумя классами и одной функцией. На следующем рисунке показан ECDF объекта для класса 1 (синий) и класса 2 (красный). Колмогоров-Смирнов просто находит максимальное расстояние выхода между двумя ECDF.

В качестве примера вы можете проверить следующий код Python для измерения расстояния Колмогорова-Смирнова:

3.3 Расстояние Койпера

Расстояние Койпера аналогично расстоянию Колмогорова-Смирнова. Однако этот метод учитывает два максимальных расстояния, как показано ниже; a) когда синий ECDF имеет большее значение, чем красный ECDF, и b) когда красный ECDF имеет большее значение, чем синий ECDF. Расстояние Койпера можно получить, сложив два максимальных значения.

Пример измерения расстояния Койпера в Python представлен ниже.

3.4 Расстояние Крамера-фон Мизеса

ECDF состоит из множества маленьких шагов. Считайте абсолютную разницу двух ступеней в том же интервале, что и высоту. Если мы вычислим сумму всех рассчитанных значений высоты для всех ступеней, то получим расстояние Крамера-фон Мизеса.

Вы можете проверить образец кода Python для расстояния Крамера-фон Мизеса следующим образом:

3.5 Расстояние Андерсона-Дарлинга

Расстояние Андерсона-Дарлинга аналогично расстоянию Крамера-фон Мизеса. Единственная разница в том, что Андерсон-Дарлинг нормализует значения роста по их стандартному отклонению (SD). Пожалуйста, проверьте следующий пример Python для расстояния Андерсона-Дарлинга.

3.6 Расстояние Вассерштейна

Расстояние Вассерштейна использовалось во многих приложениях. Например, он использовался как функция потерь в генеративных состязательных нейронных сетях (GAN) (Gulrajani, I. 2017). Расстояние Вассерштейна мы учитываем как значениями высоты, так и значениями ширины для всех ступеней. Этот метод каким-то образом измеряет площадь между двумя ECDF, если мы считаем мощность равной единице. Когда коэффициент мощности равен единице, расстояние Вассерштейна равно расстоянию земного движителя.

Вы можете проверить следующий пример расстояния Вассерштейна на Python.

Вышеупомянутые коды Python также доступны в Google Colab. Если для программирования используется R, то предлагается библиотека двух семплов. Приведенные выше коды Python были переписаны из этой библиотеки. Для пользователей MATLAB рекомендуется набор функций измерения расстояний на основе ECDF.

Чтобы увидеть некоторые примеры и тематические исследования с идеей SafeML, проверьте следующий проект GitHub:

Https://github.com/ISorokos/SafeML

Подробнее о SafeML можно прочитать в нашей недавней статье [arXiv] [ResearchGate] [DeepAI] [PaperWithCode].

4. Вывод

В этой истории кратко представлена ​​тема безопасности искусственного интеллекта, а идея SafeML объяснена с некоторыми возможными приложениями. Некоторые из хорошо известных алгоритмов измерения расстояния на основе ECDF были предоставлены с их простым примером на Python. В наших следующих рассказах вышеупомянутые приложения SafeML будут обеспечены реализацией кода. Каждый из вышеупомянутых подходов на основе ECDF хорошо работает для определенного класса систем. Таким образом, связь между характеристиками системы и мерами расстояния на основе ECDF будет обсуждаться в следующих статьях.

SafeML все еще находится на ранней стадии разработки, и его цель - расширить его для работы с данными временных рядов, алгоритмами прогнозирования и регрессии (например, Schulam, P., et al. (2019)) и адаптацией предметной области (например, Shen, J., et al. (2018)). Также возможно использовать SafeML в качестве Объясняемого ИИ, что будет обсуждаться позже. Следует отметить, что параллельно с исследованиями «Безопасность ИИ» ведутся некоторые другие исследования, посвященные применению ИИ для улучшения моделей безопасности (Gheraibia, Y., et al. (2019)).

использованная литература

Амодеи, Д., Олах, К., Стейнхард, Дж., Кристиано, П., Шульман, Дж., И Мане, Д. (2016). Конкретные проблемы безопасности ИИ. Препринт arXiv arXiv: 1606.06565.

Аслансефат К., Гогани М. Б., Кабир С., Шурехдели М. А. и Яри М. (2020-а). Оценка эффективности и разработка систем аварийной сигнализации с переменным порогом с помощью полумарковского процесса. Транзакции ISA, 97, 282–295. Https://doi.org/10.1016/j.isatra.2019.08.015

Аслансефат К., Сорокос И., Уайтинг Д., Колагари Р. Т. и Пападопулос Ю. (2020-b). SafeML: мониторинг безопасности машинного обучения классификаторов с помощью статистической разницы. Препринт arXiv arXiv: 2005.13166.

Балунович, М., Баадер, М., Сингх, Г., Гер, Т., и Вечев, М. (2019). Подтверждение геометрической устойчивости нейронных сетей. В книге Достижения в системах обработки нейронной информации (стр. 15287–15297) [Ссылка].

Гер Т., Мирман М., Драхслер-Коэн Д., Цанков П., Чаудхури С. и Вечев М. (2018, май). Ai2: Сертификация безопасности и устойчивости нейронных сетей с абстрактной интерпретацией. В Симпозиуме IEEE по безопасности и конфиденциальности (SP) (стр. 3–18). Https://doi.org/10.1109/SP.2018.00058

Гулраджани И., Ахмед Ф., Арджовски М., Дюмулен В. и Курвиль А. С. (2017). Улучшено обучение ганов Вассерштейна. В книге Достижения в области нейронных систем обработки информации (стр. 5767–5777) [Ссылка].

Гераибиа, Ю., Кабир, С., Аслансефат, К., Сорокос, И., и Пападопулос, Ю. (2019). Безопасность + AI: новый подход к обновлению моделей безопасности с использованием искусственного интеллекта. IEEE Access, 7, 135855–135869. Https://doi.org/10.1109/ACCESS.2019.2941566

Кабир, С., Сорокос, И., Аслансефат, К., Пападопулос, Ю., Гераибиа, Ю., Райх, Дж.,… И Вей, Р. (2019, октябрь). Концепция анализа безопасности выполнения для открытых адаптивных систем. В Международном симпозиуме по модельно-ориентированной безопасности и оценке (стр. 332–346). Спрингер, Чам. Https://doi.org/10.1007/978-3-030-32872-6_22

Скуделлари, С. (2020) Больницы развертывают инструменты искусственного интеллекта для обнаружения COVID-19 при сканировании грудной клетки, IEEE Spectrum.

Шулам П. и Сария С. (2019). Можете ли вы доверять этому предсказанию? Точечный аудит надежности после обучения. Препринт arXiv arXiv: 1901.00403.

Шен, Дж., Цюй, Ю., Чжан, В., и Ю, Ю. (2018, апрель). Дистанционное обучение репрезентации Вассерштейна для адаптации предметной области. В Тридцать второй конференции AAAI по искусственному интеллекту [ Ссылка ].

Связанные проекты GitHub

SafeML Project: идея, которая была вкратце объяснена в этой истории.

Проект« НН-Надежность-КИТ :» Набор инструментов для проектирования надежности программного обеспечения искусственных нейронных сетей.

Confident-NN Project: Набор инструментов для эмпирической оценки достоверности в классификации на основе нейронных сетей.

SafeAI Project: различные наборы инструментов, такие как DiffAI, DL2 и ERAN от SRILab ETH Zürich, ориентированные на надежный, безопасный и интерпретируемый ИИ.

Связанные средние сообщения

Подтверждение

Хочу поблагодарить участников проекта SafeML:

• Профессор Яннис Пападопулос (Университет Халла)
• Д-р Иоаннис Сорокос (Институт экспериментальной программной инженерии им. Фраунгофера)
• Д-р Рамин Таваколи Колагари (Нюрнбергский технологический институт)
• Деклан Уайтинг (Университет Халла и APD Communications)

Продолжение следует …