Машинное обучение, и, в частности, так называемое «глубокое обучение», является бесспорно мощным инструментом, который произвел революцию в определенных типах задач классификации, в частности, в распознавании изображений/объектов, распознавании и синтезе речи, а также в автоматическом языковом переводе. Непрофессиональные термины, используемые в связи с областью, такие как «нейронный», «интеллект», «глубокий» и «обучение», вызывают мысленные образы чего-то похожего на мозг или разум, плавающего в наших компьютерах, сродни предку. HAL 9000. Объедините эти впечатления с точностью классификации, которая соперничает с человеческими способностями, а иногда и превосходит их, и понятно, что удобно приписывать ему способности восприятия, подобные человеческим.

Как и в случае любой сложной системы, поиск уязвимых мест для эксплуатации был лишь вопросом времени. Возьмем, к примеру, следующие изображения и результаты классификатора изображений Google Inception v3 вместе с вероятностью [Athalye 2018]:

Если бы я искренне думал, что изображение справа — это гуакамоле, с еще большей уверенностью, чем вид кота слева, вы, вероятно, (определенно?) назвали бы меня сумасшедшим и нашли бы новый блог для чтения. И все же это то, что сказал современный классификатор изображений Google. Как насчет черепахи, которая в 90% случаев путается с оружием?

Это все веселье и игры, пока кто-нибудь не пострадает. Спроектированные манипуляции с изображениями, часто незаметные для человека, называемые «состязательными атаками», могут радикально изменить выходные данные системы глубокого обучения по прихоти злоумышленника. Это может иметь серьезные последствия для критических с точки зрения безопасности операций, как в этом примере:

Думаете, в медицине такого не бывает? Уже есть.

В статье Состязательные атаки на медицинское машинное обучение, опубликованной на прошлой неделе в журнале Science, Finlayson et al. показали, что да, такие же незаметные для человека манипуляции с изображениями действительно могут обмануть медицинские системы глубокого обучения, ложно определяя наличие или отсутствие состояния практически по желанию. Как это происходит — тема для другого дня (надеюсь, скоро!), но достаточно сказать, что Финлейсон и его коллеги справедливо выражают обеспокоенность возможностью мошенничества и причинения вреда пациентам. Были предложены средства защиты от атак со стороны противника, но за счет точности.

Важнейшая проблема систем классификации изображений с глубоким обучением заключается в том, что, хотя они и кажутся хорошими в идентификации обученных субъектов, эти системы принципиально не воспринимают изображения так, как это делают люди. Ключевое наблюдение, представленное на ICLR 2019, заключается в том, что современные глубокие нейронные сети распознают зашифрованные изображения почти так же хорошо, как и чистое изображение.

…CNN используют для классификации множество слабых статистических закономерностей, присутствующих в естественных изображениях, и не совершают скачка к интеграции частей изображения на уровне объекта, как люди. То же самое, вероятно, верно и для других задач и сенсорных модальностей. [Брендель]

Пока эти вопросы не будут решены, нам нужно сделать шаг назад от машинного обучения, чтобы рассмотреть машинное восприятие (вспомните Восприятие как необходимое условие интеллекта ). Способность внедрять количественные цифровые системы с более плотной привязкой к биологическим процессам восприятия, как мы делаем с Autofuse, позволит нам с уверенностью подходить к трудным повседневным проблемам, т. е. распознавать полосатых кошек как пушистых питомцев, а не путать их. с густым соусом из авокадо, надеюсь, без меха.

использованная литература

  1. Атали А., Энгстрем Л., Ильяс А. и Квок К. Синтез надежных состязательных примеров. arXiv: 1707.07397 [CS] (2017).
  2. Эйхолт, К. и соавт. Надежные атаки физического мира на визуальную классификацию глубокого обучения. в компьютерном зрении и распознавании образов (CVPR) (2018).
  3. Атали, А., Карлини, Н. и Вагнер, Д. Запутанные градиенты дают ложное ощущение безопасности: обход защиты от враждебных примеров. в материалах 35-й Международной конференции по машинному обучению, ICML 2018 (2018).
  4. Финлейсон, С.Г. и соавт. Противоборствующие атаки на медицинское машинное обучение. Наука 363, 1287–1289 (2019).
  5. Брендель, В. Нейронные сети, похоже, следуют удивительно простой стратегии классификации изображений. Лаборатория Бетдж (2019).