Использование обученных моделей - когда требуется осторожность?

Компьютеры полагаются на заранее определенные инструкции, логику и вычисления. Во всех задачах, связанных с вычислениями и заранее определенными правилами, компьютеры наверняка перехитрили людей. Возьмем, к примеру, AlphaZero, движок, основанный на обучении с подкреплением, который освоил шахматы, сёги и го. Ни один игрок-человек не сможет победить такие умные двигатели. Однако не говоря уже о том, что человеческий мозг обладает множеством других характеристик, которых не хватает компьютерам, например, рассуждением, чувством эстетики, морали и этики, обработкой эмоций и самосознанием. Поэтому, используя обученные машины для задач, отличных от тех, которые связаны только с заранее определенными правилами, мы иногда попадаем в опасную зону. Без сомнения, интеллектуальные системы помогли нам во многих различных областях, включая медицинскую диагностику, сельское хозяйство, бизнес-аналитику, обработку естественного языка, механизмы рекомендаций, распознавание лиц и объектов и многое другое. Однако усиление зависимости от этих систем иногда связано с большими затратами, поскольку есть пугающие хвосты их сбоев.

IBM Watson for Oncology - это проект искусственного интеллекта, используемый онкологическим центром Андерсона Университета Техаса, целью которого было искоренить рак [1]. По мнению экспертов, при развертывании для работы с реальными данными о пациентах продукт оказался неудачным, и на него нельзя было положиться, поскольку он давал ошибочные суждения и рекомендовал« небезопасные и неправильные методы лечения рака» [2]. В результате были поставлены под угрозу инвестиции в размере более 62 миллионов долларов [3] со стороны нескольких заинтересованных сторон, а также нанесение ущерба репутации IBM. Этот инцидент подчеркивает необходимость осторожности при использовании моделей в медицине.

Еще одна серьезная проблема, требующая особой осторожности, - это использование беспилотных автомобилей. Это происходит главным образом из-за неспособности их системы реагировать на непредсказуемое поведение человека и беспрецедентные ситуации на дороге, независимо от того, насколько хорошо изученные модели предотвращения столкновений показали себя в ходе испытаний в контролируемой среде. Произошло несколько несчастных случаев со смертельным исходом с участием беспилотных автомобилей. В штате Аризона беспилотный автомобиль Uber со смертельным исходом сбил пешехода, переходящего улицу. [4]. Другая авария во Флориде унесла жизнь водителя автомобиля Tesla на автопилоте, который врезался в белый трейлер, замаскированный ярким небом, и автопилот не смог его обнаружить. [5].

Чрезмерное доверие к обученным моделям даже в сравнительно менее важных областях, таких как бизнес-аналитика, также может быть ужасным по той же причине, что они просто не могут предсказать беспрецедентные события. Текущая и недавняя ситуация с пандемией COVID-19 заставляет задуматься о том, сколько хорошо протестированных моделей, прогнозирующих цены на акции, тенденции путешествий и доходы бизнеса, потерпели бы неудачу во всем мире, что свидетельствует о важности планов действий в чрезвычайных ситуациях, независимо от того, насколько положительными картину изображают модели.

В центре внимания также оказались этические проблемы, такие как пол и расовая предвзятость в моделях машинного обучения. Инструмент приема на работу, разработанный Amazon, оказался предвзятым в отношении кандидатов-женщин, потому что он был обучен на данных кандидатов за предыдущие годы, когда преобладали мужчины [6]. Исследователи подвергли сомнению инструмент COMPAS, используемый судами в США для определения шансов того, что обвиняемый станет рецидивистом, проявить расовые предубеждения по отношению к цветным людям. Согласно исследованию [7], обвиняемые, которые были отнесены к категории лиц с высоким риском в системе COMPAS, но не совершили повторного правонарушения, состояли из 23,5% белых и колоссальных 44,9% афроамериканцев, что показывает, что чернокожие почти в два раза чаще получают неправильную маркировку. как более высокий риск, чем белые. Более того, 47,7% белых обвиняемых были признаны группой низкого риска и все же подверглись повторному правонарушению, в то время как это имело место только для 28,0% афроамериканцев.

До сих пор мы говорили о непреднамеренных сбоях и предвзятости, но, как и любая другая система, системы и модели машинного обучения также могут использоваться злоумышленниками. Чат-бот Tay, запущенный Microsoft, сделал новости [8], [9], [10] после того, как опубликовал расовые, женоненавистнические и антисемитские твиты в результате атак с отравлением [11] Интернет-тролли, которые кормили Тэя столь спорным содержанием. Модель в Tay узнала из пользовательских данных, которыми она была загружена, и в конечном итоге сама была повреждена [9], [12]. Microsoft пришлось закрыть Tay в течение первых 16 часов после его запуска [10], а позже принесла извинения [12].

Конфиденциальность обучающих данных модели также может быть нарушена посредством атак с инверсией модели [11], особенно в облачных системах ML-as-a-service. Исследователи смогли реконструировать лица людей с точностью почти 95% благодаря доступу только к их имени (метке) и модели нейронной сети для распознавания лиц. Они могли получить доступ к модели только как к черному ящику (доступ к API), который возвращал метку (имя) и значение достоверности при предоставлении изображения. Те же исследователи с помощью атаки инверсии модели также смогли определить, используя модель дерева решений, признал ли респондент исследования образа жизни свою вину в неверности, что является очень частным. [13]

Подводя итог, мы сотворили чудеса с идеей заставить машины учиться, но все еще не достигли точки, когда мы можем слепо доверять изученным моделям. В критически важных для здоровья системах чрезвычайно важен надзор со стороны экспертов. В противном случае это может привести к неправильным результатам, которые в конечном итоге могут унести жизни пациентов. Точно так же автономные транспортные средства на дорогах общего пользования по-прежнему требуют бдительности от резервного водителя, иначе автопилот представляет опасность для жизни мирных жителей. Кроме того, мы не можем полагаться исключительно на модели для принятия важных решений, таких как приговор к уголовной ответственности или наем сотрудников, и должны быть предприняты усилия для минимизации непреднамеренной предвзятости в пользу или против определенных групп людей при обучении таких моделей. Следует также уделить должное внимание усилению безопасности систем машинного обучения, особенно тех, которые имеют прямое взаимодействие с общественностью.

Последний вопрос, который приходит в голову, скорее вымышленный: если мы сможем обучить машины почти до совершенства, чтобы они намного превосходили людей во всех областях, сможем ли мы их контролировать? Facebook отключил роботов с искусственным интеллектом, которые, по-видимому, начали общаться друг с другом на своем родном языке, неизвестном людям [14]. Роботы были отключены не из-за паники, а из-за того, что они не выполняли желаемую функцию, однако новости действительно вызывают удивление, особенно у тех, кто уже давно говорит об опасностях, связанных с захватом ИИ.

использованная литература

[1] Доктор медицины Андерсон использует IBM Watson для выполнения миссии по борьбе с раком (2013 г.), отдел новостей IBM.

[2] К. Росс и И. Светлиц, Рекомендованные IBM Watson« небезопасные и неправильные методы лечения рака» (2018), STAT

[3] Специальный обзор процедур закупок, связанных с проектом советника по онкологии онкологического центра им. М. Д. Андерсона (2016 г.), Служба аудита системы Техасского университета

[4] Д. Вакабаяси, Беспилотный автомобиль Uber убивает пешехода в Аризоне, где бродят роботы (2018), The New York Times

[5] Трагическая потеря (2016), Tesla

[6] Дж. Дастин, Amazon раскрывает секретный инструмент рекрутинга ИИ, который продемонстрировал предвзятое отношение к женщинам (2018 г.), Reuters

[7] Дж. Ангвин, Дж. Ларсон, С. Матту, Л. Киршнер, Machine Bias (2016), ProPublica

[8] Э. Хант, Тай, AI-чат-бот Microsoft, получает ускоренный курс по борьбе с расизмом из Twitter (2016), The Guardian

[9] А. Гриффин, Microsoft создала робота, который пишет в Твиттере о любви к Гитлеру и ненависти к евреям, (2016), The Independent

[10] Microsoft извиняется за расистские и сексистские твиты AI Chatbot (2016), The Guardian

[11] Р. С. Сива Кумар, Д. О. Брайен, К. Альберт, С. Вильёэн и Дж. Сновер, Режимы отказа в системах машинного обучения (2019), arXiv

[12] П. Ли, Уроки из введения Тэя (2016 г.), официальный блог Microsoft.

[13] М. Фредриксон, С. Джа, Т. Ристенпарт, Атаки с инверсией модели, использующие достоверную информацию и основные меры противодействия (2015), Proc. 22-я конференция ACM SIGSAC Conf. Компьютерная и коммуникационная безопасность, Денвер, Колорадо, США, стр.1322–1333.

[14] А. Гриффин, Роботы Facebook выключаются после того, как они разговаривают друг с другом на языке, который понимают только они (2017), The Independent