Предвзятость/данные/риск ИИ: вдумчивые идеи (осторожно: иногда нелогичное!)

Три дня дискуссий о риске и предвзятости ИИ! 13 панелей, ~50 спикеров, более 2000 регистрантов в slack-канале! Обсуждения были вдумчивыми, проницательными, глубокими, а также увлекательными!

Участники дискуссии обладают глубокими знаниями, модераторы подготовились, а слабый канал был оживленным — тяжелая работа и вдумчивость, которые были вложены в семинар, очевидны и оценены.

После просмотра видео и записи заметок (~ 22 страницы!), а также прочтения документов (RMF и 1270), я думаю, что понимаю (и ценю) фреймворк намного лучше.

К вашему сведению, у меня есть набор очень интересных ссылок в конце этого блога.

Сначала краткая предыстория

Есть два документа, которые находятся на стадии проекта и обсуждаются на семинаре.

1. Структура управления рисками ИИ NIST: первоначальный проект, 17 марта 2022 г.

2. Специальная публикация NIST 1270 На пути к стандарту выявления и управления предвзятостью в искусственном интеллекте. Я быстро написал в блоге об этом документе [Обнаружение предвзятости ИИ — новая норма от NIST]. Я включу основные заметки в этот блог.

Во-вторых, предостережения (и мотивация)

Это мои заметки, охватывающие лучшие практики и очень интересные комментарии, оставляющие кровавые подробности для просмотра трехдневного семинара [Здесь].

• Моя точка зрения направлена ​​на прагматические рекомендации, которые мы можем использовать сейчас (а также на хорошие исследовательские ссылки — перечисленные в последнем разделе ниже) — мне нужно было извлечь применимые рекомендации для некоторых документов, над которыми мы работаем — внутри компании. и внешне.
• Это хорошо согласуется с моими заметками из эмпирической статьи FinRegLab/Stanford об объяснимости и справедливости машинного обучения [Здесь]

Это немного длинный блог (мои заметки намного длиннее!), но его обязательно нужно прочитать инженерам машинного обучения, специалистам по данным и, безусловно, специалистам по рискам.

• И, когда (… не если) у вас будет шанс, посмотрите и видео. Поскольку я делал заметки (~ 22 страницы!), это заняло у меня намного больше времени — вы сможете работать быстрее !! Я также прочесал слабину, чтобы извлечь интересные комментарии.
• Жизнь вмешается, но будьте настойчивы!

Если вам не хватает времени, по крайней мере найдите время, чтобы ознакомиться с лучшими практиками и подумать о них. Я аннотировал их так, чтобы вы могли отсканировать и выбрать 42 (да, 42!) передовых метода, игнорируя остальные!

Рекомендации №0 .Просканируйте и найдите все 42 рекомендации в этом блоге!!

Несколько слов о работе NIST — документы «созданы на основе консенсуса, информативный справочник, предназначенный для добровольного использования». Итак, они немного подробны, и иногда появляется создание комитетом.

Рекомендация №1 . Несмотря на то, что они находятся в черновой форме, работа и документы NIST чрезвычайно полезны даже сегодня. Они вложили много хороших мыслей, и это видно. Итак, включите работу NIST в свою практику сейчас и обновляйте по мере продвижения работы NIST — вам не нужно ждать, пока их работа будет выполнена

Далее, (иногда противоречащие здравому смыслу!)

Кстати, семинар проводился в соответствии с правилом Чатем-Хаус, то есть «участники могут свободно использовать полученную информацию, но ни личность, ни принадлежность докладчика (ов), ни любого другого участника не могут быть раскрыты», так что все идеи анонимны — но, конечно же, вы знаете, кто вы есть!

1. Реалии систем ИИ

• «Мы не можем точно предсказать будущее, но многие наши интуитивные представления устроены так, как будто мы можем!» В результате мы получаем усиление неравенства, например. системы уголовного правосудия по рецидивам.
• Спросите: «Для кого система терпит неудачу?». Делает ли она «удачливых людей еще более удачливыми, а невезучих — еще менее удачливыми» или наоборот?
• «Причина, по которой люди не взаимодействуют с объяснениями, заключается в том, что объяснения не подходят для конечных пользователей».
• Полагаться только на инструменты справедливости — все равно, что листать книгу до самого конца, не задумываясь о сюжете! Это не способ думать об использовании инструментов, а то, о чем следует думать, когда вы работаете над этими темами, когда используете инструменты.
• Нынешней системе здравоохранения трудно доверять: «Когда приходит вызов на обследование, возникает вопрос: Это что-то, что в моих интересах, или кто-то другой делает это, потому что это часть их бизнеса. модель ?'”
• «Мы заменяем бюрократию алгоритмом» — в определенном смысле бюрократия будет иметь свой собственный алгоритм (хотя, как правило, не полностью явный), так что это выглядит как вопрос о том, какой алгоритм будет более подходящим для использования, а не о том, следует ли использовать алгоритмы вообще!
• Дебаты о несправедливости и беспристрастности. Предположим на минуту, что кандидатов на работу определяет генератор случайных чисел. Это беспристрастно, поэтому мы не можем жаловаться; нам все равно будет плохо, потому что это несправедливо и морально не законно!
• «Мы оцениваем реальные системы машинного обучения так же, как пишем научную статью, а не измеряем реальное влияние системы ИИ, и это просто не сработает»
• «Я никогда не хочу слышать о вашем рейтинге на Kaggle (конкурсе по интеллектуальному анализу данных) или о четвертой десятичной цифре вашего теста AUC — это почти нерелевантные показатели — потребители заботятся о безопасности, законности и реальном мировая производительность”
• Оценка академической успеваемости важна, потому что это показатель того, что будет дальше, но они могут не предназначаться для реальной успеваемости.

Рекомендация №2.Переход от измерения производительности на основе статических тестов наборов данных к измерениям, отражающим реальную производительность.

Анализируйте каждую точку сбоя и анализируйте, почему возникла точка сбоя, а не совокупные показатели производительности.

Это не только метрики, но и среда тестирования — результаты тестирования, насколько хороши или плохи условия тестирования [NIST-Workshop-0322].

Рекомендация № 3 . ИИ не создается и не развертывается в вакууме, изолированном от социальных реалий дискриминации или недобросовестных практик [NIST-1270].

Предвзятость не нова и не уникальна для ИИ, и невозможно добиться нулевого риска предвзятости в системе ИИ. Плохая пилюля, но мы должны учитывать реальность [NIST-1270]

Рекомендация №4:распределение рисков по уровням. Ни у кого нет ресурсов, чтобы снизить все свои риски, поэтому мы должны сосредоточиться на самых серьезных проблемах / деликатных целях [NIST-Workshop-0322].

• Существует множество принципов, но политическая и практическая сторона AI Bias по-прежнему неясна.
• Например, «Устранение предвзятости» остается нетронутым. Кому мы звоним, когда видим признаки негативного воздействия? И что мы тогда делаем? Каковы пути повышения справедливости? Пока NIST молчит — конечно, они еще на начальных стадиях

Рекомендация № 5 . Чтобы организация преуспела в этой области, вам необходимо разработать точные, лаконичные и практические рекомендации, а не принципы и политику. например, «Предотвращение предвзятости и лучшие практики» определяет лучшие практики, которые ваша организация может использовать для объединения всех необходимых потоков, т. е. кому мы звоним и что мы делаем.

Рекомендация № 6. Чрезвычайно конкретизируйте, что вы имеете в виду, когда говорите об ответственности ИИ. Как это на самом деле выглядит на практике? В противном случае принципы будут слишком широкими, и команды могут не согласиться с тем, как они их интерпретируют. Хорошо понимать последствия (как положительные, так и отрицательные), и все сверху донизу согласны с тем, где проходят линии и последствия их пересечения.

Существуют такие механизмы, как оценочная карта Model Bias Score Card или аналогичные механизмы, но они должны быть определены и прозрачно доступны [NIST-Workshop-0322].

• Другим важным аспектом является мониторинг и измерение. «Если вы не можете что-то измерить, вы не можете это улучшить», — лорд Кельвин.

Рекомендация № 7. Уделите внимание мониторингу и измерению временных и динамических аспектов, количественной и качественной оценке, а также отслеживайте риски, связанные с системой ИИ и ее влиянием на протяжении всего жизненного цикла. [NIST-семинар-0322]

2. Данные

• «Идите туда, где есть данные» создает культуру, больше ориентированную на то, какие наборы данных доступны или доступны, а не на то, какой набор данных может быть наиболее подходящим.
• Мы должны быть осторожны, чтобы полностью «управляться данными» — нам нужно учитывать и другие аспекты.

Рекомендация № 8. Задавайте вопросы и будьте готовы защищать решения, основанные на данных… точнее, данные могут не подходить для принятия таких решений — сосредоточьтесь на том, какие данные подходят и должны использоваться для обучения системы ИИ, а не на том, что доступно.

Спросите « Представляют ли эти данные задачи, которые мы хотели бы, чтобы модель изучила?» [NIST-1270]

• Контекст данных определяет, как мы думаем или определяем данные, и по мере того, как данные перемещаются между контекстами, они могут стать другими.
• Также важно спросить «контекст для кого» — например, у специалистов по ОД есть технический контекст; контекст, интерпретируемый технически, не обязательно должен совпадать с социально-техническим контекстом — «Контекст хорош тем, что он есть у всех» — [context-seaver]

Рекомендация № 9. Обращайте внимание на социальные дескрипторы и документируйте их при сборе данных из разных источников. Контекст будет важен позже, когда мы будем использовать данные для разных целей [NIST-Workshop-0322].

Рекомендация № 10 : «Использование данных/предвзятость/производительность в глазах смотрящего». Помните, данные не имеют абсолютного представления о реальности; но именно сбор, сбор и представление данных делают модели ИИ реальностью [NIST-Workshop-0322].

• Общая структура контекста заключается в рассмотрении генеалогии способов построения наборов данных (выборы, намерения, программы, ценности и результаты) и наложении на контекст.

Рекомендация № 11. Спросите: «Соответствует ли способ построения набора данных социально-техническим целям?» Не только, если набор данных даст точность.

Спецификации для наборов данных [datasheets-acm] и карты моделей [modelcards-acm] — отличный способ полностью понять выбор, сделанный в отношении создания ответственных систем искусственного интеллекта [NIST-Workshop-0322].

Рекомендация № 12. Чтобы повысить репрезентативность и ответственную интерпретацию, при сборе и анализе конкретных наборов данных учитывайте как можно больше различных точек зрения (а не только экспертов). И искать наиболее подходящее решение для данного контекста [NIST-Workshop-0322].

Рекомендация № 13. Иногда мы, как общество, неправильно понимаем или путаем управление платформой/бизнес-моделью с управлением данными. Будьте более прозрачными в отношении того, как компании используют данные для создания новых продуктов и услуг [NIST-Workshop-0322].

• Контекст касается не только данных (где и как они были собраны), но и того, где и как они используются. Не существует простого способа охарактеризовать или измерить и получить доступ к изменению контекста в данных.

Рекомендация № 14. Помните о дрейфе данных в контексте, т. е. о том, где и как они используются, а также о том, насколько они подходят для этого контекста. Контекстный дрейф в данных неизбежен, если только у нас нет этого сверхнабора данных, который полностью охватывает домен — прошлое, настоящее и будущее!

Создайте механизмы прозрачности данных, которые дадут нам более осмысленную интерпретацию того, какие данные мы используем в модели. Многие большие наборы данных не собираются тщательно и не курируются в масштабе. Этот оппортунистический сбор данных, который не является глобальным моментальным снимком, имеет встроенный дрейф данных.

Имейте в виду, что изображения, которые мы публикуем в Интернете для наших друзей и родственников, превращаются в объект научных исследований [NIST-Workshop-0322].

3. Организационная — Многосторонние рабочие группы

Для разработки моделей ИИ нужна деревня!!

Рекомендация № 15 .Многостороннее взаимодействие и анализ воздействия очень важны. Технологии или наборы данных, которые не представляют проблемы для одной группы, другие могут счесть катастрофическими. Создайте сплоченную разноплановую команду, привлекающую к работе самые разные знания и объективы [NIST-1270].

Рекомендация № 16 .Практика управления рисками ИИ должна быть внедрена в организации не только высшим руководством или группой риска, это культурный сдвиг . Кроме того, он развивается — нет ответов на все вопросы и понимания всех проблем. Это должно быть укоренено в культуре; сдержки и противовесы должны быть частью конвейера [NIST-Workshop-0322]

Рекомендация № 17 . Все части организации должны быть вовлечены в практику управления рисками ИИ. Предоставьте всем возможность поднять руку, задать вопросы и принять участие в ответственном ИИ [NIST-Workshop-0322].

Рекомендация № 18. Подготовьте инструменты, методы и создайте структуру стимулирования, чтобы команды были заинтересованы в том, чтобы делать правильные вещи, т. е. приостанавливать работу, а не запускать ее, когда что-то не работает. не соответствует определенным критериям [NIST-Workshop-0322]

Рекомендация № 19.Используйте итеративный, непрерывный и развивающийся процесс оценки рисков с помощью ИИ как часть изменения организационной культуры, т. е. рассматривайте управление рисками как полезное для организации.

Один из способов сформировать это мышление и доверие — рассказывать истории. Просто директивы сверху вниз могут быть неэффективными [NIST-Workshop-0322].

Рекомендация № 20.Важно постоянное совершенствование. Рассмотрим службу внутреннего аудита, которая время от времени не только измеряет соблюдение письменных политик и процедур, но и рекомендует внести изменения в эти политики и процедуры. улучшить положение организации с рисками [NIST-Workshop-0322]

4. Системы искусственного интеллекта и риски

• Системы искусственного интеллекта приносят положительные результаты, которые организации уравновешивают традиционными рисками. Но разные заинтересованные стороны имеют разные мнения о том, какие риски включать в RMF NIST (как и в реальной жизни). В любом случае, риски не могут быть сведены на нет

Рекомендация № 21. Рассмотрите положительные и отрицательные результаты ИИ. Но не сводите их к нулю — снижение рисков ИИ — это не количественный баланс, а междисциплинарное качественное суждение. И не бойтесь наложить вето на развертывание из-за возможных непредвиденных последствий [NIST-Workshop-0322].

Рекомендация № 22 . Несмотря на то, что существует множество подходов к обеспечению безопасности и надежности технологий, которые мы используем каждый день, существуют факторы, специфичные для ИИ, которые требуют новых подходов.

Существует общее мнение, что для ИИ должен быть «более высокий этический стандарт», чем для других форм технологий. Также с общественной точки зрения предвзятость тесно связана с концепциями прозрачности и справедливости в обществе [NIST-1270].

• Кроме того, «риск для чего» и «какой риск для кого» и «кто несет ответственность за эти риски и ущерб» являются сложными, широкими и развивающимися. Например, в случае с законом ЕС об искусственном интеллекте конечный риск связан с основными правами жителей.

5. Люди быстро очеловечивают машины

• Солдаты давали имена роботам с самодельными взрывными устройствами и грустили, когда их уничтожали. Упрощенные роботизированные собаки могут помочь людям в домах престарелых чувствовать себя комфортно, даже если они знают, что «собака» — это просто машина.

Рекомендация № 23. Остерегайтесьантропоморфизма. Мы также соглашаемся с индивидуальной и организационной ответственностью, поскольку мы очеловечиваем «систему».

Часто на вопросы и опасения отвечают: «… ну, система делает это…». Есть перекладина с незнанием того, что «мы и есть система». Здесь этот уклон в сторону недостаточной осведомленности о системах и процессах, лежащей в основе прозрачности.

6. Системы искусственного интеллекта, справедливость и предвзятость

• Множество определений показателей справедливости показывает, что справедливость нельзя свести к краткому математическому определению. [21-справедливость-защита-1], [21-справедливость-защита-2]
• Казалось бы, «математика мешает нам в достижении справедливости»! Но это не то, что происходит. У нас есть много определений справедливости, которые кажутся интуитивно и морально привлекательными, поскольку отражают разные нормативные ценности и точки зрения.
• Может быть, это «одинаковое отношение к похожим людям» или в других местах это «люди, которые должны выглядеть одинаково, могут выглядеть непохожими в данный момент, потому что у них было меньше возможностей для получения образования в прошлом (и если вы дадите им шанс, они проявят себя). )». Эти виды нормативов зафиксированы и отражены в этих математических определениях.
• Теоремы о невозможности справедливости — «если у вас есть два или более определений справедливости, вы не можете одновременно доказать их справедливость в большинстве реальных случаев. Возможно, вы сможете доказать равенство в крайних случаях».

Рекомендация № 24 . Справедливость является динамичной, социальной по своей природе, зависит от приложения и контекста, а не является просто абстрактной или универсальной статистической проблемой. Кроме того, дело не в том, что у нас много (определений), а в том, какое из них подходит для рассматриваемого варианта использования [NIST-Workshop-0322].

Рекомендация № 25 .Определения технической справедливости не дают нам никакого выхода из этих очень сложных нормативных дебатов. Что карта делает, так это позволяет нам сделать эти дебаты более точными и сделать напряженность очень ясной [NIST-Workshop-0322]

Рекомендация № 26. Заинтересованных сторон много, и удовлетворить их всех одновременно сложно. Хорошая новость заключается в том, что когда мы принимаем во внимание контекст, эти решения становятся немного проще [NIST-Workshop-0322].

Рекомендация № 27. Спросите: «Для кого система дает сбой?». Но помните, что это конечный вопрос. . Он не может дать реалистичного ответа для аудита смехотворно больших моделей! Осуществимость понимания того, что они делают, невозможно. [NIST-семинар-0322]

Организация семинаров по анализу последствий может быть хорошей практикой, потому что они весьма полезны для того, чтобы начать задавать вопрос о том, каковы предполагаемые и непреднамеренные последствия.

Сыграйте в философско-этическую игру Ролза «Если бы я был этим человеком, о чем бы я беспокоился?». Проходит долгий путь, чтобы избежать ошибок, которые мы видим в мире алгоритмической предвзятости.

Рекомендация № 28 . Этика не может быть автоматизирована или априори. Даже один и тот же алгоритм, используемый в немного другом контексте, в конечном итоге будет иметь разные виды мониторов (и показателей справедливости), потому что они по-разному влияют на людей [NIST-Workshop-0322].

Рекомендация № 29 .Помимо обычных расчетных погрешностей учитывайте человеческие и системные погрешности [NIST-1270].

NIST 1270 определяет 3 категории предвзятости ИИ и проблемы, связанные с устранением предвзятости.

7. Неопределенность в системах ИИ

NIST 1270 определяет два широких класса неопределенности — эпистемическую и алеаторическую неопределенность.

• Эпистемическая неопределенность, также известная как систематическая неопределенность, относится к недостаткам из-за отсутствия знаний или информации. Это может быть связано с тем, что методология, на которой построена модель, не учитывает определенные эффекты или потому, что определенные данные были намеренно скрыты.
• Например, LLM (большие языковые модели) создают серьезные проблемы, например. опора на большие объемы неотобранных веб-данных увеличивает алеаторическую неопределенность
• Алеаторическая неопределенность, также известная как статистическая неопределенность, относится к неизвестным, которые меняются каждый раз, когда мы проводим один и тот же эксперимент. Это относится к изменчивости результатов эксперимента, которая возникает из-за изначально случайных эффектов в данных и процессе.

Рекомендация № 30. Чтобы снизить риски, связанные с эпистемологическими и алеаторическими неопределенностями, разработчики моделей должны понимать источники и другие сведения о данных, а также тесно сотрудничать с организациями, внедряющими их [NIST-1270]

• Тот факт, что мы не можем установить достаточно пожарной сигнализации, не означает, что мы не должны устанавливать пожарную сигнализацию — это означает, что даже для больших моделей у нас должны быть мониторы, даже если мы знаем, что они не будут всеобъемлющими.

Рекомендация № 31 . Мы должны делать то, что в наших силах, осознавая при этом, что есть вопросы, на которые пока нет ответов. Так что будьте гибкими, адаптивными и открытыми для изменений [NIST-Workshop-0322].

Заблуждение непостижимости[непостижимость-2] интересно.

Рекомендация № 32. Код — это не тот уровень абстракции, на котором мы должны пытаться понять системы ИИ, будь то для подотчетности или адаптивности; скорее нам нужно понимать эти системы с точки зрения их входов и выходов, их общего дизайна, ценностей, встроенных в программное обеспечение, и того, как программная система вписывается в общую организацию, которая ее развертывает [непостижимость-2].

8. Человеческие/общественные ценности как мера систем ИИ

Рекомендация № 33 . В будущем, хотя большое внимание будет уделяться точности и производительности, влияние на общество станет важным показателем для оценки моделей ИИ. Возможно, нам придется снизить точность по социальным причинам [NIST-1270].

Рекомендация № 34 .Знайте и будьте готовы к последствиям для общества, чтобы использовать показатели точности и вычислений для оценки модели ИИ; это станет регулятивной политикой [NIST-1270]

• NIST 1270 хочет, чтобы мы понимали ИИ как социально-техническую систему, признавая, что процессы, используемые для разработки технологий ИИ, представляют собой нечто большее, чем их математические и вычислительные конструкции.
• Их точка зрения на то, чего не хватает в текущих средствах правовой защиты (прозрачность, наборы данных и тестирование, оценка, проверка и проверка (TEVV)) руководство с более широкой СОЦИАЛЬНО-ТЕХНИЧЕСКОЙ точки зрения, которая связывает эти методы с общественными ценностями. .
• Представление этих сложных человеческих явлений (социально-технических систем) с помощью математических моделей происходит за счет распутывания контекста, необходимого для понимания индивидуального и общественного воздействия, и способствует ложной объективности

Рекомендация № 35. Расширьте свое представление о конвейере машинного обучения, чтобы распознавать и исследовать, как системы искусственного интеллекта создаются внутри нашего общества и влияют на него [NIST-1270].

• Ценностно-чувствительный дизайн — это дисциплина, которой могут следовать разработчики систем ИИ, чтобы исследовать, понимать и включать человеческие ценности в системы ИИ.
• Ценности не существуют изолированно. Они находятся в очень тонком равновесии друг с другом. Итак, если мы выбираем конфиденциальность, мы, вероятно, выбираем доверие и безопасность; если мы возьмем верх над достоинством, это также повлияет на личность, свободу действий и другие факторы.
• Ценности существуют в напряжении друг с другом, уравновешивая друг друга; Таким образом, мы должны стремиться не к устранению ценностных противоречий, а к поиску золотых точек, которые обеспечивают баланс между ними, с идеей, что они будут меняться со временем, т. Е. Дизайн для динамического баланса.
• Основными теоретическими конструкциями VSD являются трехсторонняя методология.
• 3 типа исследований, которые необходимо проводить итеративно и интегрировать повсюду — концептуальные исследования (рабочие определения ценностей, опрос заинтересованных сторон), эмпирическая работа (выйти и выяснить) и технические (какие мы создаем инструменты, технологии, инфраструктуру и политику)

Рекомендация № 36.Следуйте принципам и методологии ценностно-чувствительного дизайна. Мы должны заниматься сложностью, с которой люди сталкиваются с ценностями и технологиями в своей жизни. Задействуйте ценности целостно, а не изолированно, т. е. по одной ценности за раз (например, конфиденциальность по замыслу, доверие по замыслу) не сработает [NIST-Workshop-0322].

9. Человек в петле — что он решит?

• История сотрудничества человека и ИИ не так проста
• Когда мы ставим ИИ и людей, мы делаем определенные предположения, включая взаимную независимость; но люди могут не взаимодействовать с системой ИИ так, как мы думаем.
• Суть социотехнических систем в том, что сочетание социальных и технических систем не является суммой двух частей, т.е. нельзя сказать, что алгоритм лучше в этих вещах, а человек лучше в этих других вещах, и поэтому, комбинируя их мы можем получить лучшее из обоих миров
• Практика «человек в курсе» также перекладывает ответственность на лиц, находящихся на переднем крае, а не на людей, которые разрабатывали системы.
• Вера в то, что мы примем лучшие решения, если получим лучший совет, ошибочна. На самом деле, даже когда мы получаем хороший совет, иногда мы не следуем ему, если он не соответствует нашим прежним убеждениям.

Рекомендация № 37 .Чрезвычайная гениальность в системах ИИ неотличима от крайней глупости. Таким образом, в контексте принятия решений с помощью ИИ, когда ожидается, что ИИ превзойдет возможности человека-оператора, мы не можем иметь и то, и другое. Они не могут наблюдать за ИИ (т. е. тщательно изучать его рекомендации) и в то же время быть готовыми принять новые идеи от системы (доверять системе без проверки).

Рекомендация № 38 .Люди рассматривают объяснения как признак компетентности, т. е. система, способная давать объяснения, более компетентна, поэтому я скорее поверю ей, чем когнитивно займусь ею. содержание (т. е. наложение их опыта)

Добавить функцию когнитивного форсирования, т. е. изменить взаимодействие таким образом, чтобы люди должны были размышлять о своем собственном выборе и выборе, сделанном ИИ, — это уменьшило чрезмерную зависимость, но за счет снижения удобства использования.

• Информированные и справедливые решения об уровне доверия должны приниматься на институциональном уровне. Часто человек в цикле оправдывает развертывание алгоритма, который не должен быть развернут в первую очередь, может быть из-за задокументированных проблем — ошибок, предвзятости, возможности использования непреднамеренным образом и так далее!

Рекомендация № 39 .Если у вас есть опасения по поводу какого-либо аспекта алгоритма, не оправдывайте его развертывание добавлением человека в цикл. Подумайте об определении доверия на институциональном уровне

• Слишком рано говорить о том, что можно обобщать, а что следует учитывать в конкретном контексте. Так что не слишком полагайтесь на прокси-задачи для оценки алгоритма.

Рекомендация № 40. Создавайте задачи оценки, которые лучше всего отражают реальную обстановку (даже если вы работаете не с экспертами, а с обычными людьми на таких платформах, как «Механический турок» или другие краудсорсинговые платформы), типы взаимодействий и типы решений, которые принимают конечные пользователи.

Оценки должны демонстрировать не то, является ли алгоритм точным или даже то, понимают ли люди алгоритм, но когда вы интегрируете алгоритм в процесс принятия решений человеком, изменяет или улучшает ли это решение и результирующий процесс принятия решений — оценивать в зависимости от последующего результата

Рекомендация № 41.Что касается обучения, многих «ошибок пользователя» можно избежать, улучшив дизайн взаимодействия. Во-вторых, нам нужно больше обучаться принятию решений на основе данных о том, как рассуждать об синтезированных данных (где системы смотрят непосредственно на множество данных и поверхностных идей), а не обучаться ИИ или тому, как работать в ИИ-системах.

Рекомендация № 42.Подумайте о всей системе принятия решений, а не только об алгоритме в отдельности, потому что даже если алгоритм удовлетворяет критериям достоверности или точности (в в той степени, в которой мы можем показать эти вещи) и считается не рискованным, это все же может иметь последующие последствия, когда вы применяете это на практике с человеческими взаимодействиями.

Существует три типа человеческого надзора (взаимодействия):

1. В цикле (каждая транзакция)
2. В цикле (только для предопределенных событий/исключений)
3. В команде (меньше вмешательства во время операций, а во время проектирования, оценки, выборочных проверок и т. д.)

Наконец, ссылки

Я держу их здесь также для справки — потребуется время, чтобы просмотреть их и разобраться в деталях. Я извлек некоторые лучшие практики, когда читал их… буду обновлять, когда расскажу больше…

1. [NIST-RMF-0322] NIST RMF, 12 марта 2022 г. [Здесь]
2. [NIST-1270] NIST 1270, март 2022 г., На пути к стандарту выявления предвзятости в искусственном интеллекте и управления им [Здесь]
3. [NIST-Workshop-0322] Повестка дня семинара 2, март 2022 г. [Здесь]
4. Пробелы в оценке практики машинного обучения https://arxiv.org/abs/2205.05256
5. Анализ расовых предубеждений в алгоритме, используемом для управления здоровьем населения https://www.science.org/doi/10.1126/science.aax2342
6. FDA для алгоритмов https://www.administrativelawreview.org/wp-content/uploads/2019/09/69-1-Andrew-Tutt.pdf
7. В NISTIR 8330 есть раздел о доверии к медицинской диагностике ИИ. https://www.nist.gov/publications/trust-and-artificial-intelligence
8. https://www.morganlewis.com/blogs/sourcingatmorganlewis/2021/03/recap-bias-issues-and-ai
9. === Панель 10: Кто и что учитывается? Контекстные требования к наборам данных
10. https://www.cell.com/patterns/fulltext/S2666-3899(21)00184-7?_returnURL=https%3A%2F%2Flinkinghub.elsevier.com%2Fretrieve%2Fpii%2FS2666389921001847%3Fshowall%3Dtrue
11. https://journals.sagepub.com/doi/pdf/10.1177/20539517211040759
12. https://www.cigionline.org/publications/listening-to-users-and-other-ideas-for-building-trust-in-digital-trade/
13. https://www.cigionline.org/publications/could-trade-agreements-help-address-the-wicked-problem-of-trans-border-disinformation/
14. https://www.cigionline.org/publications/listening-to-users-and-other-ideas-for-building-trust-in-digital-trade/
15. https://www.cigionline.org/publications/could-trade-agreements-help-address-the-wicked-problem-of-trans-border-disinformation/
16. https://www.cigionline.org/publications/data-dangerous-comparing-risks-united-states-canada-and-germany-see-data-troves/
17. https://www.fpa.org/ckfinder/userfiles/files/8_AI%202020.pdf
18. https://www.cigionline.org/articles/data-minefield-how-ai-prodding-governments-rethink-trade-data/
19. Данные и их (не)содержание: обзор разработки и использования наборов данных в исследованиях машинного обучения https://arxiv.org/abs/2012.05345
20. https://odsc.medium.com/20-responsible-ai-and-machine-learning-safety-talks-every-data-scientist-should-hear-dea3de368c0c
21. https://odsc.com/speakers/imagenet-and-its-discontents-the-case-for-responsible-interpretation-in-ml/
22. Парадигма комплексного подхода к управлению данными https://sites.tufts.edu/digitalplanet/files/2021/11/DataGovHub-Paradigm-for-a-Comprehensive-Approach-to-Data-Governance-Y1.pdf
23. [context-seaver] https://www.semanticscholar.org/paper/The-nice-thing-about-context-is-that-everyone-has-Seaver/0c12d07c850fc8ccf0076300fab3f6fbd9d9a96b
24. [datasheets-acm] Таблицы данных для наборов данных (публикация ACM — ссылка на arXiv в Pub): https://cacm.acm.org/magazines/2021/12/256932-datasheets-for-datasets/fulltext
25. [modelcards-acm] Карточки моделей для отчетов о моделях: https://dl.acm.org/citation.cfm?doid=3287560.3287596
26. Вы не можете сидеть с нами: исключительная педагогика в обучении этике ИИ https://dl.acm.org/doi/10.1145/3442188.3445914
27. == Панель 11: Контекст решает все
28. [21-fairness-def-1] 21 определение справедливости и их политика https://shubhamjain0594.github.io/post/tlds-arvind-fairness-definitions/
29. [21-fairness-def-2] Учебник: 21 определение справедливости и их политика
30. [непостижимость-1] Заблуждение непостижимости https://www.researchgate.net/publication/328292009_The_fallacy_of_inscrutability
31. [непонятность-2] https://royalsocietypublishing.org/doi/full/10.1098/rsta.2018.0084
32. https://www.protocol.com/policy/ftc-algorithm-destroy-data-privacy
33. Надежное машинное обучение и управление ИИ, Куш Варшней Надежное машинное обучение и управление ИИ, Куш Варшней, IBM
34. В конструктивном пространстве нет компромисса между точностью и справедливостью. https://proceedings.mlr.press/v119/dutta20a.html
35. Документ о скромном доверии: https://philpapers.org/rec/DCRHT
36. Ты можешь сказать? SSNet — основанная на биологии нейросетевая структура для классификаторов настроений — https://link.springer.com/chapter/10.1007/978-3-030-95467-3_27
37. Когда люди пытаются понять нюансы языка, они обычно обрабатывают несколько модальностей входных датчиков, чтобы выполнить эту когнитивную задачу. Оказывается, в человеческом мозгу есть даже специальное образование нейронов, называемое сагиттальным слоем, которое помогает нам понимать сарказм. Мы…
38. Надежное машинное обучение — https://www.trustworthymachinelearning.com/
39. IBM Research AI FactSheets 360 — https://aifs360.mybluemix.net/
40. IBM Research Uncertainty Quantification 360 — https://uq360.mybluemix.net/
41. UQ360 — это набор инструментов с открытым исходным кодом, который может помочь вам оценить, понять и сообщить о неопределенности в прогнозах модели машинного обучения через жизненный цикл приложений ИИ.
42. AI Fairness 360 — https://aif360.mybluemix.net/
43. AI Privacy 360 — https://aip360.mybluemix.net/
44. Объяснимость ИИ 360 — https://aix360.mybluemix.net/
45. Обзор Машины позора в New York Times — https://cathyoneil.org/
46. Справедливость и машинное обучение: ограничения и возможности — https://fairmlbook.org/
47. Невоспроизводимость в машинном обучении — https://reproducible.cs.princeton.edu/
48. Для снижения вреда, причиняемого набору данных, требуется управление: уроки из 1000 статей — https://arxiv.org/pdf/2108.02922.pdf
49. Семантика, полученная автоматически из языковых корпусов, содержит человеческие предубеждения — https://www.science.org/doi/full/10.1126/science.aal4230
50. == Панель 12: Подходы к проектированию ИИ: Сохранение человеческих ценностей и этики в основе дизайна ИИ
51. Ценностно-чувствительный дизайн: технология формирования с помощью морального воображения https://mitpress.mit.edu/books/value-sensive-design
52. Модель зрелости этического ИИ Salesforce: Salesforce Trailhead (бесплатная платформа онлайн-обучения), сочетание модулей этического и инклюзивного дизайна trailhead.salesforce.comtrailhead.salesforce.com
53. Надежный искусственный интеллект Salesforce
54. == Панель 13 — Является ли человек в петле решением?
55. https://dl.acm.org/doi/10.1145/3377325.3377498
56. https://www.eecs.harvard.edu/~kgajos/papers/2021/bucinca2021trust.shtml
57. https://www.eecs.harvard.edu/~kgajos/papers/2022/gajos2022people.shtml
58. https://www.microsoft.com/en-us/research/publication/designing-ai-for-trust-and-collaboration-in-time-constrained-medical-decisions-a-sociotechnical-lens/
59. https://www.nature.com/articles/s41398-021-01224-x
60. eecs.harvard.edu
61. Доверять или думать: когнитивные форсирующие функции могут снизить чрезмерную зависимость от ИИ при принятии решений с помощью ИИ
62. Люди, поддерживаемые инструментами поддержки принятия решений на основе ИИ, часто чрезмерно полагаются на ИИ: они принимают предложение ИИ, даже если оно неверно. Добавление объяснений к решениям ИИ, по-видимому, не уменьшает чрезмерной уверенности, а некоторые исследования предполагают, что это может даже увеличить ее. Опираясь на теорию двойного процесса познания, мы утверждаем, что люди редко анализируют каждую отдельную рекомендацию и объяснение ИИ, а вместо этого разрабатывают общие эвристики о том, следует ли и когда следовать предложениям ИИ. Опираясь на предыдущие исследования в области принятия медицинских решений, мы разработали три когнитивных форсирующих вмешательства, чтобы заставить людей более вдумчиво взаимодействовать с ИИ…
63. eecs.harvard.edu
64. Взаимодействуют ли люди с ИИ когнитивно? Влияние помощи ИИ на случайное обучение
65. Когда люди получают совет при принятии трудных решений, они часто принимают более правильные решения в данный момент, а также расширяют свои знания в процессе. Однако такое случайное обучение может происходить только тогда, когда люди когнитивно взаимодействуют с полученной информацией и вдумчиво обрабатывают эту информацию. Как люди обрабатывают информацию и советы, которые они получают от ИИ, и достаточно ли глубоко они взаимодействуют с ними, чтобы учиться? Чтобы ответить на эти вопросы, мы провели три эксперимента, в которых людей просили принимать решения о питании и получали смоделированные рекомендации и объяснения искусственного интеллекта. В первом эксперименте мы обнаружили, что когда людям предъявляли бо…
66. Разработка ИИ для доверия и сотрудничества при принятии медицинских решений, ограниченных во времени: социотехническая линза — Microsoft Research
67. Большое депрессивное расстройство — изнурительное заболевание, от которого страдают 264 миллиона человек во всем мире. Несмотря на то, что существует множество антидепрессантов, лишь немногие клинические рекомендации поддерживают выбор среди них. Инструменты поддержки принятия решений (DST), воплощающие модели машинного обучения, могут помочь улучшить процесс выбора лечения, но часто терпят неудачу в клинической практике из-за плохой системной интеграции. Мы используем итеративный, […]
68. Природа
69. Как рекомендации машинного обучения влияют на выбор лечения врачом: пример выбора антидепрессанта
70. Трансляционная психиатрия — как рекомендации машинного обучения влияют на выбор лечения врачом: пример выбора антидепрессанта (552 кБ)
71. https://www.nature.com/articles/s41398-021-01224-x
72. https://www.jennwv.com/papers/hilfr.pdf
73. https://www.jennwv.com/papers/disaggeval.pdf
74. https://www.jennwv.com/papers/intel-chapter.pdf
75. https://www.jennwv.com/papers/intel-chapter.pdf
76. https://www.jennwv.com/papers/manipulating.pdf
77. https://www.jennwv.com/papers/interp-ds.pdf (отредактировано)
78. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3921216
79. papers.ssrn.compapers.ssrn.com
80. Недостатки политики, требующей человеческого надзора за государственными алгоритмами
81. Политики во всем мире все чаще задумываются о том, как не допустить, чтобы использование алгоритмов правительством приводило к несправедливости. Один механизм, который стал
82. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3921216
83. Цифровая медицина — Делайте, как говорит ИИ: восприимчивость к развертыванию средств для принятия клинических решений (190 КБ) https://www.nature.com/articles/s41746-021-00385-9
84. Исследование профессора Гассеми (зло против хорошего ИИ; предписывающий против описательного) https://mitibmwatsonailab.mit.edu/people/marzyeh-ghassemi/
85. https://arxiv.org/ftp/arxiv/papers/2109/2109.00484.pdf