Существуют мощные инструменты, помогающие людям понять модели машинного обучения (ML) "черного ящика". Включение их в разработку нашей модели может помочь проложить путь к более надежным, безопасным и беспристрастным системам машинного обучения.

Системы искусственного интеллекта (ИИ) имеют широкое применение в биологии, здравоохранении, автономном вождении, обработке естественного языка, компьютерном зрении и других областях. Передовые системы, такие как GPT-3 (см. этот пост коллеги из Edge!), DALL-E и Imagen попали в заголовки во многом благодаря высокой точности и способности лежащих в их основе моделей. изучать сложные данные. Однако увеличение сложности модели часто происходит за счет интерпретируемости — способности человека рассуждать о решениях модели. Интерпретируемость становится все более важным компонентом развертывания моделей черного ящика, чтобы избежать неточного или предвзятого принятия решений. В Edge Analytics мы работаем над проектами в области цифровой медицины и наук о жизни, а также разрабатываем модели, влияющие на реальных людей. Мы считаем, что понимание наших моделей поможет нам разработать более надежные модели и в конечном итоге добиться лучших результатов.

В части 1 этой серии блогов мы проиллюстрируем строительные блоки интерпретируемости с точки зрения статистики и машинного обучения. Интерпретируемость может быть более привычной, чем вы думаете, и уже может быть частью вашего набора инструментов для обработки и анализа данных. Во второй части мы рассмотрим пример интерпретируемости глубокого обучения на основе уровней внимания из больших языковых моделей, вдохновленных одним из наших проектов в Edge. Следите за обновлениями!

Что такое интерпретируемость?

Интерпретируемость — это степень, в которой люди могут понять, чему научилась модель и как она делает прогнозы. Хотя интерпретируемость была активной областью исследований ИИ в течение многих лет, нет общего консенсуса в отношении того, как мы определяем, измеряем или применяем интерпретируемость.

Кто-то может задаться вопросом: если модель предсказывает с точностью 99,99 %, почему нас волнует, понимаем ли мы ее рассуждения? Помимо точности, интерпретируемые модели могут укрепить доверие среди специалистов-практиков, повысить уровень принятия и смягчить непреднамеренную предвзятость. Широкое внедрение систем ИИ, особенно в таких важных областях, как медицина, часто требует, чтобы решения были воспроизводимыми и обоснованными. Более глубокое понимание наших моделей может также помочь нам раскрыть наши собственные подсознательные предубеждения — в вопросах, которые мы задаем, в данных, которые мы собираем, и в задачах, которые мы выбираем для моделирования.

Каковы цели моделирования?

Чтобы лучше понять компромисс между точностью и интерпретируемостью, важно учитывать цель моделирования. Некоторые специалисты по данным обучают модели на существующих данных, чтобы делать высокоточные прогнозы будущих данных (например, прогнозирование цен на акции), в то время как другие могут обучать модели делать выводы на основе существующих данных (например, обзор маркетинговых исследований). Обычно используемые метрики машинного обучения, такие как точность, точность, отзыв, F1, AUROC или AUPRC, в первую очередь оценивают точность прогнозирования, но не оценивают, являются ли представления, полученные моделью, обоснованными или понятными. Прогнозирование и вывод часто не являются взаимоисключающими целями, поэтому важно подумать о том, как оценивать и то, и другое.

Прогноз (на основе точности): обучение модели обучению на основе существующих данных для создания высокоточных прогнозов относительно будущих данных.

Вывод (на основе объяснений): обучение модели пониманию основных входных данных, чтобы делать выводы о существующих данных.

Чтобы проиллюстрировать, как мы можем исследовать интерпретируемость модели, мы рассмотрим традиционные линейные и нелинейные модели машинного обучения в табличном наборе данных в следующих разделах.

Линейные модели хорошо интерпретируются

Линейная регрессия и логистическая регрессия являются примерами общих линейных моделей (GLM). Чтобы проиллюстрировать интерпретируемость линейной модели, мы обучим модель линейной регрессии на наборе данных Sklearn диабет, используя ряд входных переменных (возраст, пол, ИМТ и т. д.) для прогнозирования прогрессирования заболевания диабетом. При оценке движущих факторов в модели специалисты по данным часто думают о размере и значимости эффекта (подробнее см. главу 3.2). В линейной регрессии их можно оценить с помощью коэффициентов (то есть бета или весов) и p-значений, соответственно, связанных с каждой входной переменной.

Величина эффекта: сила влияния данной входной переменной на выходную переменную.

Значимость: вероятность того, что обнаруженный эффект является истинным, а не случайным.

Линейные модели помогают нам во многих случаях использования, потому что они хорошо обобщают новые или невидимые данные и менее склонны к переоснащению регуляризацией (подробнее о компромиссе смещения и дисперсии). Однако адаптация линейных моделей к более сложным данным часто требует значительной ручной обработки данных и разработки признаков. Этот процесс может занимать много времени, требует более специализированных знаний в предметной области и может быть несовместим с многомерными данными (изображениями, временными рядами и т. д.).

Нелинейные модели могут соответствовать более сложным данным

Нелинейные модели могут учитывать более сложные отношения и более высокую размерность данных. Деревья решений, случайные леса и нейронные сети — все это примеры нелинейных моделей. Чтобы проиллюстрировать интерпретируемость нелинейной модели, мы можем обучить регрессор дерева решений на том же наборе данных о диабете.

При обучении алгоритм дерева решений рекурсивно оптимизируется для разделения на признаки, которые максимизируют прирост информации в верхней части дерева. Чтобы вычислить прогноз, можно пройти через разбиение дерева решений на основе значений признаков для данной выборки; среднее значение по выборкам в конечном узле является прогнозом (или мажоритарным классом в случае классификации). Важность функций говорит нам о прогнозируемости каждой входной функции и в первую очередь основана на порядке, в котором функции появляются в разбиениях дерева решений.

Примечание. Приведенные выше примеры показаны только для иллюстрации инструментов интерпретируемости. Мы не настраивали эти модели и не тестировали их на заблокированных данных, чтобы сделать фактические выводы о наборе данных о диабете. Эти шаги являются важными компонентами рабочего процесса машинного обучения и необходимым условием для интерпретации модели на практике.

Глобальная интерпретируемость против локального объяснения

До сих пор мы исследовали интерпретируемость на глобальном уровне (какие функции важны для модели в целом?). Мы можем расширить интерпретируемость для оценки объяснений на локальном уровне (какие ключевые особенности для отдельной выборки?). Здесь мы исследуем один образец из набора данных о диабете.

Для линейной регрессии вклад в прогноз обычно можно рассчитать, используя коэффициент * значение для данного входного признака. Однако для нелинейных моделей, таких как дерево решений, этот подход неприменим, поскольку часто не существует ни одного коэффициента, связанного с данным признаком. Атрибуция признаков (вклад признаков в прогноз) представляет собой проблему для нелинейных моделей, поскольку вклад одного признака может быть распределен по разным частям модели или может зависеть от других признаков.

SHAP (Shapley Additive exPlanations) — это один из методов, который можно использовать для атрибуции признаков нелинейной модели. Этот подход адаптирован из теории игр с оптимальным распределением кредитов и может обеспечить как локальные объяснения, так и глобальную интерпретируемость. Значения SHAP можно использовать для объяснения многих моделей «черного ящика, но здесь мы проиллюстрируем его использование с деревом решений, которое мы обучили ранее.

Интерпретируемость глубокого обучения

В этом посте мы проиллюстрировали несколько примеров интерпретируемости с помощью традиционных моделей машинного обучения. Во второй части мы обсудим интерпретируемость для нейронных сетей, сосредоточив внимание на слоях внимания из большой языковой модели. Хотя интерпретируемость в глубоком обучении все еще находится в зачаточном состоянии, мы надеемся, что новые и существующие инструменты получат более широкое распространение. В частности, мы надеемся, что инструменты интерпретируемости можно будет использовать в качестве силы добра в будущих системах искусственного интеллекта, поскольку присутствие алгоритмов в нашей жизни со временем растет.

дальнейшее чтение

  • Записная книжка Colab с кодом для воспроизведения графиков, показанных в этом сообщении в блоге.
  • Интерпретируемость моделей, лучшие практики машинного обучения в здравоохранении и науках о жизни (статья)
  • На пути к строгой науке интерпретируемого машинного обучения (статья)
  • Интерпретируемое машинное обучение: руководство по созданию объяснимых моделей черного ящика (книга)
  • Интерпретируемый ИИ (учебник)

Особая благодарность Рену Гиббонсу, Бринне Бент и Лине Колуччи за рецензирование этого блога и предоставление бесценных отзывов.

Edge Analytics — консалтинговая компания, специализирующаяся на науке о данных, машинном обучении и разработке алгоритмов как на периферии, так и в облаке. Мы сотрудничаем с нашими клиентами, от компаний из списка Fortune 500 до инновационных стартапов, чтобы воплотить их идеи в реальность. У вас есть сложная проблема? Свяжитесь с нами по адресу [email protected].