Выведите объяснение на новый уровень, сохранив простоту
Интерпретируемость машинного обучения - это активная область исследований, которая включает в себя все методы, полезные для обеспечения более информативных прогнозов. Прогностические модели известны как инструменты черного ящика, оптимизированные только для достижения максимальной производительности. Точность важна, но в большинстве бизнес-случаев выяснение того, почему модель машинного обучения принимает одно решение, оказывается решающим.
Таким образом, хороший компромисс состоит в обеспечении хороших результатов вместе с инструментом для проверки прогнозов. Нас интересуют фреймворки, которые показывают, насколько некоторые функции влияют на прогнозируемые значения. На практике мы делаем вывод на основе нашей модели, следуя некоторым эвристикам, а затем пытаемся поместить всю информацию в таблицу или, что лучше, в потрясающий график.
Когда мы пытаемся объяснить результат работы любой модели машинного обучения, мы должны принимать во внимание важный аспект. Интерпретируемость может не привести к объяснимости. Принятие новейших методов в этой области или построение самых крутых графиков может оказаться бесполезным, если люди не обладают достаточными знаниями для их понимания. Это тот случай, если мы должны показать результаты бизнес-подразделению. Перегруженный график или использование сложных индексов, которые не всем понятны, делают нашу работу необъяснимой.
В этом посте мы предоставляем несколько графических отчетов, чтобы объяснить результаты моделей машинного обучения. Мы используем простоту и адаптируемость важности перестановки для предоставления различных графических отчетов, которые также можно сравнивать с результатами, полученными с помощью подхода SHAP.
ВАЖНОСТЬ ПЕРЕМЕЩЕНИЯ: ОСНОВНОЕ ИСПОЛЬЗОВАНИЕ
Важность перестановки - это часто используемая процедура для вычисления важности характеристик, которую должен знать каждый специалист по данным. Этот метод направлен на изменение отношения между целью и функциями. Перестановка подразумевает снижение производительности модели, что указывает на то, насколько модель зависит от функции.
Подробно важность перестановки рассчитывается следующим образом. Сначала подбирается модель и на основе некоторых данных рассчитывается базовая метрика. Затем переставляется функция из тех же данных и снова оценивается метрика. Важность перестановки определяется как разница между показателем перестановки и базовой метрикой. Эти шаги вычисляются для всех столбцов в наборе данных, чтобы определить важность всех функций. Высокое значение означает, что функция важна для модели. В этом случае перетасовка значений нарушает отношения с целью и приводит к низкому качеству прогнозов (высокая ошибка). Вместо этого низкое значение означает, что метрика перестановки близка к исходной, то есть низкая предсказательная сила. В качестве общего напоминания важно подчеркнуть, что важность перестановки может принимать также отрицательные значения. Это тот случай, когда мы получаем лучший результат после перетасовки функций. Для этих функций наблюдаемые значения являются мусором (т.е. они негативно влияют на прогнозы).
Приведенный выше график очень часто используется при вычислении важности перестановки. Мы сообщаем в порядке убывания средний балл перестановки (полученный с помощью нескольких прогонов перестановок) вместе с относительными стандартными отклонениями в виде планок ошибок. В большинстве случаев использование важности перестановки на этом заканчивается, показывая предыдущий столбиковый график. Этот график потрясающий, он сообщает нам много информации и легко понятен всем. Можем ли мы сделать еще несколько шагов? Можем ли мы воспользоваться простотой важности перестановок, чтобы предоставить более подробные объяснения наших прогнозов?
Сейчас мы пытаемся предоставить показатель важности перестановки для интересующих нас наблюдений. Таким образом, у нас есть более подробное представление о решениях, принятых нашей моделью. Мы используем простоту важности перестановок, чтобы показать, как функции способствуют предсказанию каждой выборки. Этот анализ легко доступен для каждого вида контролируемых задач (регрессия или классификация) и приводит к созданию потрясающих графиков.
ВАЖНОСТЬ ПЕРЕМЕЩЕНИЯ: РАСШИРЕННОЕ ИСПОЛЬЗОВАНИЕ
Давайте начнем со сценария регресса. Мы выполняем задачу регрессии и заинтересованы в прогнозировании стоимости домов с учетом некоторых внешних числовых характеристик. После подбора модели по нашему выбору мы легко вычисляем важность перестановки в столбчатом формате (в демонстрационных целях важность функции рассчитывается на основе данных поезда).
В этом случае важность рассчитывается как отклонение от среднеквадратичной ошибки. Мы повторяем тот же подход, но без усреднения баллов по столбцам. Мы просто сравниваем квадраты ошибок исходных прогнозов с ошибками, полученными путем перестановки признаков на выборку. В этом случае мы суммируем оценки выборки, полученные в результате многократных повторений, принимая среднее значение. Следуя процедуре, мы заканчиваем оценкой важности каждого наблюдения в каждом столбце. Мы наблюдаем распределение результатов выборки ниже.
Образцы оценок теперь легко доступны и могут использоваться для создания любого пояснительного графика. Например, мы можем проверить влияние каждой функции на выборке. На тепловых картах ниже мы показываем, насколько каждая функция влияет на прогнозируемые значения для некоторых случайных экземпляров.
Чтобы получить более общее представление, мы можем построить график влияния на все данные для желаемых функций. Например, низкие значения широты и высокие значения долготы сильно влияют на прогнозируемые значения.
Такое же представление можно вычислить в 2D, чтобы также визуализировать взаимодействия между объектами или между объектами и целью.
Для задач классификации мы используем те же рассуждения и графические представления. Допустим, нас интересует прогноз качества вин с учетом некоторых внешних числовых характеристик. После подбора модели по нашему выбору мы легко вычисляем важность перестановки. Мы не можем использовать среднеквадратичную ошибку как функцию оценки важности перестановки. Ценной альтернативой в этом случае является потеря журнала (категориальная кросс-энтропия для обработки нескольких классов). То, что было введено ранее, остается ценным и в этом сценарии.
Мы получаем, как и раньше, оценку важности для каждой выборки. Здесь отрицательный эффект некоторых наблюдений более очевиден, чем в предыдущем случае.
Опять же, можно показать важность в формате тепловой карты для каждого образца и всех образцов в каждой функции.
Сохраняя тот же формат визуализации, можно показать влияние функций на предсказанные классы.
Например, низкие значения летучей кислотности имеют большое значение для этикеток 3 и 4, в то время как для этикеток 7, 6 и 5 высокие значения кислотности имеют большое влияние.
РЕЗЮМЕ
В этом посте мы представили основные концепции важности перестановки как процедуры вычисления важности функции. Затем мы попытались использовать ее простоту, адаптируя ее для лучшего объяснения результатов нашей модели. В результате мы получаем полезную информацию, которую можно показать в графическом формате, сохраняя понятность даже для нетехнических людей.
Оставайтесь на связи: Linkedin
