Отзывы сотрудников - это очень мощный инструмент, который помогает сотрудникам совершенствоваться, понимая их сильные и слабые стороны. Говорят, что сотрудники жаждут обратной связи, поскольку она помогает им расти в профессиональном плане. Модели искусственного интеллекта имеют схожие характеристики - им нужна обратная связь, чтобы помочь им определить свои сильные и слабые стороны и стать лучше. IBM Watson OpenScale помогает предприятиям понять поведение своих моделей искусственного интеллекта и получить скрытые данные с помощью Payload Analytics. Таким образом, OpenScale помогает предприятиям определять сильные и слабые стороны своих моделей искусственного интеллекта, которые затем можно использовать для их улучшения. В этом сообщении блога мы даем обзор этой возможности OpenScale. Прежде чем мы углубимся в детали, давайте начнем с некоторых примитивов.
Что такое полезная нагрузка модели?
Как только OpenScale настроен для мониторинга модели ИИ, он начинает сбор входных данных, полученных моделью, и ее прогнозов. Эта информация называется данными полезной нагрузки и представляет историю поведения модели за определенный период времени. Например, рассмотрим модель, используемую банком, которая принимает во входные данные детали заявки на получение кредита (такую как продолжительность ссуды, кредитная история, цель ссуды, сумма ссуды, существующие сбережения и т. Д.) И предсказывает, является ли заявка рискованной или небезопасной. . Данные полезной нагрузки в этом случае будут содержать информацию обо всех кредитных заявках, полученных моделью, и решение моделей для каждой из этих заявок. Каждый прогноз модели обычно связан с уверенностью модели в этом прогнозе. Эта информация также сохраняется в полезной нагрузке.
Такие данные полезной нагрузки очень ценны для бизнеса, поскольку они обеспечивают полную запись поведения модели за определенный период времени. Например, если клиент, который подал заявку на ссуду шесть месяцев назад, приходит в банк и спрашивает, почему его заявка на ссуду была отклонена, то банк может использовать OpenScale для просмотра исторической записи из данных полезной нагрузки и использования Объяснимости модели. »Функция для генерации объяснения того, почему модель отклонила ссуду.
Аналитика полезной нагрузки
IBM Watson OpenScale также предоставляет возможность получать аналитические данные о поведении модели путем анализа данных полезной нагрузки. Он включает в себя построитель диаграмм, который можно использовать для построения различных видов диаграмм для получения аналитических сведений. Одним из таких типов диаграмм, которые можно создать с помощью построителя диаграмм, является диаграмма распределения прогнозов модели, как показано на рисунке 1.
Рассмотрим банк, который исторически получает около 40% рискованных кредитных заявок, которые он отклоняет. Если бы такой банк увидел приведенную выше диаграмму, он бы понял, что модель отмечает гораздо меньший процент заявок на получение ссуды как рискованных. Они немедленно захотят принять меры по исправлению положения. Чтобы предпринять корректирующие действия, они захотят определить заявки на получение ссуды, в которых модель может давать неверные прогнозы.
Как упоминалось ранее, каждый прогноз обычно связан с уверенностью модели в этом прогнозе. Если доверие модели низкое, прогноз может быть ошибочным. OpenScale предоставляет диаграмму, которая показывает корреляцию между достоверностью модели и ее прогнозами, как показано на рисунке 2.
На приведенном выше рисунке показано, что есть много заявок на получение ссуд, в которых доверие модели составляло от 45 до 59% (что находится на нижней стороне). Банку будет очень интересно проанализировать эти данные и попытаться понять, почему доверие модели низкое. OpenScale помогает решить эту проблему, помогая построить значение функции с уверенностью, как показано на рисунке 3.
Сравнение функции с доверием помогает банку понять, как функция влияет на доверие. На рисунке 3 показана одна из таких корреляций между функцией CheckingStatus и достоверностью. Как можно заметить, надежность модели падает, когда CheckingStatus имеет значение «no_checking». Эта информация может использоваться банком для улучшения модели путем извлечения всех записей из таблицы полезной нагрузки, где CheckingStatus имеет значение «no_checking», и отправки их для ручной маркировки и повторного обучения модели с этими дополнительными вручную помеченными данными. . Также может случиться так, что значение «no_checking» представляет проблему качества данных, и в этом случае она должна быть исправлена ответственным за данные.
Таким образом, в приведенном выше примере показано, как функция OpenScale Payload Analytics может помочь предприятиям выявить проблему, найти первопричину и улучшить модель, тем самым решив проблему. Таким образом, Payload Analytics - очень полезная функция OpenScale, которую можно использовать для понимания поведения модели и, при необходимости, принятия корректирующих действий.
