Согласно Оксфордскому словарю, объяснить /ɪkˈspleɪn/ – это глагол, который означает «объяснить идею или ситуацию кому-либо, описав их более подробно или раскрывая соответствующие факты». Предполагая, что объяснение в XAI (объяснимый AI) такое же, я думаю, что два ключевых элемента этого определения (то есть «кто-то» и «соответствующие факты/детали») обычно упускаются из виду в дебатах XAI. Кроме того, критерии успеха таких объяснений не обсуждаются настолько объективно (и настолько), насколько это необходимо; это привело к появлению множества различных (а иногда и несогласованных) взглядов среди исследователей в различных областях ИИ и связанных с ним социальных наук (а также заинтересованных сторон). Поэтому в этом посте я хотел бы обсудить распространенное повествование, которое звучит так: «Современные модели ML/DL — это черный ящик, и в этой области необходимо сделать больше, чтобы сделать их объяснимыми; С другой стороны, модели линейной регрессии объяснимы (стеклянный ящик)».

«Соответствующие факты/детали»

Факты, имеющие отношение к объяснению моделей машинного обучения, могут варьироваться от данных, на которых они были обучены, и их производительности, до их внутренней работы и способов взаимодействия с ними пользователей. Учитывая, что некоторые из таких важных деталей имеют другие термины, к которым они относятся (например, прозрачность, UX-дизайн и т. д.), в этой статье я сосредоточусь на объяснении обучения/обучения моделей машинного обучения (т. е. , как достигается окончательная модель f(x) и предсказание/вывод (т. е. как окончательная модель f(x ), сопоставляет входные данные x с прогнозами y).

Необходимо объяснение

Сотрудничество между моделями и людьми зависит от доверия; объяснимость и интерпретируемость обычно рассматриваются как постфактум решения нашей неспособности включить доверие в обучение и оптимизацию ML (обычная проблема при работе с вычислительно не поддающимся редукции контекстом). Ожидается, что объяснимость предоставит ряду заинтересованных сторон возможность: проводить модельную должную проверку; выучите объяснение и повторите его для других (т. е. запоминание/усвоение/понимание того, как работает модель); сотрудничать с моделью (например, подходы а-ля с участием человека в цикле) и решать, когда им доверять, а когда не принимать во внимание; внедрять, воспроизводить и тиражировать модели; генерировать восходящие гипотезы; и так далее.

Линейная регрессия

Линейная регрессия моделирует взаимосвязь между скалярным откликом и одной или несколькими независимыми переменными путем сопоставления группы чисел (например, x) с одним числом (например, y ) линейным образом (то есть y = f(x) [ + шум]). В оставшейся части этой статьи давайте рассмотрим регрессию методом наименьших квадратов (МНК) (которая, вероятно, является самой простой из таких моделей) в гипотетической медицинской задаче: прогнозирование изменения артериального давления (Y) в результате определенного лечения с использованием общего холестерина. (X1), ИМТ (X2) и ЧСС в покое (X3).

Объяснение обучения/обучения

Объяснение важности обучения, так как оно ведет к доверию к окончательной модели; будет трудно доверять окончательной модели, если он / она не может доверять процессу обучения (математике, предположениям и другим деталям обучения). Кроме того, построение таких моделей без понимания процесса их обучения может нарушить условия, в которых они должны работать/могут использоваться.

Когда кто-то слышит «мы обучили модель OLS» для отображения X в Y, это подразумевает такие предложения, как «мы предположили, что связь между переменными является линейной»; «мы предположили, что остатки iid и нормально распределены»; «есть гомоскедастичность и нет автокорреляции»; «параметры изучены так, что они минимизируют сумму квадратов невязок»; «мы использовали технику проецирования для получения параметров»; «для оценки параметров использовалось максимальное правдоподобие»; «использовался обобщенный метод моментов»; «после тренировки диагностические участки показали, что…»; и больше. Вы видите, куда это идет? Что касается ученого, это типы предложений, которые приведут к объяснению,которое, в свою очередь, поможет доверять, проявлять должную осмотрительность, воссоздавать... модель. Другими словами, осмысленное объяснение процесса обучения будет техническим; в противном случае ему будет трудно служить какой-либо цели.

Это относится ко всему статистическому машинному обучению, включая деревья решений, которые представляют собой еще одну группу очень простых моделей обучения, и моделей глубокого обучения (ГО). В то время как мы можем попытаться дать некоторые подсказки (и частичные объяснения) всем о процессе обучения (который для меня больше касается UX и продаж), объяснение чего-либо конкретного (которое направлено на достижение вышеупомянутых целей) неизбежно войдет в мир технический язык.

Объяснение вывода/прогноза

Объяснение логики прогнозирования связано с объяснением f(x) или сопоставления ввода-вывода (как показано на рисунке выше). Объяснение самой функции, вероятно, является самым простым из объяснений ML (т. Е. Просто набор простых математических операций, таких как суммирование и умножение, применяемых к входным данным). Однако способность аудитории запоминать/усваивать такие объяснения будет снижаться по мере того, как объем входных данных будет увеличиваться (т.

В другом наборе сценариев аудитория стремится использовать такие объяснения для моделирования должной осмотрительности, доверия и понимания того, как с ними сотрудничать. Общий подход здесь основан на интерпретации коэффициентов. Например, в нашем примере линейной регрессии здесь можно сказать: «Если X1 увеличивается на одну единицу, Y увеличивается на 1 единицу, если X2 и X3 не меняются»; то есть уровень холестерина повышается без каких-либо изменений ИМТ или частоты сердечных сокращений в покое; возможно, но крайне редко. Я думаю, что именно здесь происходит распространенная ошибка объяснения/интерпретации: забывают часть «если X2 и X3 не меняются». Другими словами, общая ковариация между входными переменными ставит под сомнение полезность таких подходов к интерпретации и может привести аудиторию к неверным выводам и возможным сюрпризам.

Заключение

Резюме:

  • Ожидание от сообщества машинного обучения объяснения своих моделей вполне понятно.
  • Полезные объяснения (для должной осмотрительности, повторения, интернализации, сообщения другим, выдвижения гипотез выше по течению и т. д.) очень трудно (а в некоторых случаях невозможно) передать тем, кто не обладает необходимыми техническими знаниями. Я думаю, что важно отделить такие объяснения от типов, которые используются, например, в продажах и в разговорах с заинтересованными сторонами на высоком уровне.
  • Объяснение обучения заставляет сообщество выбирать между чрезмерным упрощением (которое, вероятно, делает объяснение менее полезным для того, чему оно предназначено, например, для должной осмотрительности) и правильным/действительным объяснением (которое многим трудно понять). ).
  • Объяснение логики предсказания с целью понимания преобразования входных данных в выходные, вероятно, является самым простым из таких объяснений. Однако по мере роста размерности входных данных такие объяснения станут труднее усваивать/запоминать и, следовательно, терять свою ценность для аудитории (для дистилляции, интерпретации, доверия и т. д.). Целостные/суммарные интерпретации (такие как коэффициенты в регрессии МНК) могут быть неправильно поняты, несмотря на то, что их так просто выразить словами.
  • Однако, несмотря на такие трудности, конечной целью здесь (т. е. точной прогностической моделью, которой можно доверять) должно быть всеобщее стремление. Потенциальное решение может исходить из других областей, таких как медицина, которая решила эту проблему доверия за счет сочетания доверия к людям, учреждениям и процессам, которые выполняются специалистами для оценки продуктов и лежащих в их основе технологий. Другим решением может стать повышение квалификации акционеров и заинтересованных сторон.

TL;DR: я думаю, что логика прогнозирования OLS легко объяснима (отсюда и «объяснима») при работе в низкоразмерных пространствах; в противном случае ни обучение, ни вывод для OLS не считаются «объяснимыми» для нетехнической аудитории. Тем не менее, это не должно мешать исследователям делиться идеями (например, краткими пояснениями относительно коэффициентов) о своих моделях, чтобы завоевать доверие пользователей/заинтересованных сторон, если они знают и минимизируют/управляют рисками, связанными с непониманием и неправильными интерпретациями. их пользователями.

Это седьмая статья из серии статей, которые я написал о разработке продуктов, ориентированных на ИИ (и цифровой трансформации, ориентированной на ИИ), — проблемах, возможностях и многом другом. Я хотел бы услышать ваши мысли, а также любые знания и опыт, которые вы и ваша компания могли получить в этом пространстве. Связаться! Конечно, это личное мнение, которое не обязательно отражает точку зрения AIG или Оксфордского университета.