Пользовательский опыт с машинным обучением

Машинное обучение известно своими трудностями с интерпретируемостью или, скорее, своим отсутствием. Это проблема, если вашим пользователям приходится работать с числовым выводом, как в системах, используемых в продажах, трейдинге или маркетинге. Если пользователь интерпретирует результаты машинного обучения неверно, фактические показатели не будут иметь значения, и вы получите плохой пользовательский опыт. Проблема еще больше, если вы попытаетесь переключить пользователей со старого прозрачного алгоритма на ML - недовольные пользователи могут попытаться оттолкнуть от перехода на ML. Кроме того, как бы нелогично это ни звучало, математическая компетентность пользователей может сыграть против вас, поскольку наиболее опытные пользователи будут сильнее всех сопротивляться.

Здесь я описываю рецепты преодоления сопротивления пользователя, когда вы начинаете переключать свою систему на машинное обучение. Откровенно говоря, большинство этих идей можно применить к любой системе черного ящика, а не только к машинному обучению. Некоторые из них связаны с теорией перспектив, описанной в замечательной книге Думая, быстро и медленно.

Ручные переключатели

Некоторые водители предпочитают ручное переключение передач автоматической коробке передач просто потому, что им нравится чувство контроля.

Если предположить, что старая система реализует простой, хорошо понятный алгоритм, пользователи могут оставить его навсегда только потому, что им нравится ощущение ясности и контроля. Вашей модели машинного обучения будет не хватать интерпретируемости того, как она пришла к определенным результатам, и даже простейший алгоритм, такой как условие if, основанное на пороге, может превзойти ML в глазах пользователей.

Противодействие со стороны опытных пользователей еще сильнее, потому что они освоили несколько специальных обходных решений, которые компенсируют низкую сложность упрощенного алгоритма. Пример обходного пути: «Если цена

Есть два подхода, которые вы можете попробовать с ручками-переключателями. Выделите сценарии, когда эти специальные обходные пути терпят неудачу. И, по крайней мере, попробуйте запустить свою новую модель машинного обучения бок о бок со старым алгоритмом, чтобы привлечь внимание обеих аудиторий - пользователей, которые предпочитают рычаг переключения передач, и пользователей, которым нравится автоматическая коробка передач.

Вероятность не интуитивна

Вы можете подумать, что добавление степени уверенности к выводу сделает его более интерпретируемым. Например, вместо вывода ML с надписью «Покупайте акции APPL» вы можете иметь «Покупайте акции APPL с 80% уверенностью». К сожалению, вероятность не интуитивна. Например, насколько 65% лучше 60% по сравнению с 5% против 0%? Все согласны с тем, что увеличение чьих-либо шансов на победу с 0% до 5% более впечатляюще, чем 60% → 65%.

Наша тенденция придавать непропорционально большое значение увеличению 0% → 5% называется эффектом возможности. Точно так же мы склонны приписывать непропорционально большое значение 95% → 100% -ному увеличению - эффекту достоверности.

Пример

Допустим, у нас есть система машинного обучения, которая дает рекомендации о том, стоит ли покупать опционы на акции. Он дает две рекомендации:

Купите опцион A и с вероятностью 95% получите 1000000 долларов
Купите опцион B и со 100% вероятностью получите 910 000 долларов

Большинство людей не будут рисковать и выберут B из-за эффекта уверенности, несмотря на то, что математическое ожидание первой сделки лучше.

Теперь предположим, что ваша система машинного обучения выдает еще одну пару рекомендаций:

Купите опцион C и с вероятностью 5% получите 100 000 долларов
Купите опцион D и со 100% вероятностью получите 5 100 долларов США

Большинство людей будут искать риск и выберут C, снова не обращая внимания на математические ожидания. Предвзятость пользователей также резко изменится в зависимости от того, считают ли они себя в данный момент выигрышной или проигрышной, и это описывается четырехчастной схемой.

Если вы включите вероятность в выходные данные вашей системы, вы можете получить пользователей, которые переинтерпретируют выходные данные вашей системы машинного обучения по-своему, что будет зависеть от их личных факторов.

Одним из решений было бы вообще не выводить вероятность. Например, предположим, что ваша система предсказывает, что покупка опциона A принесет доход в размере 1 000 000 ± 100 000 долларов США, где 100 000 долларов США - это стандартное отклонение. Вы можете отказаться от уверенности и представить пользователю рекомендацию «Купите опцион A на акции, чтобы получить 800 000 долларов», где вы опускаете тот факт, что эта рекомендация имеет 95% достоверность - 2 стандартных отклонения. В некотором смысле, вместо того, чтобы делегировать оценку вероятности пользователю, вы принимаете решение самостоятельно. Преимущество заключается в том, что интерпретация вывода не будет сильно различаться между пользователями. Очевидный недостаток состоит в том, что вы берете на себя ответственность за звонок.

Ориентир

Если пользователям нужно время, чтобы подумать о результатах работы системы, то ориентир может оказаться на вашем пути. Контрольная точка - это то, с чем ваши пользователи сравнивают результаты работы системы. Это могут быть какие-то предыдущие исторические данные, какой-нибудь памятный случай, произошедший в прошлом, или какое-то простое измерение, которое они используют для первоначальной оценки результатов.

Предположим, ваш старый упрощенный алгоритм дает рекомендации, основанные на ежедневном изменении цены акции, например если дневное изменение больше 5%, рекомендуется покупать. Если ваши пользователи использовали этот старый алгоритм в течение длительного времени, они могли бы выработать ориентир - ежедневное изменение цены. Каждый раз, когда они видят рекомендацию по акциям, первое, что они делают, - это проверяют дневное изменение цены.

Ваша новая модель машинного обучения может быть более сложной, чем старый алгоритм, поскольку она может улавливать другие сигналы, которые не коррелируют с дневным изменением цены. После того, как вы представите пользователям рекомендации, которые не претерпевают значительных ежедневных изменений, пользователи могут отбросить их как ошибочные, и ваша система потеряет очки доверия.

Важно понимать, есть ли у пользователей ориентир и что это такое. Лучший способ узнать это - сесть рядом с пользователем и попросить его работать с вашей системой, как обычно. Затем задайте ключевой вопрос: «Что вы делаете в первую очередь, когда начинаете смотреть на результат работы системы?». Ответ, скорее всего, будет ориентиром.

Трехэтапная программа

Выявление рычагов переключения передач и работа с ними позволят вам позаботиться о пользователях, которые категорически против перехода на машинное обучение, независимо от его качества. Избегание вероятности в пользовательском интерфейсе позволит вам избавиться от широкого спектра человеческих предубеждений. Иногда лучше позвонить самому и скрыть доверительную оценку. Ориентир может быть предвзятым по отношению к вашей модели машинного обучения, ее определение поможет вам убедиться, что пользователи справедливо оценивают вашу систему машинного обучения.

Забота обо всех трех значительно снизит ваши шансы на то, что пользователи будут сопротивляться машинному обучению.