1 миллион долларов, потраченный на прогностическую модель / науку о данных с нулевой ценностью и без участия пользователей?

Как не потратить 6–8 месяцев на технически правильную, но фактически неправильную модель.

Успешно ли вы работаете с машинным обучением, если никто не использует ваше решение, модель или приложение?

Недавно я связался с специалистом по данным в авторитетном потребительском бренде, который раньше работал в очень крупной компании электронной коммерции. Я спросил его о том, почему он связался со мной, и почему одна из моих мантр — «Результаты превыше результатов» — нашла у него отклик. Он ответил: «Многие компании (в том числе) не знают, что делать со своими моделями и результатами машинного обучения. И сообщать о них нетехнической аудитории, которая принимает большинство решений по бюджету».

Я спросил его, есть ли у него на уме конкретный пример/происшествие. Он продолжил:

В [предыдущей компании электронной коммерции] мы смогли предсказать мошенников/злоумышленников, когда они размещали заказ, но компания не предприняла никаких действий, поскольку им нужны были доказательства предыдущего мошенничества. Например, новая учетная запись (клиент), заказывающая телефон на веб-сайте в США с использованием тайваньского IP-адреса, будет помечена нашей моделью, но компания все равно выполнит заказ.

Это вернется как мошенничество через 2 недели.

Они могли бы сделать более строгие меры или добавить трения.

И это вернется как мошенничество через 2 недели.

Они могли бы сделать более строгие меры или добавить трения.

****

Длился этот проект 6–8 мес. долго.

Что здесь случилось?

Ну, во-первых, они, вероятно, потратили на это миллионы. Скажем, 7 месяцев работы и вероятное участие ~ 10 сотрудников с годовой зарплатой 150 тысяч долларов США / каждый. Я понятия не имею, правильно ли это на самом деле, но для этой компании это кажется разумным.

Итак, ваши расходы на науку о данных и разработку для этого проекта составляют 875 000 долларов США, не считая расходов, помимо заработной платы.

Здесь многое предстоит распаковать, но одну вещь я сразу заметил: прототип этой системы можно было легко спроектировать, не создавая никакой модели, чтобы помочь определить действия, которые предпримет бизнес-подразделение/спонсор этого проекта.

Хотя я не знаю, почему это произошло, мне интересно, говорили ли они с отделом/заинтересованными сторонами в области мошенничества, чтобы выяснить:

  • Понимала ли команда, которая сделала это, «кто это получатель? как отдел примет сигнал о мошенничестве и отреагирует на него?»
  • «Какая информация заставит вас отреагировать или проигнорировать заявление о мошенничестве?»
  • «Почему вас волнует обнаружение мошенничества?» (каков стимул «поймать» мошенничество? найти его, вернуть средства или что?)
  • «Что сложного в том, чтобы иметь дело с заявлениями о мошенничестве в вашей работе так, как вы делаете это сегодня? Что могло бы сделать это проще/лучше для вас?»
  • «Что беспокоит машинная система обнаружения мошенничества?»
  • «Можете ли вы показать мне, используя этот пример пользовательского интерфейса, который мы сделали, что вы будете делать дальше?» [Интерфейс показывает мошенничество/предупреждение]
  • «Какие виды мошенничества важнее всего выявлять? Дорогие товары или большие объемы по низкой цене? Этот вопрос вообще актуален, мисс Стейкхолдер?»
  • «Если бы эта система обнаружения мошенничества заработала в своем первом выпуске, как бы это выглядело для вас? Как мы можем это измерить?»

Эмпатия -> Наводящие вопросы -> Прототип -> Оценка -> Изучение -> Создание/редизайн/настройка

Для всего этого вам потребуется совсем немного "науки о данных". Это не статистика, моделирование или аналитика.

В основном это дизайн, дизайн-мышление и эмпатия.

Мне грустно слышать такие истории. Это не только пустая трата денег, но и еще больший технический долг, команда аналитиков/исследователей данных, которая, вероятно, не в восторге от того, что их работа «не имеет значения» или привыкла, и лидер/директор, который, возможно, создал отличные технические результаты, но не принесли никакой ценности или результата для бизнеса.

Успешный дизайн здесь, вероятно, заранее определил бы точки отказа и «радостные моменты», чтобы их можно было включить в решение. Сосредоточив внимание на опыте, он сообщил бы нам, что это решение могло потребовать большего, чем просто создание модели. В конечном счете, модель должна быть развернута в интерфейсе и/или пользовательском интерфейсе, который будет полезен, удобен и значим для конечной аудитории. Мне кажется, что человеческий фактор стал стержнем успеха этого проекта. Ни разу этот человек не упомянул мне, что с моделью/технологией что-то не так.

Вы должны согласовать людей + пользовательские интерфейсы + разработку + данные + моделирование + поощрения.

UX и хороший дизайн, ориентированный на человека, помогают нам объединить все эти переменные, чтобы получить значимый результат, а не просто результат, модель или пользовательский интерфейс.
Было ли это нежелательно?
Было ли это сложно? использовать?
Были ли стимулы не согласованы?
Разве они не привлекали регулярно правильную межфункциональную команду / заинтересованные стороны и не понимали, что приоритеты / потребности изменились?

Все эти вопросы помогают сделать модель машинного обучения и науку о данных успешными. Успешный дизайн, ориентированный на человека, склеил бы все это воедино или даже показал бы на достаточно раннем этапе, что может быть, проект не стоит.

Если вы не хотите тратить 6–8 месяцев на проект с таким типом результатов, я провожу двухгодичный Семинар и только что выпустил самоуправляемую версию видеокурса под названием Проектирование данных, ориентированных на человека. Продукты. Теперь вы можете скачать видео и письменное дополнение к Модулю №1 бесплатно. Он был разработан специально для лидеров в области науки о данных, аналитики и технического управления продуктами — таких людей, как вы, — которым поручено создавать ценные информационные продукты, и я сделал учебную программу максимально простой, применимой сразу и, надеюсь, увлекательной. Я также гарантирую, что это поможет вам создавать более полезные, полезные и незаменимые информационные продукты, которые превращают 🤷‍♀️🤔 в 👍🙏🙆🏻‍♂️.

Первоначально опубликовано на https://designingforanalytics.com 21 мая 2020 г.