Сложная часть прикладной науки о данных: SELECTION BIAS

Модели классификации в коммерческом использовании

В коммерческом использовании существует множество моделей классификации, удержание клиентов, взыскание долгов, перекрестные продажи, дополнительные продажи… вы называете это!

Предположим, ваша следующая модель готова и готова к работе! Вам не терпится запустить его в производство, когда вы проводите собрания по проверке и развертыванию. Все идет нормально.

На данный момент заинтересованные лица, возможно, действительно впечатлены этим алгоритмом с каверзным названием, которое вы только что произнесли, и который также может немного повысить ожидания. Что-то вроде шумового эффекта, замаскированного шумового убийства.

The Buzz отправляется в оперативный городок

Word обращается к бизнес-подразделениям, которые будут использовать прогнозы для принятия решений и действий:

• Например, 20% лучших клиентов, которые с большей вероятностью уйдут, могут получить специальное предложение 💘 без ограничений.
• Другим примером является выбор потенциальных клиентов, которым нужен дополнительный толчок, чтобы повлиять на их мнение и заключить сделку 🤝.

Настал критический момент. Этот самый выбор, скорее всего, аукнется вам в будущем. И это самая сложная часть!

Только сейчас, после серии совещаний, к этому огню ожиданий добавилось больше масла: внедрение таких прогнозов может привести к повышению эффективности компании.

Предположение о причинности

Если эксперимент по интеллектуальному развертыванию не подготовлен, то можно дать зеленый свет производственной среде 😕. Предоставление прямой связи в производство, поскольку прогнозы начинают использоваться, и может показаться, что это хорошо выполненная работа.

После нескольких производственных циклов вместе с данными ex-post клиенты видят, что их бизнес-показатели улучшаются больше, чем когда-либо. Суть в том, что такое улучшение предполагается благодаря одной только что доставленной модели.

Это предположение содержит, по крайней мере, два важных компонента: один заключается в предвзятом отношении автора к своей собственной работе, будь то в лучшую или в худшую сторону. Другой — контрфактический: какими были бы бизнес-показатели, если бы это была другая модель или вообще не было бы модели?

Другими словами, ответ на вопрос «почему такие бизнес-показатели улучшились?» часто считается: «из-за лучшей модели в производстве».

Дисциплина причинности. Будем надеяться, что без вреда для себя эту ситуацию можно будет рассматривать как ситуацию, требующую планирования эксперимента и тщательной оценки вывода с применением причинно-следственного подхода.

Однако имейте в виду: «Осторожность не означает, что она бесконечна!».

Остерегайтесь заносов!

Как операция может полагаться на высокочастотные машины для принятия решений или приложения на основе машинного обучения, чтобы помочь им?

Впереди множество проблем, связанных с созданием недорогого и удобного в сопровождении программного обеспечения, которое может повысить уверенность в том, что стратегия, основанная на экспериментах, будет хорошо работать на 💡других (новых) данных.

💡 Другие здесь относятся к тем, которые не использовались для обучения вашей модели.

Теперь, что, черт возьми, дрифт? Что ж, первая часть Доклада Валерио Маджио в некоторой степени посвящена его объяснению. Он также дает ссылку на работу Kirstie Whitaker, источник приведенной выше диаграммы.

Как только вы нашли успешный метод для чего-то, вы наверняка захотите воспроизвести и масштабировать его, если вы принадлежите к деловому сектору.

Это, как правило, представляет собой огромную проблему, поскольку многое из того, что вы упустили из своего обучения и проверки (образцов) отбора, скорее всего, будет неизвестно вам в будущем. Как же так?

Вы не знаете, чего вы не знаете

Что ж, вы знаете результат той рыбы, которая клюнула наживку. Однако вы не знаете результата для рыбы, которая не клюнула наживку.

💡 Реализованная продажа, возвращенные деньги, конвертированный клиент и так далее. Они известны вам, потому что вы действительно записали их. А как насчет продажи, которая так и не состоялась? Восстановление, которого так и не произошло, или неосуществленная конверсия?

Например: вы прогнозируете, что клиент, скорее всего, купит пару обуви в этом интернет-магазине обуви. Вы называете их потенциальными покупателями. Теперь оказывается, что они ушли, даже не нажав на ваши "добавить на карту" или "просмотреть больше". причудливые пуговицы.

👉 Подвох: они купили его в другом месте? Может быть, они никогда не покупали его.

Что еще хуже, некоторые процессы требуют последовательности выборов, создавая цепочку постоянно растущих неизвестных результатов. А пока давайте сосредоточимся на одном выборе. То есть для данной совокупности вы получаете выборку «людей» по правилу, предложенному вашим собственным алгоритмом.

Все это для того, чтобы подчеркнуть следующее: когда вы создаете новую модель, которая принимает решения для выбора части входной совокупности, вы, вероятно, вносите предвзятость в данных, которые вы позже будете использовать для подтверждения прогнозов. По самому своему определению.

Если все прошло по плану, у вас нет данных, репрезентативных для «населения», относительно которого вы хотели бы сделать прогноз.

💡 В следующий раз, когда вам захочется сразу перейти к model.fit (популярное название команды, используемое для обучения моделей), убедитесь, что вы понимаете и находите способы устранения предвзятости в выборочных обработка ваших данных прошла.

В противном случае ваша следующая модель не будет работать так же хорошо, и может быть очень сложно объяснить, почему 😔.

Вспомните те приятные показатели, которые действительно впечатлили вашего босса. Ну, некоторые из них могут быть AUC (ROC), Precision, Recall и так далее. Они будут отражать долю населения, в которой вы действительно можете подтвердить истинный результат, поэтому он подвержен тому же предвзятому процессу.

В следующих строках я предоставлю некоторые ресурсы, которые оказались весьма полезными для меня.

Дайте мне знать ваши мысли, поскольку критика приветствуется.

Примечание об экспериментальном дизайне:

Компании, ориентированные на получение прибыли, вряд ли согласятся на полностью рандомизированные испытания*, поэтому нет смысла пытаться использовать это в бизнесе. Просто не прилипает.

Одна вещь, которую должен иметь хорошо подготовленный экспериментатор, — это план, который помогает ему определить и понять факторы, которые, вероятно, вызвали наблюдаемые результаты.

Ресурсы

Предвзятость и этика

Эта замечательная статья от Jaspreet исследует различные типы предвзятости, в том числе дискриминационную предвзятость. Это обязательно к прочтению.

Сид и рандомизация

Ближе к концу этого доклада Маджио показывает один из способов борьбы с предвзятостью, используя фиксацию исходных данных и Sickit-learn's StratfiedKFold.

Оценка склонности

Этот другой метод, представленный Лукасом Бернарди, предлагает вам использовать «эквивалентную» целевую переменную, чтобы обучить вашу модель и удалить переменные, которые выделяются для такой эквивалентной модели.

В некотором смысле это может снизить показатели производительности для моделей за счет меньшего количества несопоставимых показателей в наборах для разработки, проверки и производства.

Кто-то может возразить, что я смешиваю здесь причинно-следственную связь и предвзятость, и в какой-то степени это правда. Но я хотел бы сначала сосредоточиться на аспекте предвзятости и оставить причины для другого дня.

Спасибо за прочтение!