Прогресс, которого мы достигаем в области машинного обучения, не является бесплатным.
Посмотрите вокруг, и вы увидите, как все меняется с головокружительной скоростью! Каждый божий день мы используем машинное обучение, чтобы делать все больше и больше в нашей жизни.
Но как бы мне ни нравился весь этот прогресс, он не дается бесплатно. Внедрение машинного обучения сопряжено с огромными проблемами, которые могут непреднамеренно изменить наше общество.
Понимание источника этих проблем - первый шаг к поиску систематических решений, которые сделают машинное обучение безопасным и ценным для всех. У меня нет ответов, но сегодня я дам вам три быстрых примера змеи, кусающей свой собственный хвост.
Давайте поговорим о циклах положительных отзывов.
Полицейская преступность
Подумайте о городе. Любой город.
Вы, наверное, знаете район, где полицейские машины встречаются чаще, чем светофоры. Обычно это бедные районы города. Обычно это те места, которые мама научила вас не посещать.
Полиция здесь, потому что здесь много преступлений. Они не патрулируют мою улицу; они сфокусированы на этих кварталах.
Давайте теперь построим модель машинного обучения, которая использует всю информацию о преступлениях, чтобы предсказать, где произойдут следующие аресты. Неудивительно, что усиленно патрулируемые районы сообщают о большем количестве преступлений. Это влияет на прогнозы модели, которая перенаправит туда больше полиции, что приведет к большему количеству арестов, что приведет к удвоению модели в тех же областях.
Бесконечный цикл, из которого мы не можем выйти.
Преступность может возрасти где-то еще, но это не имеет значения. Ни полиции, ни арестов. Наша модель полностью ориентирована на определенные районы и не способна разорвать цикл, который она помогла создать.
Маркетинговые продукты
Наша компания начала продажу десяти новых продуктов.
Мы создаем быструю маркетинговую кампанию по их продвижению. Более того, мы создаем модель машинного обучения, которая использует результаты продаж, чтобы предсказать, какие продукты будут работать лучше всего, и распределяет маркетинговый бюджет.
Через неделю три продукта поднялись наверх. Модель начинает выделять больше бюджета на их рекламу, что приводит к еще большему увеличению продаж этих трех продуктов. Поскольку остальные семь получают меньше финансирования, им трудно добиться какой-либо поддержки.
Что-то вроде самоисполняющегося пророчества. На пути семи неудачливых продуктов стоит предвзятая модель. Их вера запечатана.
Наем лучших из лучших
Каждый хочет нанять лучших специалистов. Как насчет построения модели, предсказывающей, у какого типа людей больше шансов на успех?
К сожалению, в сфере технологий доминируют мужчины. Вероятно, что просто из-за большего количества сотрудников в списке успешных сотрудников будет преобладать большее количество мужчин. Это даже без учета каких-либо предубеждений, которые мы можем внести при определении критериев, позволяющих считать кого-то «успешным».
Постепенно модель впитывает статус-кво и рекомендует больше того же. Как ты думаешь, что произойдет?
Петли положительной обратной связи
К сожалению, я не придумал ни одной из этих историй. Это реальные примеры явления, называемого «петлями положительной обратной связи». Как ни странно, ни один из них, кажется, не предлагает ничего положительного, но вы уже знаете о наших названиях вещей в истории треков.
Мы добиваемся прогресса, но сообществу машинного обучения предстоит еще много работы, чтобы найти решения этих проблем. Нам необходимо продолжать работать над нашим пониманием предвзятости и справедливости в наших моделях и, в частности, избегать или смягчать их последствия.
Впереди долгий путь, но все начинается с вас, вашего процесса и того, насколько серьезно вы относитесь к тому, чтобы ставить эти проблемы во главу угла во всем, что вы делаете.
