Алгоритмы принятия решений помогают определить, кто поступит в колледж, одобрен для получения ипотеки, и предвидеть, кто с наибольшей вероятностью совершит другое преступление после выхода из тюрьмы. Эти алгоритмы создаются программами, которые обрабатывают массивные базы данных и получают инструкции по поиску факторов, которые наилучшим образом предсказывают желаемый результат.

И люди, пишущие, и использующие эти алгоритмы, понимают, что решения, которые они принимают, не всегда справедливы. Предвзятость по поводу расы, пола, религии, сексуальной ориентации - почти любого статуса подгруппы - может присутствовать в данных, в том, как компьютер устанавливает отношения между точками данных, или в том и другом. Это приводит к плохим прогнозам в виде как ложноположительных, так и ложноотрицательных результатов, которые чрезмерно группируются в некоторых подмножествах рассматриваемой популяции.

Центр Уоррена по сетям и наукам о данных Пенна работает над этой проблемой.

Майкл Кирнс, директор-основатель Уоррен-центра и Национального центра, профессор менеджмента и технологий в Департаменте компьютерных и информационных наук (СНГ) Пенсильванского инженерного университета, а также член Уоррен-центра Аарон Рот, член класса 1940 года, двухсотлетний член ассоциации Профессора из СНГ заинтересованы в том, чтобы эти алгоритмы принятия решений соответствовали социальным нормам, в том числе справедливости. Их интересует одна особенно неприятная проблема: алгоритмы, учитывающие справедливость, могут иметь парадоксальный эффект, делая их результаты особенно несправедливыми по отношению к одной подгруппе.

Это известно как «джерримандеринг справедливости».

Подобно политической партии, которая собирает округа таким образом, что критическое большинство избирателей их оппонентов сосредоточено в одном месте, алгоритм может соответствовать ограничениям справедливости, непреднамеренно «скрывая» предвзятость на пересечении множества групп, к которым его просят быть справедливым.

Злоумышленник мог специально добиться подобных результатов. Например, владелец расистского загородного клуба может соблюдать правила честности в рекламе, показывая рекламу только тем меньшинствам, которые живут далеко и не могут позволить себе взносы. Принимая во внимание номинальную стоимость, владелец соблюдал букву закона, но все же добился несправедливых результатов.

Алгоритмы подвержены такому же предвзятому результату из-за внутреннего компромисса, который алгоритмы прогнозирования должны делать между справедливостью и точностью.

Представьте себе алгоритмический классификатор, который связывает результаты SAT учащихся и средний балл средней школы с показателями их окончания колледжа. Колледжи могут подумать, что такой классификатор будет наиболее справедливым и объективным способом предсказать, какие новые абитуриенты будут лучше всех, и принять их соответственно. Однако «слепой к расе» алгоритм, призванный обеспечить максимальную точность для всей совокупности учащихся, может непреднамеренно вернуть результаты, несправедливые по отношению к меньшинствам.

Черные студенты из-за институционализированного расизма более бедных школ и меньшего доступа к частному репетиторству могут иметь более низкие баллы GPA и SAT, чем их белые коллеги, хотя связь между этими баллами и их успеваемостью в колледже такая же сильная, если не более сильная. В этом сценарии алгоритм будет неправильно отклонять чернокожих студентов с более высокой скоростью просто потому, что они составляют меньшинство: у них меньше точек данных и, следовательно, меньшее влияние на классификатор.

Один из подходов, используемых существующими алгоритмами для предотвращения такого рода несправедливости, состоит в том, чтобы оговорить, что количество ложноотрицательных результатов для каждой подгруппы должно быть одинаковым. Но эта проблема становится все сложнее и сложнее по мере увеличения числа подгрупп, которые алгоритм должен рассмотреть. Вот где в игру вступает джерримандеринг справедливости.

«Мы могли бы попросить алгоритм, который бы гарантировал справедливость по отношению к населению, основанный, скажем, на расе, поле и доходе одновременно», - говорит Рот. «И алгоритмы уравняют ложноотрицательные показатели по расе, ложноотрицательные показатели по полу, а ложноотрицательные - по доходу. Проблема в том, что когда мы смотрим на количество ложноотрицательных результатов для бедных чернокожих женщин, это крайне несправедливо. Алгоритм, по сути, обманул ».

Крайне важно, что алгоритмы, которые выполняют этот тип подтасовки справедливости, не предназначены для этого преднамеренно; им просто прямо не сказали не делать этого. Поскольку они могут справиться с более жесткими ограничениями, распространив несправедливость на три группы, которых их прямо попросили защищать, им не нужно учитывать, что они сконцентрировали всю эту несправедливость там, где эти три группы пересекаются.

Кернс, Рот и другие исследователи Центра Уоррена, в том числе докторант Сет Нил и бывший докторант Стивен Ву, в настоящее время пишут алгоритмы, которые явно противодействуют джерримендерингу справедливости. Предварительная работа по этому вопросу уже находится на arXiv.org, чтобы другие исследователи машинного обучения начали ее проверку.

«Мы демонстрируем теоремы, которые доказывают, что этот алгоритм обеспечивает защиту от мошенничества в отношении честности», - говорит Кернс. «Мы также демонстрируем эксперименты, которые показывают наше определение справедливости в действии. С каждым добавленным ограничением вы теряете некоторую точность, но результаты остаются полезными. Есть цена и компромисс, но в реальных наборах данных есть приятные моменты ".

Ключом к усилиям Центра Уоррена в этой области является синтез знаний из соответствующих областей права, философии, экономики, социологии и многих других, а также сопоставление их с тем, как компьютеры «думают» и ведут себя.

«Традиционные подходы к справедливости, такие как правила и группы наблюдения, важны, но мы пытаемся предотвратить дискриминацию непосредственно в алгоритмах», - говорит Кернс. «Мы не говорим, что это решит все проблемы, но это важный шаг для включения человеческих социальных норм в код, а не только для последующего отслеживания поведения и объектов. Мы хотим, чтобы алгоритмы работали лучше ».