В год, наполненный многими переломными моментами, возможно, одним из самых резких стало изменение CFPB в регулятивном тоне потребительского кредитования на основе алгоритмов. В то время как в предыдущие годы Бюро давало более благоприятный, но осторожный тон в отношении обещаний искусственного интеллекта, машинного обучения и альтернативных данных для расширения финансового доступа к исторически неблагополучным клиентам, администрация Байдена и новое руководство CFPB, похоже, изменили это мнение. через действия, которые выражают растущее беспокойство по поводу потенциальных рисков и вреда этих финансовых инноваций.

В этом сообщении в блоге я исследую эти переменчивые настроения CFPB в отношении кредитования на основе алгоритмов, особенно с начала 2022 года. Затем, основываясь на недавних действиях CFPB, я описываю две потенциальные опасности, назревающие на горизонте для этих кредиторов и технологических компаний. разработка и/или использование этих сложных алгоритмов.

Семена бури: 2022 год начинается с того, что CFPB сосредоточится исключительно на алгоритмах

Перемены в этом году, возможно, начались в феврале, когда CFPB объявил о предлагаемой инициативе по разработке правил, направленной на растущую обеспокоенность Бюро по поводу алгоритмической предвзятости, отрицательно влияющей на автоматизированную оценку домов в районах проживания меньшинств, и соответствующих вредных последствий такой предвзятости для ипотечных кредитов меньшинств. решения и стоимость кредита. В соответствии с предлагаемым правилом, охваченные учреждения должны будут:

“establish policies, practices, procedures, and control systems to ensure that their AVMs [automated valuation models] comply with applicable nondiscrimination laws” as “without proper safeguards, flawed versions of these models could digitally redline certain neighborhoods and further embed and perpetuate historical lending, wealth, and home value disparities.”

Дальнейшие опасения по поводу алгоритмической предвзятости возникли месяцем позже, в марте, когда Бюро ошеломило отрасль, заявив о своем намерении значительно расширить свои антидискриминационные усилия — без предварительного уведомления, формального процесса разработки правил или предполагаемой реализации в будущем. дата — путем применения положений UDAAP Закона о финансовой защите потребителей к некредитным продуктам и процессам. В то время как масштабы этого действия довольно широки, кредитование на основе алгоритмов находится прямо под прицелом. Согласно объявлению,

“…the CFPB will undertake to focus on the widespread and growing reliance on machine learning models throughout the financial industry and their potential for perpetuating biased outcomes.”

И, как только один пример, Бюро заявляет:

“…certain targeted advertising and marketing, based on machine learning models, can harm consumers and undermine competition. Consumer advocates, investigative journalists, and scholars have shown how data harvesting and consumer surveillance fuel complex algorithms that can target highly specific demographics of consumers to exploit perceived vulnerabilities and strengthen structural inequities. We will be closely examining companies’ reliance on automated decision-making models and any potential discriminatory outcomes.”

Буря начинает формироваться: надзорные органы расширены за счет включения финтех-компаний и технологических компаний

В следующем месяце, в апреле, Бюро объявило, что оно воспользуется своими полномочиями для расширения своей надзорной деятельности на небанковские финансовые компании, которые представляют значительный риск для потребителей, отметив, что: (1) многие небанковские работают на национальном уровне и называют себя «финтех-компаниями. и (2) «Такое рискованное поведение может включать, например, потенциально несправедливые, вводящие в заблуждение или оскорбительные действия или действия или другие действия или действия, которые могут закон.”

Хотя риски, отмеченные Бюро, не нацелены конкретно на алгоритмическую предвзятость, они, безусловно, включают алгоритмы, управляемые данными, для поддержки различных аспектов финансовой деятельности потребителей, таких как маркетинг/реклама, AVM, платежи и андеррайтинг/ценообразование кредита. Кроме того, это объявление о расширении надзорных полномочий также согласуется с: (1) объявлением Бюро в марте 2022 года о своем намерении расширить свои антидискриминационные усилия за пределы основной кредитной деятельности в рамках своих полномочий UDAAP (см. предыдущий раздел) и (2) Декабрь 2021 г. призывает технических работников выступать в качестве осведомителей , которые хорошо знакомы с алгоритмами и технологиями, используемыми компаниями, и которым известно о потенциальной дискриминации или других неправомерных действиях в рамках полномочий CFPB.

Вспышки молнии: регуляторный тон становится более критическим по отношению к кредитным алгоритмам на основе ИИ

Наконец, в мае и июне Бюро сделало два объявления, напрямую влияющие на кредитные алгоритмы на основе ИИ. Во-первых, Бюро выпустило новый Циркуляр о финансовой защите потребителей 2022–03, в котором разъясняется его позиция в отношении уведомлений о неблагоприятных действиях для кредитных решений, полученных на основе сложных алгоритмов. В частности, Бюро заявляет:

“Some creditors may make credit decisions based on certain complex algorithms, sometimes referred to as uninterpretable or “black-box” models, that make it difficult — if not impossible — to accurately identify the specific reasons for denying credit or taking other adverse actions”

и напоминает кредиторам, что:

“ECOA and Regulation B do not permit creditors to use complex algorithms when doing so means they cannot provide the specific and accurate reasons for adverse actions.”

Пару недель спустя Бюро объявило, что оно прекратило действие, пожалуй, самого известного Письма о запрете действий («NAL)» при предыдущей администрации, в частности, NAL для Upstart Network (Upstart), которое касалось ИИ Upstart. модели кредитного андеррайтинга и ценообразования по отношению к потенциальным регулирующим действиям ECOA / Регламента B. Хотя прекращение было описано как запрос Upstart для оперативного изменения своих алгоритмов в ответ на меняющуюся экономическую среду, из приказа Бюро совершенно ясно, что нынешнее руководство CFPB также поддерживает прекращение NAL — позиция, которая согласуется с недавним выводом из эксплуатации Управление инноваций Бюро, которое спонсировало NAL и регулятивную песочницу безопасных гаваней. С этим шагом эксперимент Бюро по совместному изучению с участниками отрасли решений для согласования кредитования на основе алгоритмов с существующими требованиями защиты прав потребителей, по-видимому, подошёл к концу (этот эксперимент обсуждается ниже).

Прогноз

Хотя никто (кроме CFPB) точно не знает, какими могут быть его планы на будущее, более тщательный анализ его недавних объявлений предполагает, что некоторые потенциально сильные препятствия для алгоритмических кредиторов не за горами. Ниже я делюсь своими мыслями о том, какими могут быть эти риски.

Модели кредитования «черный ящик», которые требуют инструментов постфактум объяснимости для заполнения уведомлений о неблагоприятных действиях, могут не считаться соответствующими ECOA и FCRA.

Чтобы оценить основу этого риска, важен контекст. Возвращаясь к сообщению в блоге Бюро от июля 2020 года Предоставление уведомлений о неблагоприятных действиях при использовании моделей AI / ML, мы видим — в то время и при предыдущей администрации — Бюро приняло относительно оптимистичный и совместный, но осторожный тон в отношении : (1) потенциал алгоритмических кредитных моделей для улучшения финансового доступа для потребителей, которые в настоящее время не подлежат оценке, и (2) как такие модели могут соответствовать существующим правилам защиты прав потребителей, в частности уведомлениям о неблагоприятных действиях ECOA. Заявленная цель Бюро для отрасли, проще говоря:

“By working together, we hope to facilitate the use of this promising technology to expand access to credit and benefit consumers.”

Один из способов, с помощью которого они стремились достичь этой цели, — учитывая неопределенность регулирования, связанную с кредитными моделями на основе ИИ/МО, — заключался в использовании инструментов, доступных через Управление инноваций CFPB. В частности, путем создания регулятивных «безопасных гаваней», в том числе писем о запрете действий и регулятивных «песочниц», Бюро намеревалось создать среду, в которой они могли бы изучать с кредиторами способы согласования кредитных решений на основе AI / ML с существующими нормативными требованиями к уведомлению — особенно в следующих областях:

  • «Точность методов объяснимости, особенно применительно к глубокому обучению и другим сложным ансамблевым моделям».
  • "Как передать основные причины таким образом, чтобы точно отражать факторы, используемые в модели, и быть понятным для потребителей, в том числе как описать различные и альтернативные источники данных или их взаимосвязь в причине неблагоприятного действия".

Это объявление, NAL Бюро с Upstart Network и его Запрос на информацию (RFI) 2017 г. относительно использования альтернативных данных и методов моделирования в кредитном процессе представляли собой позитивные, активные усилия по совместной работе с участниками отрасли для изучения возможности , и как кредитование на основе алгоритмов может достичь цели расширения финансового доступа в соответствии с нормативными требованиями.

Однако теперь, выпустив Циркуляр о финансовой защите потребителей 2022–03, Бюро, похоже, отказывается от своего сообщения в блоге от июля 2020 года — дошло до того, что включило в сообщение новый заголовок, в котором говорится, что оно:

“conveys an incomplete description of the adverse action notice requirements of ECOA and Regulation B”

и отослать читателей к новому Циркуляру. Кроме того, выводя из эксплуатации «безопасные гавани» Управления инноваций, Бюро, похоже, движется к менее гибкому и совместному отраслевому подходу к согласованию моделей кредитования на основе алгоритмов с требованиями соответствия ECOA. Например, в Циркуляре на 2022–2003 годы Бюро разъясняет, что:

“ECOA and Regulation B do not permit creditors to use complex algorithms when doing so means they cannot provide the specific and accurate reasons for adverse actions.”

Кто-то может сказать, что это просто изменение тона регулирования, но в остальном в этом циркуляре нет ничего нового. Тем не менее, оценивая через призму управления рисками алгоритмической модели, я полагаю, что Бюро может сообщить что-то новое и гораздо более значимое для отрасли. Рассмотрим следующие пункты из Циркуляра Бюро (выделено мной).

  • Требования FCRA и Положения B к раскрытию информации о неблагоприятных действиях различаются.
  • FCRA требует раскрытия «до четырех ключевых факторов, которые негативно повлияли на кредитный рейтинг потребителя…»,в то время как Положение B требует, чтобы изложение причин предпринятые неблагоприятные действия «должны быть конкретными и указывать основные причины неблагоприятных действий».
  • Официальная интерпретация Постановления B гласит: «[т]е конкретные причины раскрыты . . . должны относиться и точно описывать факторы, фактически рассмотренные или оцененные кредитором». и «Раскрытие ключевых факторов что негативно повлияло на кредитный рейтинг потребителя, не удовлетворяет требованиям ECOA по раскрытию конкретных причин для отказа или принятия других неблагоприятных мер в отношении заявки или продления кредита».

Во-первых, давайте сосредоточимся на термине «точный». На что Бюро может ссылаться здесь, так это на то, что многие кредитные модели AI/ML являются «черными ящиками» — это означает, что они обладают такой степенью математической сложности, что невозможно объяснить, почему конкретное лицо получило расчетный кредитный рейтинг (или кредитное решение) что они сделали. Промышленность отреагировала на это отсутствие прозрачности, разработав набор «инструментов объяснимости», то есть отдельный набор аналитических устройств, предназначенных для деконструкции прогноза данной модели на отдельные части и получения «показателей важности» на уровне входных данных, которые могут использоваться для «объяснения» прогноза модели на основе входных данных и, следовательно, соответствовать требованиям FCRA и ECOA к уведомлению о неблагоприятных действиях.

Обладая полным знанием этих инструментов объяснимости, Бюро затем закладывает бомбу в сноске 1 Циркуляра,

“While some creditors may rely upon various post-hoc explanation methods, such explanations approximate models and creditors must still be able to validate the accuracy of those approximations, which may not be possible with less interpretable models.”

Это утверждение является критическим. Это означает, что если модель кредитора по своей природе не поддается интерпретации и, следовательно, требует использования инструмента постфактум объяснимости для вывода движущих сил своих прогнозов, то кредитор должен проверить точность этих аналитических данных. объяснения. Однако эти объяснения, которые обычно генерируются инструментами объяснимости, такими как SHAP и LIME, не являются точными, они приблизительны.[1]

Итак, как кредитор может оценить свою точность, если такая оценка требует знания «истинных» точных объяснений, которые неизвестны из-за характера модели «черный ящик»? Иными словами, если бы кредитор знал об истинных движущих силах прогноза для оценки точности инструмента объяснимости, ему не понадобился бы инструмент объяснимости. Таким образом, ожидание Бюро проверки для обеспечения «точности» объяснения может фактически исключить использование алгоритмов, для которых невозможно точное объяснение — потенциально фатальный удар по большинству моделей «черного ящика» AI/ML.

Хотя многие специалисты по моделированию ИИ/МО могут отреагировать на этот вывод, предложив переход к внутренне интерпретируемым архитектурам моделей, в которых возможны точные объяснения, я отмечаю, что это, к сожалению, может не решить более широкие потенциальные проблемы Бюро, изложенные в Циркуляре. . Я обсуждаю это более подробно ниже.

Даже при точной объяснимости кредитные модели AI/ML, основанные на сложных взаимодействиях и/или альтернативных данных, могут не считаться соответствующими ECOA и FCRA.

Давайте начнем с рассмотрения того, почему Бюро провело различие между «причинами» и «факторами» в своем Циркуляре.

Сложные взаимодействия: «причины» ECOA и «факторы» FCRA

В своем Циркуляре Бюро, по-видимому, подчеркивает термин «конкретные причины» для уведомлений о неблагоприятных действиях ECOA и проводит различие между этим термином и ключевыми факторами FCRA, которые негативно повлияли на кредитный рейтинг потребителя». Кроме того, в Сообщение в блоге Бюро от июля 2020 года, Бюро выражает желание изучить

“How to convey the principal reasons in a manner that accurately reflects the factors used in the model and is understandable to consumers, including how to describe varied and alternative data sources, or their interrelationships, in an adverse action reason.”

Хотя у этих утверждений могут быть разные толкования, одно из потенциально проблематичных связано с разницей между «причинами» и «факторами», а также с фразой «или их взаимосвязями». Это связано с тем, что практически все объяснения прогнозов модели основаны на отдельных факторах или входных данных, которые входят в модель. Например, если модель имеет 20 отдельных входных данных, то объяснение данного прогноза будет основано на подмножестве этих входных данных, которые считаются «наиболее важными» для этого решения. В традиционных моделях кредитного скоринга на основе логистической регрессии, основанных на относительно небольшом наборе входных данных, каждый из которых независимо влияет на предполагаемый кредитный рейтинг потребителя, этим объяснениям, основанным на входных данных, присуща логика.

Однако сегодняшние гораздо более сложные кредитные алгоритмы на основе ИИ используют сотни, если не тысячи входных данных и используют значительные «нелинейные» взаимодействия между этими входными данными для повышения точности прогнозов. — не могут считаться достаточными «причинами» для неблагоприятных действий в соответствии с Циркуляром Бюро. Это связано с тем, что создание алгоритмом сложных комбинаций входных данных может выполняться для косвенного отражения эффектов кредитного поведения, не представленных напрямую какими-либо отдельными входными данными. То есть, точно так же, как Бюро обеспокоено тем, что сложная комбинация входных данных модели может потенциально служить прокси защищенного класса (и, следовательно, привносить несопоставимую трактовку в прогнозы модели), точно так же такие сложные комбинации могут служить прокси для других недемографических данных. предиктивные факторы дефолта потребительского кредита. Действительно, одним из основных преимуществ кредитных моделей, основанных на алгоритмах, является способность алгоритма «изучать» сложные функции, которые повышают точность прогнозирования модели по сравнению с более простыми традиционными моделями.

К сожалению, сложные модели ИИ в настоящее время подчиняются той же практике индивидуального объяснения на основе входных данных, что и традиционные модели, независимо от того, являются ли такие объяснения точными (полученными из интерпретируемых по своей сути моделей) или приближенными (полученными из инструментов объяснимости постфактум). Это означает, что любая «изучаемая» функция, основанная на сложном взаимодействии базовых входных данных, не объясняется и не интерпретируется на уровне функции; скорее, объяснительная сила функции обычно разлагается на отдельные компоненты входных данных, а затем агрегируется на уровне отдельных входных данных.[2] Соответственно, в то время как объяснения, основанные на входных данных, могут удовлетворять требованиям FCRA к уведомлению о кредитном скоринге (на основе факторов), такие объяснения могут не считаться соответствующими Бюро в отношении требования ECOA о «конкретных причинах» для отказа в кредите или других неблагоприятных действий. .[3]

Альтернативные данные: «непричинные» конкретные причины могут не считаться соответствующими ECOA

В своем Циркуляре Бюро предоставляет следующий контекст, связанный с «конкретными причинами» ЭКОА (выделено мной):

  • "Требования ECOA к уведомлению "были разработаны для достижения двойной цели защиты прав потребителей и обучения".
  • "Требование об уведомлении "удовлетворяет более широкую потребность", информируя потребителей о причинах действий кредитора. В результате информирования о конкретных причинах неблагоприятных действий потребители могут предпринять шаги, чтобы попытаться улучшить свой кредитный статус».

В этом контексте термин «конкретные причины» означает, что объяснения являются применимыми, то есть потребитель может действовать в соответствии с раскрытой причиной, пытаясь улучшить свой кредитный статус.

Однако я отмечаю, что многие из современных кредитных моделей AI/ML используют альтернативные данные для расширения финансового доступа для традиционно не поддающихся оценке потребителей. В некоторых случаях, таких как данные, полученные из транзакционных счетов потребителя (т. е. расчетного/сберегательного счета), эти альтернативные данные имеют логическую и прямую причинно-следственную связь с кредитным поведением потребителя — аналогично связи традиционных данных кредитного бюро. Однако другие типы альтернативных данных, даже если они предсказывают кредитную эффективность, могут иметь сомнительную связь с причинно-следственным поведением кредита, поскольку их предсказательная сила, как правило, определяется корреляциями; то есть эти факторы сами по себе не определяют поведение потребительского кредита напрямую, а вместо этого демонстрируют объяснительную силу исключительно благодаря своей корреляции с таким причинным поведением. В качестве примера предположим, что одним из входных данных модели является наличие у физического лица регистрации транспортного средства, и отсутствие такой регистрации предсказывает более низкое кредитное качество. Также предположим, что ввод этих данных является одним из основных факторов, объясняющих неблагоприятное кредитное решение человека.

В этом случае использование этого фактора в качестве «конкретной причины» для уведомления о неблагоприятных действиях ECOA может считаться проблематичным в соответствии с Циркуляром Бюро, поскольку он не является причинно-следственным фактором более низкого прогнозируемого кредитного рейтинга лица; скорее, эти входные данные служат косвенным показателем истинного основного причинного фактора — возможно, более низкого дохода, более низких активов или нестабильности занятости. Соответственно, идентификация альтернативного ввода данных (например, регистрационного фактора транспортного средства) в качестве причины отказа ECOA может не соответствовать определению Бюро «конкретной причины», поскольку: (1) это не является причинной причиной отказа, и (2) с точки зрения Бюро это также может не иметь надлежащего действия, поскольку регистрация транспортного средства на чье-либо имя на самом деле не приведет к непосредственному улучшению кредитного статуса человека (в отличие от увеличения их дохода/активов или улучшения стабильности их занятости) .

Группировка связанных причин в более широкую категорию нежелательных действий может не считаться соответствующей требованиям ECOA

В Циркуляре Бюро, по-видимому, подчеркивает, что уведомления о неблагоприятных действиях ЭКОА содержат «точные» и «конкретные» причины, которые «фактически учитываются» (выделено мной):

  • «В официальных интерпретациях правила B поясняется, что «раскрыты конкретные причины . . . должны относиться и точно описывать факторы, фактически рассмотренные или оцененные кредитором».»
  • «Кроме того, несмотря на то, что Приложение C к Положению B содержит образцы форм, предназначенных для использования при уведомлении заявителя о неблагоприятных действиях, «[i]если причины, указанные в формах, не являются факторами, фактически использованными кредитор не удовлетворит требование об уведомлении, просто проверив ближайший идентифицируемый фактор из списка».

Рассмотрим случай, когда кредитная модель на основе AI/ML содержит большое количество входных данных (например, 1000), где многие такие входные данные относятся к одному и тому же основному кредитному поведению (например, 1000 входных факторов в конечном итоге отражают 20–50 отдельных кредитных факторов). поведение по умолчанию), и где существует высокий уровень корреляции между теми факторами, которые относятся к каждому отдельному поведению по умолчанию. В этом случае для целей уведомления о неблагоприятных действиях ECOA кредиторы могут сгруппировать связанные факторы вместе в более широкие категории «причин», чтобы уменьшить детализацию своих кодов неблагоприятных действий; то есть вместо того, чтобы иметь 1000 отдельных причин неблагоприятных действий, кредитор «группирует» 1000 факторов в 50 более широких категорий кодов причин — и, следовательно, сообщает своим заявителям одну и ту же причину неблагоприятных действий для всех факторов, сопоставленных с категорией. Эта практика также может быть принята для защиты проприетарного характера алгоритма кредитора путем неразглашения точных атрибутов данных, используемых для оценки кандидатов, особенно если кредитор считает, что некоторые из этих атрибутов обеспечивают уникальное конкурентное преимущество.

Потенциальная проблема с этой практикой заключается в том, что CFPB может не рассматривать эти более широкие категории как «конкретные причины», которые «фактически рассматривались» в соответствии с ECOA, поскольку в них отсутствует необходимая информация об основном факторе, специально использованном для отказа заявителю в кредите. .

ПРИМЕЧАНИЯ:

[1] См., например, Aas, et. и др., «Объяснение индивидуальных прогнозов, когда функции зависят: более точные приближения к значениям Шепли», Искусственный интеллект, том 298, сентябрь 2021 г.

[2] Хотя существуют расширения инструментов объяснимости, которые могут в некоторых случаях отдельно количественно определять относительную важность определенных типов эффектов взаимодействия, такие методы не могут конкретно интерпретировать то, что эти эффекты взаимодействия представляют концептуально.

[3] Действительно, если алгоритм косвенно кодирует или заменяет атрибут защищенного класса, связанные с ним Уведомления о неблагоприятных действиях могут быть сочтены Бюро неточными, поскольку в них атрибут защищенного класса не описывается как конкретная причина отказа. Вместо этого изученный прокси защищенного класса дезагрегируется на отдельные компоненты ввода данных, которые затем объединяются в объяснения на основе факторов.

[4] В этом примере я не учитываю, может ли такой фактор представлять несоизмеримый риск воздействия на кредитора.

© ООО Пейс Аналитика Консалтинг, 2022.