Surviving the Storm (I): сравнительный анализ моделей выживания с помощью машинного обучения для прогнозирования…

В последние недели я много читал, анализировал и исследовал динамику финансового сектора, особенно коммерческих банков. Хотя я не эксперт в этой области, я пытался понять это за пределами новостей. И если человек хочет понять экономическую реальность за пределами новостей, он должен обратиться к данным. И да, я пошел к данным. До этого у меня был небольшой прорыв в экономической теории (и истории).

Так как время от времени, не очень часто, я играю в роль академика/исследователя (мне вообще никогда не нравилась индустрия исследований-журналов-рецензентов; я не говорю, что это хорошо или плохо, я говорю, что мне это нравится). не нравится). Итак, я углубился в модель выживания американских банков.

На самом деле, в резюме моего исследования Пережить бурю (I): сравнительный анализ моделей выживания с помощью машинного обучения для прогнозирования банкротства банков в США (2001–2023 гг.) упоминается следующее (я оставляю рабочий документ здесь):

«В этом исследовании изучается вероятность банкротства банков в США в период с 2001 по апрель 2023 года на основе данных, собранных в отчете Федеральной корпорации страхования депозитов «Кратко о банкротстве банков — сводка с 2001 по 2023 год». Набор данных включает 564 точки данных о банкротствах банков и несколько переменных, которые могут быть связаны с вероятностью этих событий. Например, сумма активов, сумма депозита, АДР, уровень депозита, уровень активов, уровень инфляции, краткосрочные процентные ставки, банковские резервы и темпы роста ВВП. Мы изучаем эффективность моделей выживания машинного обучения в прогнозировании банкротств банков и сравниваем эффективность различных моделей. Наши результаты проливают свет на факторы, которые могут повлиять на вероятность банкротства банков, и дают информацию для улучшения практики управления рисками в банковской отрасли».

В посте на этой и следующей неделе я поделюсь с вами выводами. Итак, начнем с небольшого введения в тему.

1. Теория

Прогноз банкротства компании важен как в экономике, так и в обществе. Банкротства нарушают стабильность бизнес-среды, что делает оценку устойчивости партнеров, клиентов и финансовых учреждений особенно сложной и важной проблемой для участников бизнеса.

В настоящее время существует большое количество моделей прогнозирования банкротства (см. M.A. Aziz et al., 2006; H.A. Alaka et al., 2017), однако практически все они основаны на классификации, что означает, что они могут оценивать апостериорную вероятность того, что определенный бизнес потерпит неудачу из-за его финансовых особенностей. Расчетное время до отказа специально не рассматривается. Например, если классификационная модель основана на данных, собранных за год до банкротства, результатом модели является апостериорная вероятность того, что определенный бизнес потерпит неудачу в течение одного года. Решения, основанные на этой вероятности, могут быть приняты не вовремя, чтобы предотвратить сбой, который произойдет гораздо раньше, чем через год.

С другой стороны, анализ выживания связан со временем возникновения интересующего события. Несмотря на свою распространенность в медицинских и технологических дисциплинах, анализ выживания редко используется для прогнозирования финансового краха. В своей оценке моделей прогнозирования банкротства Азиз и Дар (2006) включили 12 видов моделей классификации (от дискриминантного анализа и логита до рассуждений на основе прецедентов, нейронных сетей и приблизительных наборов), но не обсуждали анализ выживания. Согласно этой публикации, наиболее часто используемыми подходами являются множественный дискриминантный анализ и логистическая регрессия; на эти две модели приходится более половины оцениваемых статей. Исследование 2018 года, проведенное H.A., Alaka et al. определили восемь общих технологий, включая два статистических подхода (множественный дискриминантный анализ и логистическая регрессия) и шесть моделей машинного обучения.

В результате мы можем сделать вывод, что анализ выживания не является основным направлением деятельности экспертов по прогнозированию финансовых неудач. Наше исследование направлено на оценку полезности анализа выживания (SA) для предсказания банкротства. Модели SA и подходы к классификации подразделяются на два типа: статистические и основанные на машинном обучении. Статистические модели SA изначально дебютировали в начале 1970-х годов, тогда как модели SA с машинным обучением являются результатом современных исследований. Большой объем исследований подтверждает, что модели машинного обучения превосходят статистические модели в задачах классификации и регрессии, особенно в прогнозировании банкротства на основе классификации (см. F., Barboza, et al., 2017). Несколько статей предлагают аналогичные выводы о превосходстве технологий машинного обучения в различных областях анализа выживания.

Несмотря на эти выводы, большинство авторов подходов к прогнозированию банкротства, особенно при использовании SA, используют самые простые статистические модели (см. A. Beretta, et al., 2018; R.C. Cox, et ., 2017).

В этой статье мы анализируем результаты сравнения нашей модели и экономическую интерпретацию этих результатов. Наш анализ фокусируется на эффективности различных моделей прогнозирования банкротства банков с использованием набора соответствующих переменных. В частности, мы сравниваем прогностическую силу нескольких моделей выживания машинного обучения, включая модели Kernel SVM, DeepSurv, Survival Random Forest и MTLR. Для сравнения различных алгоритмов машинного обучения мы используем индекс соответствия (C-индекс).

Наша цель — определить, какая модель обеспечивает наиболее точные и информативные прогнозы банкротства банков, и интерпретировать экономическую значимость результатов модели. Для этого мы рассматриваем значимость и величину оценочных коэффициентов для каждой переменной в модели и сравниваем эти результаты с экономической теорией и интуицией.

2. Данные и методология

В этом анализе мы изучаем данные обо всех 564 банкротствах банков, которые произошли в период с 2001 по апрель 2023 года, как сообщается Федеральной корпорацией страхования депозитов (FDIC) в «Кратко о банкротствах банков — резюме с 2001 по 2023 год». Набор данных содержит информацию о нескольких переменных, которые могут быть связаны с вероятностью банкротства банка. Эти переменные включают в себя сумму активов, сумму депозита, ADR, уровень депозита, уровень активов, уровень инфляции, краткосрочные процентные ставки, банковские резервы и темпы роста ВВП. База данных не содержит цензурированных данных.

# First Steps

df$FFLevel<-ifelse(df$`FFRate`>0.4,1,0)
df$InfLevel<-ifelse(df$Inflation >1.54,1,0)

ggsurvplot(survfit(Surv(time,status) ~ df$`AssestLevel`, data = df))
ggsurvplot(survfit(Surv(time,status) ~ df$`DepositLevel`, data = df))
ggsurvplot(survfit(Surv(time,status) ~ df$InfLevel, data = df))
ggsurvplot(survfit(Surv(time,status) ~ df$FFLevel, data = df))

# Train & Test data

set.seed(123)
data.train <- sample_frac(df2, 0.7)
train_index <- as.numeric(rownames(data.train))
data.test <- df2 [-train_index, ]

surv_obj = Surv(data.test$time, data.test$status)

# Kaplan-Meier Model - non parametric survival model

fit3<-survfit(Surv(time, status) ~ 1, data=data.train)

# Cox models - semi parametric survival model

fit4 <- coxph(Surv(time, status) ~ ., data=data.train, x = TRUE)

# MTLR Model - machine learning model

fit6 <- mtlr(Surv(time, status)~., data = data.train, nintervals = 9, time_points = c(50,100,120,150,200))

# Random Forest

fit7 <- rfsrc(Surv(time, status) ~ ., data.train)

# DeepSurv Model

fit8<-deepsurv(data = data.train, frac = 0.5, activation = "relu", 
               num_nodes = c(4L, 8L, 4L, 2L), dropout = 0.3, early_stopping = TRUE, 
               batch_size = 32L, epochs = 100L)

# Survival Kernel SVM

fit9<- survivalsvm(Surv(time, status) ~ ., data = data.train, type = "regression", gamma.mu = 1, opt.meth = "quadprog", kernel = "lin_kernel")

3. Результаты

Кривая Каплана-Мейера отображает вероятность выживания с течением времени для группы банков. По оси X показано время, а по оси Y — вероятность выживания. В начале периода наблюдения все банки считаются «живыми», что соответствует значению 1. Со временем некоторые банки могут «умереть», т. е. выйти из строя, и вероятность их выживания снижается.

В таблице ниже показано изменение риска банкротства банков с течением времени. На момент времени 1.07 в выборке было 395 банков, и один банк обанкротился. Это означает вероятность выживания 0,99747 (т. е. 395–1/395). Вероятность выживания в момент времени 4,07 составляет 0,99494, что указывает на то, что с момента первого наблюдения потерпели крах еще два банка.

Вероятность выживания уменьшается с течением времени. На момент времени 42.37 в выборке осталось 382 банка, из них 13 банков потерпели крах за период наблюдения. Вероятность выживания в то время составляла 0,96456. Это означает, что риск банкротства банка увеличился с 1,07 до 42,37. После этого вероятность выживания продолжала быстро снижаться, что позволяет предположить, что в этот период увеличился риск банкротства банка.

Между 120 и 150 месяцами вероятность выживания значительно падает с 0,4000 до 0,1038. Это указывает на гораздо более высокий риск отказа в этот период времени. Это падение вероятности выживания может свидетельствовать о каком-то событии или факторе, который увеличивает риск отказа в течение этого времени.

Важно отметить, что анализ не дает никакого представления о причинах банкротства банков, и потребуется дальнейшее расследование для определения причин увеличения риска банкротства банков.

В следующем посте мы поговорим о том, какая модель машинного обучения лучше всего предсказывает такое поведение, и покажем, какие переменные имеют наибольший относительный вес. Следите за обновлениями.

— — — — — — — — — — — —

Примечание: как обычно, но не по этой причине не упомянуть об этом, эти анализы носят личный характер и не связаны с мышлением институтов, с которыми у меня есть какие-то отношения. Ошибки являются исключительной ответственностью автора.

Вы идентифицируете себя как латиноамериканца и работаете в области искусственного интеллекта или знаете кого-то из латиноамериканца и работает в области искусственного интеллекта?

• Зарегистрируйтесь в нашем каталоге и станьте участником форума наших участников: https://forum.latinxinai.org/
• Станьте автором публикации LatinX in AI, написав нам по адресу [email protected].
• Узнайте больше на нашем сайте: https://www.latinxinai.org/

Не забудьте нажать 👏 ниже, чтобы помочь поддержать наше сообщество — это очень много значит!

Спасибо :)