Часть 1: Метрики для оценки моделей классификации (Кодекс)
Содержание
- Матрица путаницы
- Ошибка типа 1 (FP) и типа 2 (FN)
- Точность
- Точность/специфичность
- Отзыв/Чувствительность
- F1-счет
- Скорость ошибочной классификации
- Истинная положительная скорость (TPR)
- Ложноположительный показатель (FPR)
- Истинный отрицательный показатель (TNR)
- Нулевая частота ошибок
- Интерпретация матрицы путаницы и вычисление производных метрик на примере
- Кривая ROC (рабочая характеристика приемника) и AUC (площадь под кривой)
- Каппа Коэна
- Центр клиентов
- Сравните производительность модели
1- Матрица путаницы
Обучение модели
Код Python [5]
from sklearn.tree import DecisionTreeClassifier DTC=DecisionTreeClassifier(random_state=0, max_depth=2) DTC_Model= DTC.fit(X_train , y_train) DTC_Model
Код Python [5]
from mlxtend.plotting import plot_confusion_matrix
from sklearn.metrics import classification_report, confusion_matrix
print('\n')
print("confusion matrix")
print('\n')
CR=confusion_matrix(y_test, y_pred_DT)
print(CR)
print('\n')
fig, ax = plot_confusion_matrix(conf_mat=CR,figsize=(10, 10),
show_absolute=True,
show_normed=True,
colorbar=True)
plt.show()
y_pred = clf.predict(X_test)
cm = confusion_matrix(y_test, y_pred)
ConfusionMatrixDisplay(cm, clf.classes_).plot()
Матрица путаницы — это таблица, которая используется для описания производительности классификатора на наборе тестовых данных, для которых известны истинные значения.[1] Матрица путаницы отображает фактические значений по сравнению с прогнозируемыми значениями и суммирует истинные отрицательные, ложноположительные, ложноотрицательные и истинно положительные значения в матричном формате.[1]
Что находится внутри матрицы путаницы? Столько информации.
Фактические значения – это истинные двоичные значения "1" и "0".
Предсказаниезначение, которое появляется после подгонки модели, также сбивает с толку, поскольку оно не предсказывает все значения должным образом. Таким образом, эти четыре термина рождаются, чтобы знать эффективность оценки.[3]
Истинный положительный результат (TP)
Правильные предсказания истинных событий. результат, который был предсказан как положительный моделью классификации и также является положительным[5]. TPявляется истинно положительным значением, что означает, что прогнозируемое значение совпадает с фактическим значением.[3]. Это случаи, в которых мы прогнозировали да. > (у них болезнь), и у них есть болезнь.[4]. Точно так же, когда прогнозы и фактические данные относятся к положительному классу, это называется истинно положительным [7]. По аналогии с истинными категориями, описанными выше, где фактические данные и прогнозы совпадают, ложные категории указывают на то, что прогноз не соответствует основной истине, то есть фактическим. Это область беспокойства специалистов по данным. С оптимистичной точки зрения этот ложный раздел также является ключевым фактором, который позволяет специалистам по данным выявлять ограничения и проблемы, связанные либо с алгоритмической моделью, либо с самими данными. Этот процесс называется анализом ошибок, который фокусируется на отклонениях прогнозов от фактических [7].
Ложноположительный результат (FP)
Неверные предсказания истинных событий.Результат, который был предсказан как положительный моделью классификации, но на самом деле отрицательный[6]. FP — это ложноположительное значение, означающее, что фактическое значение равно "0", а предсказано "1".[3]. Мы предсказали да (1), но на самом деле у них нет болезни (0). (Также известна как ошибка типа I.)[4]. Ложноположительный результат — это нормально
Ложноотрицательный (FN)
Неверные предсказания ложных событий.Результат, который был предсказан как отрицательный по модели классификации, но на самом деле является положительным [6]. FNявляется ложноотрицательным значением, означает, что фактическое значение равно 1, но прогнозируется 0.[3].Мы прогнозировали отсутствие ( 0), но у них действительно есть болезнь (1). (Также известна как ошибка типа II.) [4]. Ложноотрицательный результат недопустим.
Истинно отрицательный (TN)
Правильные предсказания ложных событий.Результат, который был предсказан как отрицательный по модели классификации и также является отрицательным[6]. TNявляется истинно отрицательным значением, означает, что фактическое значение равно 0, и модель предсказала его таким же образом (0).[3]. Мы предсказали нет, и они не имеют заболевания. Всякий раз, когда мы говорим Верно, это означает, что наши прогнозы соответствуют действительности. True Negative означает, что и прогнозы, и фактические значения относятся к отрицательному классу [7].
2- Ошибка типа 1 (FP) и типа 2 (FN)
Эти два типа ошибок возникают, когда модель не точно предсказывает все точки данных, а некоторые точки неправильно классифицируются, что приводит к некоторой ошибке.
Ошибка первого типа
Эта ошибка возникает, когда фактическое значение равно «0», а прогнозируется «1». С точки зрения статистики, эта ошибка говорит об уровне значимости (α), то есть альфа. Значение альфы выбирается нами, поэтому ошибка зависит от того, какое значение мы выбираем.
Ошибка второго типа
Эта ошибка возникает, когда фактическое значение равно «1», но прогнозируется «0». В терминах статистики эта ошибка называется бета и в основном зависит от размера выборки (n) и дисперсии (σ).[3]
Четыре числа в автономной матрице путаницы дают нам представление о производительности модели на детальном уровне, но специалистам по данным нужна одна единственная мера, которая может помочь им оценить общую производительность модели. Это помогает им сформулировать задачу машинного обучения как задачу минимизации. Следовательно, есть некоторые ключевые показатели оценки, полученные из этих четырех мер, как описано ниже [7].
3- Точность
Точность — самый простой показатель эффективности модели. В целом, как часто классификатор оказывается правильным? Он измеряет процент точных прогнозов: Точность — это процент правильного прогноза от всех прогнозов. Это наиболее интуитивно понятная мера производительности, и это просто отношение правильно прогнозируемого к общему количеству наблюдений. Можно сказать, что если у нас высокая точность, то наша модель лучшая. Да, мы могли бы сказать, что точность — отличная мера, но только когда у вас есть симметричные наборы данных, где ложные срабатывания и ложные отрицания почти одинаковы.
точность = (истинно положительный + истинно отрицательный) / (истинно положительный + ложноположительный + ложноотрицательный + ложноположительный)[2].
Точность = (TP + TN)/(TP + TN + FP + FN)
(TP+TN)/всего
(TP+TN)/всего = (100+50)/165 = 0,91
Код Python [5]
y_pred_DT = DTC.predict(X_test)
DT_Acc=DTC.score(X_test, y_test)
print('Accuracy score= {:.4f}'.format(DTC.score(X_test, y_test)))
4- Точность/специфичность
Его также называют положительнойпрогностической ценностью. сколько выбранных экземпляров релевантно? Количество правильных срабатываний в вашей модели, которая предсказывает, по сравнению с общим количеством срабатываний, которые она предсказывает. Точность — это мера того, сколько из всех положительных прогнозов было действительно положительным [6]. Точность определяется только истинными положительными значениями из всех положительных значений.[3]. Когда он предсказывает «да», как часто он оказывается верным?[4]. Предположим, что у нас есть постановка задачи, в которой мы должны классифицировать, виновен ли человек в преступлении или нет. Таким образом, в этом случае мы должны построить модель, которая ориентирована только на точное предсказание истинно положительных результатов (то есть, он/она виновен). Делая это, модель может потерять какого-то действительно виновного. Потому что, если мы думаем, что хорошо отпустить человека, совершившего преступление, а не человека, который не пытался совершить преступление и был осужден как виновный. Итак, используя точность, мы можем измерить, как модель предсказывает истинные положительные результаты среди фактических положительных и ложных положительных результатов [6]. Можно сказать, что Точность — это мера точности, качества или аккуратности. Высокая точность Означает, что большинство или все положительные результаты, которые вы предсказали, верны.
Уравнение точности:
Точность = TP/(TP + FP)
ЦП/прогноз да
Цена/прогноз да = 100/110 = 0,91
Код Python [5]
print('\n')
print("Precision, Recall, F1")
print('\n')
CR=classification_report(y_test, y_pred_DT)
print(CR)
print('\n')
Precision, Recall, F1
precision recall f1-score support
0.0 0.60 0.99 0.75 5871
1.0 0.93 0.13 0.23 4496
accuracy 0.62 10367
macro avg 0.76 0.56 0.49 10367
weighted avg 0.74 0.62
5- Отзыв/Чувствительность
сколько релевантных экземпляров выбрано? Отзыв является мерой общего количества положительных результатов и того, сколько положительных результатов было правильно предсказано моделью. Он показывает, насколько актуальна модель только с точки зрения положительных результатов[6]. Представьте, что у нас есть постановка задачи, в которой мы должны классифицировать, есть ли у пациента рак или нет. Так что в этом случае мы должны построить модель, которая фокусируется на прогнозировании как можно большего числа больных раком. В этом процессе модель может точно предсказать, что у пациента нет рака. Но если подумать, лучше предсказать наличие у пациента рака, чем не предсказать пациента, который действительно страдает от рака [6]. Напомним, нас также можно назвать чувствительностьюили истинным положительным показателем. Наша модель предсказывает несколько положительных результатов по сравнению с фактическим количеством положительных результатов в наших данных. Воспоминание является мерой полноты. Высокая полнота означает, что наша модель классифицировала большинство или все возможные положительные элементы как положительные.
Он также известен как чувствительность, частота попаданий или доля истинно положительных результатов. Он говорит, насколько хорошо наша оценка или модель предсказывает положительные значения.[3].
Оценка F1 = 2 * (Точность * Отзыв) / (Точность + Отзыв)
Код Python [5]
print('\n')
print("Precision, Recall, F1")
print('\n')
CR=classification_report(y_test, y_pred_DT)
print(CR)
print('\n')
Precision, Recall, F1
precision recall f1-score support
0.0 0.60 0.99 0.75 5871
1.0 0.93 0.13 0.23 4496
accuracy 0.62 10367
macro avg 0.76 0.56 0.49 10367
weighted avg 0.74 0.62 0.52 10367
Точность определяется как TP / (TP + FP), а отзыв определяется как TP / (TP + FN). Ясно, что точность максимальна, когда FP = 0, а полнота максимальна, когда FN = 0 [14].
Точность и отзыв с примером [14]
рассмотрим бинарную задачу классификации, т. е. наличие двух выходных меток. Мы можем определить точность и полноту для каждого класса C1 и C2. Для любого класса C*
- Точность говорит нам, сколько объектов, отнесенных к категории C*, являются правильными.
- Вспомнить говорит нам, сколько объектов, принадлежащих C*, были отнесены к категории C*.
Давайте лучше разберемся в этом на примере регистрации службы безопасности в аэропорту. Здесь основная проблема заключается в выявлении наличия в багаже любых запрещенных предметов, таких как домашнее животное, жидкость, оружие и т. д.Классы. Рассмотрим три класса: домашнее животное, жидкость и оружие. Точность и полнота могут быть рассчитаны для каждого класса.
Интересующий класс — скажем, мы ориентируемся на класс Pet.
Предсказание модели/алгоритма ИИ — Сканер аэропорта, использующий алгоритм ИИ, задает вопрос (Есть ли домашнее животное?)
Прогнозы ИИ (predicted_y) могут ответить:
- Да ⇒ Положительный прогноз
- Нет ⇒ Отрицательный прогноз
Сравнение с фактическими метками. Ответственный за безопасность затем задает вопрос (соответствует ли прогнозируемый ИИ результат фактической метке?) (предсказанный_y == фактический_y?). Ответы могут быть:
- Да ⇒ Верно (прогноз ИИ оказался верным)
- Нет ⇒ Ложь (прогноз ИИ оказался неверным)
Таким образом, у нас есть четыре комбинации:
- Истинные положительные результаты (TP) ⇒ [ Правильное обнаружение]
Домашнее животное обнаружено, и оно действительно было. - True Negatives (TN) ⇒ [ Правильный отказ ]
Домашнее животное не обнаружено, и питомца действительно не было. - Ложные срабатывания (FP) ⇒ [ Неправильное обнаружение ]
Питомец обнаружен, но питомца не было
(завышение, то есть модель ИИ добавляет в класс другие объекты) - False Negatives (FN) ⇒ [ Неправильный отказ ]
Домашнее животное не обнаружено, но домашнее животное есть
(отсутствуют объекты, то есть модель достает нужные объекты)
Точность и полнота обычно (в большинстве реальных сценариев) имеют обратную зависимость, то есть, если одно увеличивается, другое уменьшается. Это происходит потому, что:
Точность и полнота обычно (в большинстве реальных сценариев) имеют обратную зависимость, то есть, если одно увеличивается, другое уменьшается. Это происходит потому, что:
- По мере того, как мы повышаем порог обнаружения (число от 0 до 1, выше которого обнаружение является положительным, иначе отрицательным), мы становимся более консервативными в положительных прогнозах, что может привести к тому, что мы пропустим некоторые фактические положительные случаи, тем самым уменьшая отзыв.
Другими словами, когда мы уменьшаем FP, FN может увеличиваться. - И наоборот, если мы снизим порог обнаружения, мы предскажем больше положительных результатов, тем самым улучшив отзыв, но это приведет к большему количеству ложных срабатываний, что приведет к снижению точности.
Другими словами, в ставке чтобы уменьшить FN, FP имеет тенденцию к увеличению
На практике этот компромисс между точностью и отзывом качественно визуализируется с помощью кривой точности-отзыва и количественно управляется с помощью оценки F1 —
Оценка F1 представляет собой гармоническое среднее точности и полноты. Это может помочь найти баланс между точностью и полнотой, оптимизируя производительность классификатора в зависимости от конкретной проблемы и требований приложения.
- Например, в случае обнаружения спама в электронной почте мы отдаем предпочтение точности (а не отзыву), поскольку мы не хотим, чтобы письма, не являющиеся спамом, попадали в спам, даже если некоторые письма со спамом попадают в наш почтовый ящик.
- С другой стороны, в таких приложениях, как медицинский диагноз рака, мы отдаем приоритет отзыву (чем точности), поскольку мы определенно не хотим пропустить случай рака, хотя некоторые нераковые случаи могут быть классифицированы как рак (что может быть дополнительно диагноз на правильность).
Однако бывают случаи, когда точность и полнота имеют прямую связь, т. е. как увеличиваются, так и уменьшаются. Это происходит, когда модель ИИ либо очень надежна (и точность, и полнота очень высоки), либо очень плохая (и точность, и полнота очень низки).
6- F1-счет
ясно, что нам нужна метрика, которая учитывает как Precision, так и Recall для оценки модели. Одним из таких показателей является оценка F1. Оценка F1 определяется как среднее гармоническое Precision and Recall [6]. F-оценка — это способ сбалансировать как отзыв (помните, что отзыв — это то же самое, что TPR и чувствительность), так и точность. Это средневзвешенное значение истинного положительного результата (отзыва) и точности [4]. Мы используем точность и отзыв вместе, потому что они дополняют друг друга в том, как они описывают эффективность модели. Показатель F1 объединяет эти два значения в качестве взвешенного гармонического среднего значения точности и полноты. В то время как точность пытается минимизировать FP, а полнота пытается минимизировать FN, метрика F-1 поддерживает баланс между точностью и полнотой и определяется как среднее гармоническое между два [7]
Код Python [5]
print('\n')
print("Precision, Recall, F1")
print('\n')
CR=classification_report(y_test, y_pred_DT)
print(CR)
print('\n')
Precision, Recall, F1
precision recall f1-score support
0.0 0.60 0.99 0.75 5871
1.0 0.93 0.13 0.23 4496
accuracy 0.62 10367
macro avg 0.76 0.56 0.49 10367
weighted avg 0.74 0.62 0.52 10367
7- Скорость ошибочной классификации
В целом, как часто это неправильно? также известный как «Коэффициент ошибок»[4]
(FP+FN)/всего = (10+5)/165 = 0,09
эквивалентно 1 минус Точность
8- Истинный положительный показатель (TPR)
Когда это на самом деле да, как часто это предсказывает да? также известный как «Чувствительность» или «Отзыв»[4]. Это то же самое, что сказать: «Все те, которые мы отметили как положительные, были правильно разделены на все те, которые были на самом деле положительными». Если бы вы установили приоритет TPR до предела, вы бы отметили все положительное и получили бы TPR, равное 1. Это означает, что вы поймаете все случаи рака на изображениях, отметив все правильно. Вместо того, чтобы максимизировать TPR, вы можете просто захотеть расставить приоритеты TPR для таких ситуаций (прочитайте F-бета-показатель, если вам интересно).
Формула для этого:
Истинно положительные результаты / (Истинно положительные + ложноотрицательные)
Цена/фактическая да = 100/105 = 0,95
9- Ложноположительный показатель (FPR)
Когда на самом деле нет, как часто он предсказывает да?[4]
FP/фактическое число = 10/60 = 0,17
10- Истинный отрицательный показатель (TNR)
Когда на самом деле нет, как часто он предсказывает нет? также известный как «специфичность» [4], что эквивалентно 1 минус частота ложных срабатываний. это было бы то же самое, что спросить: «Сколько из всех людей без рака, по нашим прогнозам, не имеют рака?» (Предполагая, что наличие рака является положительным классом). Специфичность также известна как доля истинно отрицательных результатов (TNR).
TN/фактическое число = 50/60 = 0,83
TN/(TN + FP)
Распространенность
Как часто в нашей выборке встречается условие «да»? [4]
фактическое да/всего = 105/165 = 0,64
11- Нулевая частота ошибок
Вот как часто вы бы ошибались, если бы всегда предсказывали класс большинства. (В нашем примере частота нулевых ошибок будет 60/165 = 0,36, потому что, если бы вы всегда предсказывали да, вы бы ошибались только в 60 случаях нет.) Это может быть полезной базовой метрикой для сравнения вашего классификатора. Тем не менее, лучший классификатор для конкретного приложения иногда будет иметь более высокую частоту ошибок, чем нулевая частота ошибок, о чем свидетельствует показатель Точность [4].
12- Интерпретация матрицы путаницы и вычисление производных метрик на примере
Из приведенной выше путаницы, матрица давайте получим четыре числа [7]
- Истинно положительные результаты: 149 (когда и прогнозируемый, и истинный ярлыки равны 1)
- Истинно отрицательные значения: 156 (когда и прогнозируемый, и истинный ярлыки равны 1)
- Ложные срабатывания: 0 (когда и прогнозируемый, и истинный ярлыки равны 1)
- False Negatives: 3 (когда оба ярлыка Predicted и True равны 1)
Производные метрики рассчитываются с использованием математических выражений, объясненных в предыдущем разделе:
- Точность: (156+149)/(156+149+0+3) = 99,03%.
- Точность: 149/(149+0) = 100 %.
- Отзыв: 149/(149+3) = 98,03%
- F1: 2*149/(2*149+0+3) = 99%
12- Кривая ROC (рабочая характеристика приемника) и AUC (площадь под кривой)
сначала мы понимаем, зачем они нам нужны. Итак, если мы наблюдаем, что большинство классификационных моделей дает нам вероятность класса, она не дает жесткого значения, такого как 0 и 1. Возникает понятие Пороговое значение. Устанавливается порог, любое значение вероятности ниже порога является отрицательным исходом, а все, что превышает порог, является благоприятным или положительным исходом [6].
Математически он представляет различные матрицы путаницы для различных порогов. Каждая черная точка — это одна матрица путаницы. Зеленая пунктирная линия представляет собой сценарий, при котором доля истинно положительных результатов равна доле ложноположительных результатов. Как видно из кривой, по мере продвижения от самой правой точки влево после определенного порога количество ложных срабатываний уменьшается. Через некоторое время процент ложных срабатываний становится равным нулю. Точка, обведенная зеленым, является наилучшей точкой, поскольку она правильно предсказывает все значения и сводит количество ложных срабатываний к минимуму. Но это не эмпирическое правило. Исходя из требования, нам нужно выбрать точку порога. Кривая ROC отвечает на наш вопрос о том, какой порог выбрать [6]
Предположим, что мы использовали разные алгоритмы классификации и построены разные ROC для соответствующих алгоритмов. Вопрос: какой алгоритм выбрать сейчас? Чтобы ответить на этот вопрос, давайте разберемся с AOC.[6]
AOC помогает нам выбрать лучшую модель среди моделей, для которых мы построили кривые ROC. Лучшая модель та, которая охватывает под собой максимальную площадь [6]
ROC — это график истинно положительных результатов и ложноположительных результатов при различных пороговых значениях классификации. AUC — это площадь под ROC-кривой, и чем выше AUC, тем выше производительность модели [2]. Это часто используемый график, который суммирует эффективность классификатора по всем возможным пороговым значениям. Он генерируется путем построения графика истинной положительной частоты (ось Y) против Ложноположительной частоты (ось x) при изменении порога для отнесения наблюдений к данному классу [4].
ППК
соотношение между истинно положительными показателями и ложноположительными показателями
Код Python [5]
from sklearn.metrics import roc_curve, auc
fpr_DT, tpr_DT, thresholds = roc_curve(y_test, y_pred_DT)
roc_auc_DT = auc(fpr_DT, tpr_DT)
plt.figure()
plt.plot(fpr_DT, tpr_DT, color='darkorange', lw=1, label='ROC curve (area = %0.4f)' % roc_auc_DT)
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC CURVE')
plt.legend(loc="lower right")
plt.show()
13-Коэн Каппа
По сути, это мера того, насколько хорошо классификатор работал по сравнению с тем, насколько хорошо он работал бы просто случайно. Другими словами, модель будет иметь высокий показатель Каппа, если существует большая разница между точностью и частотой нулевых ошибок [4].
14- ЦУП
коэффициент корреляции между наблюдаемой и предсказанной бинарными классификациями.
15- Сравните производительность модели
Кривая ROC для моделей [5]
plt.plot(fpr_DT, tpr_DT, marker='*', label='Decision Trees', color = 'black')
plt.plot(fpr_RF, tpr_RF, marker='*', label='Random Forest', color = 'Red')
plt.plot(fpr_SVM, tpr_SVM, marker='*', label='SVM', color = 'green')
plt.plot(fpr_LR, tpr_LR, marker='*', label='LogisticRegression', color = 'yellow')
plt.plot(fpr_KNN, tpr_KNN, marker='*', label='KNN', color = 'blue')
plt.plot(fpr_NB, tpr_NB, marker='*', label='Naive Bayes', color = 'black')
plt.plot(fpr_NN, tpr_NN, marker='*', label='Neural Network(NN)', color = 'black')
plt.plot(fpr_NN, tpr_NN, marker='*', label='Gradient Boosting(GB)', color = 'black')
plt.plot(fpr_ET, tpr_ET, marker='*', label='Etra Tree Classifier(ET)', color = 'black')
plt.plot(fpr_LGBM, tpr_LGBM, marker='*', label='LGBMClassifer', color = 'black')
plt.plot(fpr_CTB, tpr_CTB, marker='*', label='CatBoost', color = 'black')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC CURVES OF ALGORITHMS')
plt.legend(loc="lower right")
plt.show()
Сравнение всех результатов алгоритма
[5]
from prettytable import PrettyTable
x = PrettyTable()
print('\n')
print("Comparison of all algorithm results")
x.field_names = ["Model", "Accuracy"]
x.add_row(["Decision Trees Algorithm", round(DT_Acc,4)])
x.add_row(["Random Forest Algorithm", round(RF_Acc,4)])
x.add_row(["Support Vector Machine Algorithm", round(SVM_Acc,4)])
x.add_row(["LogisticRegression Algorithm", round(LR_Acc,4)])
x.add_row(["KNN Algorithm", round(KNN_Acc,4)])
x.add_row(["Naive Bayes", round(NB_Acc,4)])
x.add_row(["Neural Network", round(NN_Acc,4)])
x.add_row(["Gradient Boosting", round(GB_Acc,4)])
x.add_row(["ExtraTree Classifer ", round(ET_Acc,4)])
x.add_row(["LGBM Classifier ", round(LGBM_Acc,4)])
x.add_row(["CatBoost ", round(CTB_Acc,4)])
print(x)
print('\n')
Подпишитесь на курсы, чтобы быть в курсе последних обновлений этой истории
Если вы хотите узнать больше об этих темах: Python, машинное обучение и обработка данных, статистика для машинного обучения, линейная алгебра для машинного обучения, компьютерное зрение,
Затем войдите и зарегистрируйтесь в Coursesteach, чтобы получить фантастический контент в поле данных.
Рекомендации
1- Scikit-Learn (Python): 6 полезных приемов для специалистов по данным
2- 6 лучших алгоритмов машинного обучения для классификации
3-Матрица путаницы в машинном обучении
4- Простое руководство по терминологии матрицы путаницы
5-Контролируемый_(Классификация)_ML_Model_Training_and_Evulation_.ipynb
6-Количественная оценка эффективности классификаторов
7-Визуализация вашей матрицы путаницы в Scikit-learn
8-Глубокое погружение в матрицу путаницы (непрочитано)
9-тур по оценочным метрикам для несбалансированной классификации
11- Какую метрику следует использовать? Точность против AUC (непрочитано)
12- ROC и AUC для оценки модели (непрочитано)
13 –10 Функции стоимости классификации в машинном обучении (непрочитано)
