Когда мы работаем над проектами машинного обучения, особенно с проблемой классификации, мы всегда имеем дело с матрицей путаницы. Так что же такое матрица путаницы? Матрица путаницы — это показатель, используемый для оценки производительности модели, состоящей из матрицы N x N, где N — количество целевых классов. Эта матрица дает общее представление о производительности и типе ошибок модели.

Для задачи бинарной классификации матрица путаницы будет выглядеть так:

Как мы знаем, результат задачи классификации состоит из двух целевых переменных: 0 или 1; Да или нет; Положительное или отрицательное; и т. д., и наша модель пытается классифицировать, равны ли конкретные данные 0 или 1; Да или нет; и т. д.

Столбцы представляют истинный класс, что означает истинный или настоящий ярлык для конкретных данных. Строки представляют прогнозируемый класс, что означает результаты прогноза, полученные изнашей модели для конкретного варианта использования. . Разберем каждый компонент!

Истинно положительный (TP)
TP — это просто подсчет данных, где прогнозируемое значение является положительным и истинным значением тоже положительно.

Истинно отрицательное (TN)
TN — это просто количество данных, где прогнозируемое значение является отрицательным, а истинное значение тоже отрицательно.

Ложное срабатывание (FP)
FP — это просто подсчет данных, где прогнозируемое значениеположительное и истинное значение является отрицательным. FP называется ошибкой первого типа.

Ложноотрицательный (FN)
FN – это просто количество данных, в которых прогнозируемое значениеотрицательное, а истинное значение является положительным. FN обозначается как Ошибка типа 2.

Теперь, что мы можем получить от матрицы путаницы?

Точность
Этот элемент представляет собой количество правильных прогнозов / общее количество прогнозов. Другими словами, этот элемент сообщает, сколько случаев было предсказано правильно из общего количества предсказаний, которое можно сформулировать следующим образом:

Отзыв
Этот элемент сообщает, сколько случаев модель правильно предсказала среди реальных положительных случаев, которые можно сформулировать следующим образом:

Сумма TP + FN даст общее количество фактически положительных случаев.

Точность
Этот элемент не что иное, как общее положительное предсказание модели, сколько из них являются фактически положительными случаями.

F-Measure (F-Score)
Иногда мы можем получить Precision and Recall в отдаленных результатах. Вот почему мы используем F-меру для сравнения этих оценок. Этот элемент помогает одновременно измерять полноту и точность, используя среднее гармоническое вместо среднего арифметического, сильнее наказывая экстремальные значения.

На данный момент мы рассмотрели точность, полноту, точность и f-оценку; и, возможно, возникнут вопросы. «Какой элемент следует улучшить? Нужно ли улучшать все эти элементы?». Возможно, чаще всего используется точность. Но это действительно зависит от варианта использования. Иногда нам нужно уменьшить либо ошибку типа 1 (FN), либо ошибку типа 2 (FP).

Предположим, мы попытаемся создать модель машинного обучения, способную предсказать, есть ли у человека рак или нет. После того, как мы обучим нашу модель, мы получим матрицу путаницы. В этом конкретном случае мы должны сосредоточиться на уменьшении нашей ошибки второго типа (ОП). Почему? Потому что по этим показателям наша модельпредсказывает, что у человека нет рака, но на самом деле у него рак. . Это такой опасный прогноз, сделанный моделью. Мы знаем, что рак можно хорошо лечить, если мы поймаем его на ранней стадии. Но как насчет ошибки типа 1 (FP), если она увеличивается? Это не большая проблема, так как человек, который предсказал наличие рака, но на самом деле это не так, он пошел бы провериться дальше к врачу, хотя наша цель также уменьшить FP, чтобы мы могли получить очень хорошую модель. Таким образом, для этого конкретного варианта использования мы должны попытаться уменьшитьFN,FP и увеличить >TP, TNс упором на снижение FN.

Тем не менее, разные варианты использования требуют разных способов решения. Нам нужно обсудить с экспертом в предметной области конкретную модель машинного обучения.

Если вам понравился этот пост, это будет моей дополнительной мотивацией, если вы похлопаете 👏.

Вы можете связаться со мной по адресу:

LinkedIn: https://www.linkedin.com/in/prabowoyogaw/

Спасибо, что прочитали! 😁