Наглядное объяснение точности, точности, отзыва, F1-показателя, кривой ROC и AUC.
В этом посте будет наглядно описана проблема понимания таких понятий, как Точность, Точность, Отзыв, Оценка F1, Кривая ROC и AUC, которые являются частью разработки любых задач классификации, обнаружения, сегментации и т. д. в машинном обучении. Все изображения созданы автором.
Я бы также посоветовал вам прочитать следующие статьи об этих метриках, которые очень информативны и могут помочь вам лучше понять процесс оценки метрик:
- Классификация: Верно или Ложно, Положительно и Негативно
- Классификация: Точность
- Классификация: ROC-кривая и AUC
- Точность и полнота стали прощеОценка моделей классификации: почему точности недостаточно
- Точность и отзыв: понимание компромисса
- Основные вещи, которые вам нужно знать о F1-Score
- Понимание кривой AUC-ROC в классификации машинного обучения
- Точность и отзыв
- РПЦ и АУК
Ключевой элемент
Ключевым элементом всех этих показателей являются истинно положительные (TP), истинно отрицательные (TN), ложноположительные (FP) и >Ложноотрицательные (FN) метрики, полученные из статистики, в частности, из Проверки гипотез.
- Истинный положительный результат – это количество положительных образцов, которые были классифицированы как положительные.
- Истинно отрицательный результат показывает, сколько отрицательных образцов были классифицированы как отрицательные.
- Ложноположительный – это количество отрицательных образцов, которые были классифицированы как положительные.
- Ложноотрицательный результат — это количество положительных образцов, которые были классифицированы как отрицательные.
Точность
Точность показывает, сколько правильных классификаций вы сделали.
Точность
Точность показывает, сколько положительных прогнозов было правильным.
Отзывать
Отзыв показывает, сколько прогнозов было правильным в единственной положительной выборке.
F1-счет
F1-Score — это просто гармоническое среднее между Precision и Recall.
ROC-кривая
Кривая ROC означает «Рабочая характеристика приемника» и зависит от двух параметров:
- Истинный положительный показатель (TPR), также известный как Отзыв.
- Коэффициент ложных срабатываний (FPR) — вероятность того, что фактический отрицательный класс будет предсказан как положительный.
Используя различные пороговые значения от 0 до 1, кривая ROC создается путем нанесения значений FPR на ось X и значений TPR на ось Y.
AUC
AUC означает «Площадь под ROC-кривой» и измеряет всю двумерную площадь под всей ROC-кривой от (0,0) до (1,1).
Заключение
Эти метрики широко используются в разных темах машинного обучения, поэтому необходимо получить четкое представление о том, как они работают, как интерпретировать и, наконец, как поднять их до 100%.
Мне нравится погружаться в темы машинного обучения и разбивать их на более простые и понятные части. Я хочу помочь людям лучше понять глубокое обучение и искусственный интеллект, описав, как я это вижу и использую в своей работе. Пожалуйста, дайте мне знать в комментариях, если вы нашли этот пост полезным. Приветствуются обсуждения, вопросы и полезная критика. LinkedIn — это еще одно место, где мы можем общаться. Удачного дня!
