Давайте представим сценарий, в котором у нас есть задача классифицировать, беременна ли женщина или не беременна. В этой задаче, если тест на беременность положительный, это означает, что человек беременен, а если тест отрицательный, это означает, что человек не беременен.
В контексте задачи классификации необходимо учитывать четыре важные категории:
Истинный положительный результат (TP)
Это относится к человеку, который на самом деле беременен (положительно) и правильно классифицируется как беременный (положительно) алгоритмом машинного обучения. Другими словами, алгоритм правильно определяет положительный случай.
Истинно отрицательный (TN)
Это относится к человеку, который на самом деле не беременен (отрицательно) и правильно классифицируется как не беременный (отрицательно) алгоритмом машинного обучения. В этом случае алгоритм правильно идентифицирует отрицательный случай.
Ложное срабатывание (FP)
относится к сценарию, в котором алгоритм машинного обучения неправильно классифицирует человека как положительного (беременного), хотя на самом деле он отрицательный (не беременный). Другими словами, алгоритм ошибочно идентифицирует отрицательный случай как положительный.
Ложноотрицательный результат (FN)
относится к сценарию, в котором алгоритм машинного обучения неправильно классифицирует человека как отрицательного (не беременного), хотя на самом деле он положительный (беременный). Другими словами, алгоритм ошибочно идентифицирует положительный случай как отрицательный.
Матрица путаницы
Матрица путаницы — это табличное представление, которое обобщает производительность модели классификации машинного обучения. Он предоставляет подробную разбивку прогнозов модели и фактических меток классов данных. Матрица обычно представляет собой таблицу 2x2 для задач двоичной классификации, но ее можно расширить для задач с несколькими классами.
Что такое точность в машинном обучении?
Точность — широко используемый показатель для оценки моделей классификации. Он измеряет общую правильность прогнозов, сделанных моделью. Точность рассчитывается путем деления количества правильных прогнозов на общее количество прогнозов. Он дает общий обзор производительности модели, предоставляя процент правильно классифицированных экземпляров.
Точность = (количество верных прогнозов) / (общее количество прогнозов)
точность не всегда является лучшим показателем для оценки производительности модели машинного обучения, особенно в сценариях, когда набор данных несбалансирован или стоимость ошибок разных типов значительно различается. Точность сама по себе не может дать полного понимания эффективности модели.
Выбор наилучшего показателя оценки зависит от конкретной проблемы и целей приложения. Различные показатели оценки сосредоточены на разных аспектах производительности модели.
Точность. Он измеряет долю истинно положительных прогнозов среди всех положительных прогнозов. Точность фокусируется на правильности положительных прогнозов и полезна, когда цена ложных срабатываний высока. Он рассчитывается как
Точность = истинные положительные результаты / (правильные срабатывания + ложные срабатывания)
Отзыв (чувствительность или доля истинно положительных результатов): он измеряет долю истинно положительных прогнозов среди всех фактически положительных случаев. Отзыв фокусируется на способности модели правильно идентифицировать положительные экземпляры и полезен, когда цена ложноотрицательных результатов высока. Он рассчитывается как
Отзыв = истинные положительные результаты / (истинные положительные результаты + ложноотрицательные результаты)
Оценка F1. Это гармоническое среднее значение точности и полноты, обеспечивающее сбалансированный показатель, учитывающий оба показателя. Оценка F1 объединяет точность и полноту в одно значение, придавая одинаковое значение обоим показателям. Он рассчитывается как
Оценка F1 = 2 * (точность * полнота) / (точность + полнота)
Каждая метрика дает уникальное представление о различных аспектах производительности модели.
