Точность и отзыв: что это такое?
Я уверен, что все мы слышали о точности, когда дело доходит до оценки нашей модели машинного обучения, особенно для классификаций.
Если вы этого не сделали, это просто. Допустим, у нас всего 100 монет, 80 из них орел и 20из них >хвосты.
Если запустить наши 100 монет через модель машинного обучения и посмотреть, сколько из них предсказывается как орел и решка соответственно, мы сможем оценить точность нашей модели.
Допустим, модель машинного обучения предсказала: 78 орлов и 22 решки, мы знаем, что 2 монеты предсказаны неправильно, так как 2 из них предсказаны как хвосты, но они должны быть головами. В этом случае из 100 монет 98 из них предсказаны правильно, тогда мы можем сказать, что точность этой модели составляет: 98/100 = 0,98 (98%).
Короче говоря, точность = верные прогнозы / все прогнозы
По точности, о которой мы говорили, правильные предсказания можно разбить на 2 категории:
- Истинные негативы
- Истинные положительные стороны
То же самое и с неправильными прогнозами, их можно разбить на 2 категории:
- Ложноотрицательные результаты
- Ложные срабатывания
Например, всего на диагностику опухоли обратились 10 человек:
Попробуем еще раз посчитать точность.
Как мы видим, всего есть 7 правильных прогнозов (6 предсказанных отрицательных значений и 1 предсказанное положительное значение), которые соответствуют фактическому значению. В этом случае Точность = (6 + 1) / 10 = 70%.
А как насчет Точность и полнота?
Начнем с точности. Для точности мы рассматриваем только положительные прогнозы. В данном случае их всего 3.
Точность описывает, сколько из всех положительных прогнозов является действительно положительным? Как мы видим, только 1 из них является фактическим положительным значением.
В этом случае наша точность сводится к 1 / 3 = 0,333 (33,3%).
Для отзыва мы смотрим только на реальные положительные значения. Как мы видим, их всего 2.
Напомним, что из всех реальных положительных значений сколько из них прогнозировано как положительное?
В этом случае наш отзыв сводится к 1 / 2 = 0,5 (50%).
Надеюсь, на этом мы завершим раздел Precision & Recall.
Как мы видим, хорошая точность не означает хорошую точность и полноту.
Это дает нам возможность по-настоящему оценить, как работает наша модель, особенно при небольшом размере выборки.
