Точность и отзыв: что это такое?

Я уверен, что все мы слышали о точности, когда дело доходит до оценки нашей модели машинного обучения, особенно для классификаций.

Если вы этого не сделали, это просто. Допустим, у нас всего 100 монет, 80 из них орел и 20из них >хвосты.

Если запустить наши 100 монет через модель машинного обучения и посмотреть, сколько из них предсказывается как орел и решка соответственно, мы сможем оценить точность нашей модели.

Допустим, модель машинного обучения предсказала: 78 орлов и 22 решки, мы знаем, что 2 монеты предсказаны неправильно, так как 2 из них предсказаны как хвосты, но они должны быть головами. В этом случае из 100 монет 98 из них предсказаны правильно, тогда мы можем сказать, что точность этой модели составляет: 98/100 = 0,98 (98%).

Короче говоря, точность = верные прогнозы / все прогнозы

По точности, о которой мы говорили, правильные предсказания можно разбить на 2 категории:

  1. Истинные негативы
  2. Истинные положительные стороны

То же самое и с неправильными прогнозами, их можно разбить на 2 категории:

  1. Ложноотрицательные результаты
  2. Ложные срабатывания

Например, всего на диагностику опухоли обратились 10 человек:

Попробуем еще раз посчитать точность.

Как мы видим, всего есть 7 правильных прогнозов (6 предсказанных отрицательных значений и 1 предсказанное положительное значение), которые соответствуют фактическому значению. В этом случае Точность = (6 + 1) / 10 = 70%.

А как насчет Точность и полнота?

Начнем с точности. Для точности мы рассматриваем только положительные прогнозы. В данном случае их всего 3.

Точность описывает, сколько из всех положительных прогнозов является действительно положительным? Как мы видим, только 1 из них является фактическим положительным значением.

В этом случае наша точность сводится к 1 / 3 = 0,333 (33,3%).

Для отзыва мы смотрим только на реальные положительные значения. Как мы видим, их всего 2.

Напомним, что из всех реальных положительных значений сколько из них прогнозировано как положительное?

В этом случае наш отзыв сводится к 1 / 2 = 0,5 (50%).

Надеюсь, на этом мы завершим раздел Precision & Recall.

Как мы видим, хорошая точность не означает хорошую точность и полноту.

Это дает нам возможность по-настоящему оценить, как работает наша модель, особенно при небольшом размере выборки.