Метрики используются для определения производительности модели машинного обучения. Ежедневно используется от четырех до пяти метрик классификации. давайте разберемся с ними один за другим.

Оценка точности: -

  • Это базовая метрика классификации, используемая для определения оценки точности любой модели классификации. Это не что иное, как правильный прогноз, сделанный моделью, разделенный на общее количество прогнозов.
  • Оценка точности = верный прогноз / общее количество прогнозов
  • Например, вы обучили модель, и она предсказала 08 правильных значений из 10, поэтому показатель точности составляет 80%.

Насколько точность хороша?

  • Это зависит от проблемы, которую мы решаем.
  • Если вы делаете модель для больниц с точностью 95%, то это тоже плохая модель, потому что мы не можем рисковать 5% здоровьем/жизнью пациентов.
  • Если вы создаете модель для zomato, чтобы понять повторяющуюся частоту клиентов, имеющих показатель точности 80%, что означает, что из каждых 100 клиентов 80 клиентов делают повторные заказы, то это хорошая модель.

Проблема с оценкой точности: -

  • Если ваша модель имеет показатель точности 80%, это означает, что она имеет 20%-ю ошибку, но проблема в том, что она не объясняет, какой тип ошибки.
  • Есть два типа ошибок: первая — модель предсказала истину, но фактический прогноз ложен. второй прогноз модели является ложным, но фактический прогноз верен.
  • Так что это очень вредно в таких случаях, как больницы или беспилотные автомобили. Для решения этой проблемы у нас есть матрица путаницы.

Матрица путаницы: -

  • Матрица путаницы — это матрица n*n, которая используется для описания производительности модели классификации на наборе данных.

  • давайте разберемся с терминологией в поле: -

1) Истинные положительные результаты (TP): - Это означает, что ваша модель предсказала 1, а фактическое значение также равно 1.

2) True Negative (TN): - Это означает, что ваша модель предсказала 0, и фактическое значение также равно 0.

3) Ложноположительный результат (FP): - Это означает, что ваша модель предсказала 1, но фактическое значение равно 0, и это также известно как ошибка типа 1.

4) Ложноотрицательный результат (FN): - Это означает, что наш прогнозируемый 0, но фактическое значение равно 1 и известно как ошибка типа 2.

  • Оценка точности с точки зрения матрицы путаницы: -
  • Показатель точности = TP+TN/(TP+TN+FP+FN)

Когда показатель точности вводит в заблуждение?

  • На несбалансированных данных точность вводит в заблуждение. Например, вам нужно сделать систему безопасности для аэропорта, чтобы предсказать, является ли пассажир террористом или нет. В ваших данных 999 невинных пассажиров и 1 террорист. таким образом, оценка точности составляет 99,99%, что почти равно 100, но, хотя это плохая модель, поэтому для ее определения у нас есть еще одна метрика, такая как точность и полнота.

Метрика точности: -

  • Это метрика, которая количественно определяет количество правильных положительных прогнозов.
  • Показатель точности = TP / (TP+FP)
  • Давайте разберемся на примере: ваш начальник поручает вам создать модель классификатора спама в электронной почте, после чего вы будете использовать точность в качестве показателя производительности, чтобы уменьшить количество ошибок.

Напомним Метрика: -

  • Метрика отзыва — это метрика, которая количественно определяет, какая доля фактических положительных результатов правильно классифицирована.
  • Метрика отзыва = TP / (TP+FN)
  • Давайте разберемся на примере: ваш босс поручает вам создать модель прогнозирования желаний сердца, после чего вы будете использовать отзыв в качестве показателя производительности, чтобы уменьшить ошибку.