Метрики используются для определения производительности модели машинного обучения. Ежедневно используется от четырех до пяти метрик классификации. давайте разберемся с ними один за другим.
Оценка точности: -
- Это базовая метрика классификации, используемая для определения оценки точности любой модели классификации. Это не что иное, как правильный прогноз, сделанный моделью, разделенный на общее количество прогнозов.
- Оценка точности = верный прогноз / общее количество прогнозов
- Например, вы обучили модель, и она предсказала 08 правильных значений из 10, поэтому показатель точности составляет 80%.
Насколько точность хороша?
- Это зависит от проблемы, которую мы решаем.
- Если вы делаете модель для больниц с точностью 95%, то это тоже плохая модель, потому что мы не можем рисковать 5% здоровьем/жизнью пациентов.
- Если вы создаете модель для zomato, чтобы понять повторяющуюся частоту клиентов, имеющих показатель точности 80%, что означает, что из каждых 100 клиентов 80 клиентов делают повторные заказы, то это хорошая модель.
Проблема с оценкой точности: -
- Если ваша модель имеет показатель точности 80%, это означает, что она имеет 20%-ю ошибку, но проблема в том, что она не объясняет, какой тип ошибки.
- Есть два типа ошибок: первая — модель предсказала истину, но фактический прогноз ложен. второй прогноз модели является ложным, но фактический прогноз верен.
- Так что это очень вредно в таких случаях, как больницы или беспилотные автомобили. Для решения этой проблемы у нас есть матрица путаницы.
Матрица путаницы: -
- Матрица путаницы — это матрица n*n, которая используется для описания производительности модели классификации на наборе данных.
- давайте разберемся с терминологией в поле: -
1) Истинные положительные результаты (TP): - Это означает, что ваша модель предсказала 1, а фактическое значение также равно 1.
2) True Negative (TN): - Это означает, что ваша модель предсказала 0, и фактическое значение также равно 0.
3) Ложноположительный результат (FP): - Это означает, что ваша модель предсказала 1, но фактическое значение равно 0, и это также известно как ошибка типа 1.
4) Ложноотрицательный результат (FN): - Это означает, что наш прогнозируемый 0, но фактическое значение равно 1 и известно как ошибка типа 2.
- Оценка точности с точки зрения матрицы путаницы: -
- Показатель точности = TP+TN/(TP+TN+FP+FN)
Когда показатель точности вводит в заблуждение?
- На несбалансированных данных точность вводит в заблуждение. Например, вам нужно сделать систему безопасности для аэропорта, чтобы предсказать, является ли пассажир террористом или нет. В ваших данных 999 невинных пассажиров и 1 террорист. таким образом, оценка точности составляет 99,99%, что почти равно 100, но, хотя это плохая модель, поэтому для ее определения у нас есть еще одна метрика, такая как точность и полнота.
Метрика точности: -
- Это метрика, которая количественно определяет количество правильных положительных прогнозов.
- Показатель точности = TP / (TP+FP)
- Давайте разберемся на примере: ваш начальник поручает вам создать модель классификатора спама в электронной почте, после чего вы будете использовать точность в качестве показателя производительности, чтобы уменьшить количество ошибок.
Напомним Метрика: -
- Метрика отзыва — это метрика, которая количественно определяет, какая доля фактических положительных результатов правильно классифицирована.
- Метрика отзыва = TP / (TP+FN)
- Давайте разберемся на примере: ваш босс поручает вам создать модель прогнозирования желаний сердца, после чего вы будете использовать отзыв в качестве показателя производительности, чтобы уменьшить ошибку.