Логистическая регрессия — перспектива минимизации потерь
Что такое потеря?
Идеальная функция потерь возвращает значение
- +1 за неправильно классифицированные баллы
- 0 за правильно классифицированные баллы
Проблема
Чтобы решить задачи оптимизации в ML, нам нужно использовать дифференцирование/исчисление. Вышеупомянутая функция 01loss не дифференцируема. Чтобы функция была дифференцируемой, она должна быть непрерывной. Функция 01loss не дифференцируема при 0, что означает, что при Zi равном 0 значение функции потерь неоднозначно. Из приведенного выше графика видно, что когда Zi равно 0, функция потерь может принимать два значения: 0 или 1, что делает функцию потерь не непрерывной и, следовательно, становится недифференцируемой.
Решение вышеуказанной проблемы заключается в том, что мы будем аппроксимировать функцию, в нашем случае это функция 01loss. Одним из таких приближений является ЛОГИСТИЧЕСКАЯ ПОТЕРЯ. Существуют тысячи других функций, которые могут имитировать функцию логистических потерь, если мы сможем их легко найти.
С точки зрения/интерпретации минимизации потерь, если мы немного изменим форму функции потерь, мы получим другие алгоритмы классификации машинного обучения.
В таблице ниже показаны несколько функций потерь и связанные с ними алгоритмы.
