Введение
Темы, которые будут освещены в этом блоге:
- Что такое логистическая регрессия?
- Почему бы не использовать линейную регрессию
- Дополнительная информация о логистической регрессии
- Оценка максимального правдоподобия.
- Функция затрат в логистической регрессии
- Градиентный спуск
- Реализация Python
Чтобы понять логистическую регрессию, необходимо знать о линейной регрессии, о которой мы уже говорили ранее.
Что такое логистическая регрессия?
Логистическая регрессия - это обобщенная линейная модель. В отличие от линейной регрессии, которая используется для прогнозирования значений в соответствии с числовыми данными, логистическая регрессия используется для проблемы классификации. Некоторые из примеров проблем классификации - это классификатор спама в электронной почте. , классификация видов ирисов, выявление мошенничества с кредитными картами.
Тогда почему это называется логистической регрессией?
Логистическая регрессия фактически предсказывает значение вероятности зависимого признака, которое находится в диапазоне [0,1]. Если это проблема двоичной классификации, и если значение больше или равно 0,5, то оно классифицируется как истинное, иначе оно классифицируется как ложное. Однако мы знаем, что в линейной регрессии диапазон составляет от отрицательной бесконечности до положительной бесконечности, но здесь мы имеем значение между [0,1]. Для решения этой проблемы у нас есть функция, известная как сигмовидная функция. сигмовидная функция дает волнистую линию.
Почему бы не использовать линейную регрессию?
Первая очевидная причина заключается в том, что логистическая регрессия - это модель классификации, в отличие от линейной регрессии. Диапазон линейной регрессии составляет от отрицательной бесконечности до положительной бесконечности, поэтому она может генерировать отрицательные прогнозы. В то время как логистическая регрессия в диапазоне между [0,1] не имеет такой проблемы.
Другая проблема линейной регрессии заключается в том, что при наличии некоторых выбросов линия наилучшего соответствия будет наклонена в сторону выброса, что приведет к неверным прогнозам.
Дополнительная информация о логистической регрессии.
Как было сказано ранее, логистическая регрессия в чем-то похожа на линейную регрессию. Чтобы предсказать наиболее подходящую волнистую линию, мы преобразуем эту волнистую линию в прямую, используя функцию логита, которая принимает вероятность в качестве входных данных и дает логарифм шансов в качестве выходных данных.
Для каждой точки мы будем вычислять журнал нечетных значений, и эти значения используются по оси Y на графике. Таким образом мы можем создать прямую линию для волнистой линии.
Оценка максимального правдоподобия
В линейной регрессии мы используем метод наименьших квадратов, который представляет собой сумму квадратов ошибки, чтобы найти наиболее подходящую линию. На рис. 2, поскольку большинство точек стремится к отрицательной бесконечности и положительной бесконечности, значение ошибки также будет стремиться к бесконечности. Мы не можем использовать метод наименьших квадратов, вместо этого мы используем оценку максимального правдоподобия.
Мы вычисляем максимальную вероятность каждой логарифмической (шансов) точки и умножаем все правдоподобия, чтобы получить вероятность полного набора данных. Волнистая кривая, которая получает значение максимального правдоподобия для полного набора данных, считается наилучшей волнистой кривой.
Как увеличить вероятность журнала?
В статистике для получения параметра распределения широко используется оценка максимального правдоподобия (MLE). В этой парадигме максимизация логарифмической вероятности равна минимизации функции затрат J. Это двойная проблема в Convex Optimization.
Функция затрат в логистической регрессии
Мы узнали о функции стоимости J (θ) в линейной регрессии, функция стоимости представляет собой цель оптимизации, т.е. мы создаем функцию стоимости и пытаемся минимизировать функцию стоимости с помощью градиентного спуска. так что мы можем получить глобальные минимумы.
Итак, если мы попытаемся использовать функцию стоимости линейной регрессии для функции гипотезы (сигмовидное уравнение) логистической регрессии, то будет замечено, что она дает невыпуклую функцию. В невыпуклой функции мы получаем локальный минимум в дополнение к глобальному минимуму, и найти глобальный минимум будет сложной задачей.
Для логистической регрессии функция затрат определяется как: -
Два приведенных выше уравнения можно объединить, чтобы получить новое уравнение:
Теперь, используя эту функцию стоимости, мы можем определить глобальные минимумы с помощью градиентного спуска.
Градиентный спуск
Градиентный спуск для логистической регрессии такой же, как и для линейной регрессии. Теперь, чтобы минимизировать нашу функцию затрат, нам нужно запустить функцию градиентного спуска для каждого параметра, т.е.
Реализация Python
Итак, важно увидеть, как использовать то, что мы приобрели. Я применил логистическую регрессию к радужке, которая может классифицировать виды на основе измерений длины и ширины чашелистиков и лепестков.
Нажмите ЗДЕСЬ, чтобы увидеть полный код, и посмотрите, насколько прост в мире машинного обучения, когда дело касается логистической регрессии.
Заключение
В этом блоге я познакомил вас с основными концепциями логистической регрессии, которые мы должны знать. Я надеюсь, что это было полезно и поддерживало вашу мотивацию.
Спасибо за прочтение. :)
И, если бы это было хорошее прочтение. Наслаждайтесь!
Редактор: Ашишкумар
