Привет, Асад здесь. В предыдущем блоге мы говорили об основных идеях и математике, лежащих в основе методов регуляризации L1 и L2, если не проверить последний блог здесь
Напомним: лассо и гребень — это два метода регуляризации, используемые в машинном обучении. Что нужно для регуляризации? если наши данные переоснащены (т. е. лучше всего подходят для обучения и наихудшим образом подходят для данных тестирования), низкое смещение и высокая дисперсия. Чтобы уменьшить дисперсию здесь, мы введем небольшой штраф при поиске наиболее подходящей линии. LASSO расшифровывается как Оператор наименьшего абсолютного сокращения и выбора.
Регуляризация L1, также называемая регрессией лассо, добавляет «абсолютное значение величины» коэффициента в качестве штрафного члена к функции потерь. Регуляризация L2, также называемая гребенчатой регрессией, добавляет «квадрат величины» коэффициента в качестве штрафного члена к функции потерь.
Лассо-регрессия при поиске лучшей линии добавляет небольшой штраф, чтобы минимизировать дисперсию для долгосрочного хорошего прогноза. Штраф выглядит так: сумма квадратов остатков + лямбда × | склон | напротив, мы не возводим наклон в квадрат, как в регрессии хребта.
Большая разница между гребнем и лассо заключается в том, что регрессия гребня может уменьшить наклон только асимптотически близко к нулю, в то время как лассо может уменьшить наклон полностью до нуля. в то время как регрессия лассо принимает величину коэффициентов, регрессия гребня принимает квадрат.
Регрессия Лассо также может исключать бесполезные переменные из уравнения, поэтому вы можете сказать, что это лучше, чем гребень, для уменьшения дисперсии в моделях, содержащих много бесполезных переменных. Гребневая регрессия может быть успешной, если все наши переменные полезны.
И это все на данный момент, если вам нравится этот мини-контент, подпишитесь на другие.
.
