Первым алгоритмом при изучении машинного обучения является регрессия, а точнее линейная и логистическая регрессия. Ниже приведены ответы на несколько вопросов, которые я считаю концептуально важными.
Каковы предположения для данных, которые следует учитывать при линейной регрессии?
Остаточные данные распределены нормально.
Между остаточным членом не должно быть корреляции, то есть автокоррелированных данных.
Независимые переменные не должны коррелироваться, т.е. данные должны быть мультиколлинеарными.
Разница должна быть постоянной, т.е. данные должны быть однородными.
Между зависимыми (ответными) переменными и независимыми (ответными) переменными должна быть линейная зависимость.
Почему предлагается масштабировать наши данные перед применением какого-либо алгоритма?
Я долгое время считал, что масштабирование улучшает точность, и я думаю, что это делает большинство из вас, но это не тот случай, когда масштабирование не гарантирует повышения точности, оно сокращает время, необходимое для обучения нашей модели.
Является ли логистическая регрессия линейной / нелинейной?
Поскольку мы в основном находим сигмовидную функцию, которая дает линейную границу, мы можем предположить, что ее линейная, но на самом деле логистическая регрессия может / не может быть линейной, все зависит от границы решения, то есть нашего экспоненциального члена.
Как уменьшить переобучение?
Мы можем увеличить наш обучающий набор данных, но как увеличение набора данных на самом деле снижает переоснащение, концепция здесь заключается в том, если мы рассматриваем наши данные как комбинацию сигнала и шума, поэтому, если мы увеличиваем объем данных, мы увеличиваем влияние сигнала в это, поскольку шум является случайным фактором, наша модель обучается, чтобы иметь больше характеристик основного сигнала (отменяя случайность шума) и, следовательно, стремясь к обобщению.
Еще один способ уменьшить переоснащение - уменьшить количество функций. Чем больше количество функций, мы обучаем нашу модель понимать и запоминать больше о нашем наборе данных, поскольку мы уменьшаем количество функций, которые стремятся к обобщению, но нужно убедиться, что сделать это сокращение с умом, чтобы проблема переобучения не превратилась в проблему недостаточного оснащения.
Регуляризация также помогает уменьшить переобучение. Существует два основных типа регуляризации: LASSO и RIDGE.
Лассо выполняет регуляризацию L1, добавляя штраф, эквивалентный сумме абсолютного значения величины коэффициентов, где, поскольку Ридж выполняет регуляризацию L2, добавляя штраф, эквивалентный сумме квадрата величины коэффициентов, Лассо может использоваться для выбора признаков и случаев, когда данные разрежены и нет мультиколлинеарности, тогда как Ridge можно использовать в случае мультиколлинеарности, а также вычисления намного быстрее.
Это был мой первый пост. Надеюсь, вы, ребята, сочтете его полезным. Не стесняйтесь связываться со мной в linkedin palbha nazwale. Также просто добавьте аплодисменты, если сочтете, что это стоит прочитать.
