Привет,
Я представил вам 5 самых популярных алгоритмов повышения, которые должен знать каждый разработчик машинного обучения. Одна из причин, по которой алгоритмы бустинга становятся все более популярными, заключается в том, что они не учитывают только одну модель. Они создают несколько слабых моделей обучения и объединяют свои результаты, чтобы создать сильную прогностическую модель.
Алгоритм LightGBM
Распределенная среда повышения градиента для машинного обучения, известная как LightGBM или Light Gradient Boosting Machine, была создана Microsoft и является бесплатной и с открытым исходным кодом. Он используется для классификации, ранжирования и других приложений машинного обучения и основан на алгоритмах дерева решений.
Для запуска требуется меньше памяти, и он может работать с большими объемами данных. Наиболее широко используемый алгоритм в хакатонах, потому что цель алгоритма — получить хорошую точность результатов, а также снизить зависимость от графического процессора.
Алгоритм CatBoost
Яндекс создал программный пакет с открытым исходным кодом, известный как CatBoost (Категорное повышение). Он предлагает основу для повышения градиента, которая, среди прочего, пытается решить проблему категориальных признаков, используя подход, основанный на перестановках, в качестве альтернативы обычному алгоритму.
Как следует из названия, CatBoost означает «категорическое» повышение. Его быстрее использовать, чем, скажем, XGBoost, потому что он не требует предварительной обработки ваших данных, которая может занять больше всего времени в типичном процессе построения модели Data Science.
Алгоритм XGBoost
Фреймворк регуляризующего повышения градиента предлагается программным пакетом с открытым исходным кодом XGBoost для языков программирования C++, Java, Python, R, Julia, Perl и Scala. Он работает на Windows, macOS и Linux. Цель проекта — создать Масштабируемую, портативную и распределенную библиотеку повышения градиента, согласно описанию проекта.
XGBoost, что означает Extreme Gradient Boosting, представляет собой масштабируемую распределенную библиотеку машинного обучения с градиентным усилением дерева решений (GBDT). Он обеспечивает параллельное повышение дерева и является ведущей библиотекой машинного обучения для задач регрессии, классификации и ранжирования.
Алгоритм повышения градиента
Как непрерывные, так и категориальные целевые переменные могут быть предсказаны с использованием подхода повышения градиента. Функция стоимости представляет собой среднеквадратичную ошибку (MSE), когда она используется в качестве регрессора, и логарифмическую потерю, когда она используется в качестве классификатора.
Повышение градиента работает путем последовательного построения более простых (слабых) моделей прогнозирования, где каждая модель пытается предсказать ошибку, оставленную предыдущей моделью. Из-за этого алгоритм имеет тенденцию к переобучению довольно быстро.
Алгоритм повышения Ada
AdaBoost, также известный как Adaptive Boosting, представляет собой метод машинного обучения, используемый в ансамбле. Деревья решений с одним уровнем или деревья решений только с одним разделением являются наиболее популярным алгоритмом, используемым с AdaBoost. Другое название этих деревьев — пни решений.
Заключение
Мы надеемся, что вам понравилась эта короткая статья о 5 лучших алгоритмах повышения, которые должен знать каждый разработчик машинного обучения.
