Алгоритмы ансамблевого обучения, такие как XGBoost или Random Forests, входят в число самых эффективных моделей в соревнованиях Kaggle. Как они работают?

Фундаментальные алгоритмы обучения, такие как логистическая регрессия или линейная регрессия, часто слишком просты для достижения адекватных результатов при решении задач машинного обучения. Хотя возможным решением является использование нейронных сетей, они требуют огромного количества обучающих данных, которые редко доступны. Методы ансамблевого обучения могут повысить производительность простых моделей даже при ограниченном объеме данных.

Представьте, что вы просите человека угадать, сколько жевательных конфет находится в большой банке. Ответ одного человека вряд ли будет точной оценкой правильного числа. Вместо этого, если мы зададим один и тот же вопрос тысяче человек, средний ответ, скорее всего, будет близок к фактическому числу. Это явление называется мудростью толпы[1]. При решении сложных задач оценки толпа может быть значительно точнее, чем отдельный человек.

Алгоритмы ансамблевого обучения используют этот простой принцип, агрегируя прогнозы группы моделей, таких как регрессоры или классификаторы. Для агрегации классификаторов модель ансамбля может просто выбрать наиболее распространенный класс между предсказаниями классификаторов низкого уровня. Вместо этого ансамбль может использовать среднее значение или медиану всех прогнозов для задачи регрессии.

Объединив большое количество слабых учеников, то есть классификаторов или регрессоров, которые лишь немного лучше, чем случайное угадывание, мы можем достичь немыслимых результатов. Рассмотрим задачу двоичной классификации. Объединив 1000 независимых классификаторов с индивидуальной точностью 51%, можно создать ансамбль с точностью 75% [2].

Именно по этой причине ансамблевые алгоритмы часто оказываются выигрышными решениями во многих соревнованиях по машинному обучению!

Существует несколько методов построения алгоритма ансамблевого обучения. Основными из них являются упаковка, усиление и штабелирование. В следующих…