Алгоритмы на основе дерева очень популярны из-за их дополнительных преимуществ по сравнению с алгоритмом линейной регрессии с точки зрения предварительной обработки меньшего количества данных и эффективной обработки нелинейных данных. Этот блог познакомит вас с алгоритмами, основанными на деревьях, и уделит больше внимания деревьям решений.

Оглавление

  1. Что такое Алгоритмы на основе дерева
  2. Введение в дерево решений
  3. Когда их использовать, а когда не использовать
  4. Как работает дерево решений
  5. Расщепление, энтропия, индекс Джини, прирост информации и их использование
  6. Практическая реализация Python
  7. Заключение

Алгоритмы на основе дерева

Алгоритмы на основе дерева адаптировали свое название от «Деревья» из-за сходства с механизмом работы в виде дерева, т. Е. Присутствует корневой узел, который исключает в зависимости от условия разные ветви и сужает ветви до тех пор, пока мы не получим листовой узел, т. Е. Чистый узел подобного типы. Алгоритм на основе дерева приобрел популярность благодаря своей эффективности для решения задач как классификации, так и регрессии, стабильности, точности, объяснимости и менее обширная предварительная обработка данных. Эти алгоритмы могут эффективно отображать нелинейные данные.

Деревья решений, случайный лес, повышение градиента — вот некоторые из широко используемых алгоритмов на основе дерева. В этом блоге мы увидим глубокое интуитивное понимание деревьев решений.

Дерева решений

Деревья решений — это универсальный контролируемый алгоритм машинного обучения на основе условий, способный выполнять задачи регрессии и классификации и даже работать в случае задач, которые имеют несколько выходных данных, принимая решения на основе условий. Они могут даже соответствовать сложным наборам данных. Они также являются фундаментальными компонентами Random Forests, похожего на еще один очень мощный и популярный алгоритм машинного обучения, созданный для устранения недостатков дерева решений, то есть переобучения.

В двух словах, чтобы предсказать метку класса для записи, мы начинаем принимать решения на основе разделения на критерии, указанные из root дерева. От корня к ветвям, затем к подветвям, и мы продолжаем разбивать данные на основе критериев, пока не получим аналогичные данные в каждом отдельном узле, который называется конечным узлом.

DT можно классифицировать как деревья регрессии и деревья классификации. В деревьях регрессии. В деревьях регрессии конечные узлы рассчитываются на основе среднего отклика наблюдений, а режим обучающих данных используется для вычисления новых данных в случае классификации. деревья.

Важная терминология

Есть некоторые термины, связанные с деревьями решений (DT), которые важно понимать:

  1. Корневой узел: весь набор данных, который был взят для анализа. В дальнейшем это будет разделено на два или более однородных набора.
  2. Разделение: это процесс разделения узла на два или более подузла на основе определенных критериев.
  3. Узел принятия решения. Когда подузел разделяется на дополнительные подузлы, он называется узлом принятия решения.
  4. Конечный/конечный узел:узлы с однородными или подобными данными, которые нельзя разделить дальше.
  5. Сокращение: сокращение подузлов узла принятия решений называется сокращением. Это сделано для решения проблемы переобучения.
  6. Ветвь/Поддерево.Подраздел всего дерева называется ветвью или поддеревом.
  7. Родительский и дочерний узел.Узел, который разделен на подузлы, называется родительским узлом подузлов, тогда как подузлы являются дочерними по отношению к родительскому узлу.

Допущения в DT:

У каждого алгоритма есть некоторое предположение, прежде чем обратиться к сценарию реального мира и сделать вывод о его ограничениях. Ниже приведены предположения, рассмотренные перед внедрением DT:

  • Вначале вся обучающая выборка считается корневой.
  • Предпочтительно, чтобы значения признаков были категориальными. Если значения непрерывны, то перед построением модели они дискретизируются.
  • Записи распределяются рекурсивно на основе значений атрибутов.
  • Порядок размещения атрибутов в качестве корневого или внутреннего узла дерева выполняется с использованием некоторого статистического подхода.

Преимущества DT:

  1. Интерпретируемость: деревья решений очень просты для понимания и объяснения, поскольку разбиение очень четкое и интуитивно понятное.
  2. Меньшая очистка данных: DT менее подвержены влиянию выбросов и пропущенных значений.
  3. Типы данных. Он может обрабатывать как категориальные, так и числовые типы данных.
  4. Непараметрический метод.Дерево решений — это непараметрический метод. Это означает, что у DT нет предположений о пространственном распределении и структуре классификатора.

Недостатки DT:

  1. Переобучение. Основным недостатком DT является переобучение. Они очень склонны к переоснащению, особенно в многомерном пространстве признаков. Однако существует множество подходов к преодолению переобучения, таких как обрезка или настройка гиперпараметров или какой-либо другой алгоритм на основе дерева.
  2. Это не очень предпочтительно для непрерывных переменных, так как они могут привести к большей потере информации, а параметры и ограничения немного своеобразны и сложны, когда дело доходит до проблемы регрессии.

Как разделяется DT?

Мы знаем, что DT работает через разделение на основе решений для разделения данных корневого узла и доходит до конечного узла посредством рекурсивного разделения. Теперь давайте разберемся, как DT на самом деле принимает решение и выполняет разделение: