Деревья решений — это структуры данных, которые состоят из следующего:
Корневой узел - Верхний узел структуры, который является атрибутом, имеющим максимальный информационный прирост.
Ветви — это связь между двумя узлами в структуре, обозначающая результаты теста, примененного к 1-му/верхнему узлу, на котором тест применялся к результату на 2-м/нижнем узле.
Листовой узел — это последний узел дерева/ветки, который содержит метку класса.
СЛОВАРЬ:
Энтропия:
Это степень неопределенности, беспорядка или примеси случайной величины.
Он характеризует нечистоту произвольного класса примеров.
Энтропия — это измерение случайности или примеси в точках данных.
Получение информации:
Это мера, основанная на теории информации.
Это неотрицательная мера.
Это симметричная мера.
Он используется для определения лучших атрибутов, которые отображают максимальную информацию о классе.
Он вычисляет разницу между энтропией до и после разделения.
Он указывает примесь в элементах класса.
Атрибут с наибольшим приростом информации известен как лучший атрибут для выполнения разделения.
Индекс Джини:
//не будет использоваться в алгоритме ID3, но тем не менее важно знать
Он рассчитывается путем вычитания суммы квадратов вероятностей каждого класса из 1.
Джини (D) = 1- Σ Pⱼ ^ 2
где D обозначает набор данных.
Его легко реализовать, и он поддерживает большие разделы.
Классический алгоритм CART использует индекс Джини для построения дерева решений.
Атрибут с самым высоким индексом Джини известен как имеющий большее неравенство или примесь.
Индекс Джини используется в качестве меры примеси (чистоты).
Если набор данных D разбивается по атрибуту A на два подмножества D1 и D2. Тогда его индекс Джини определяется как:
Джини A (D) = (|D1|/|D| ) Джини D1 + (|D2|/|D| ) Джини D2
Разница между индексом Джини и приростом информации:
АЛГОРИТМ:
Шаг 1: Нам нужно протестировать, чтобы определить, какой из атрибутов дает больше всего информации.
Шаг 2: мы делаем это, сначала вычисляя энтропию всего набора данных D.
Шаг 3: Далее мы находим запись отдельных атрибутов.
Шаг 4: Мы рассчитываем прирост информации для каждого атрибута, используя энтропию всего набора данных и энтропию отдельного атрибута для отдельных атрибутов.
Шаг 5: После того, как прирост информации для всех атрибутов найден, атрибут с наибольшим приростом информации становится атрибутом разделения, тогда как атрибут с четким положительным/отрицательным разделением приводит к конечному узлу.
Шаг 6: мы продолжаем процесс с шага 2, находя следующий атрибут разделения из уже подмножеств разделения набора данных D, пока не найдем все конечные узлы дерева решений.
Почему деревья решений так популярны?
Они относительно быстрее в своей скорости обучения.
Запросы SQL можно легко использовать для доступа к базе данных.
Они имеют сравнимую точность классификации с другими алгоритмами.
Структуру дерева решений легче преобразовать в простые и удобные для разработки правила классификации.
Когда мы используем деревья решений?
Деревья решений можно использовать, когда нам нужно быстро построить и протестировать.
Когда в наборе данных присутствуют искаженные переменные.
Когда данные содержат достаточное количество шума.
Когда набор данных необходим людям для понимания и передачи модели.
Когда набор данных имеет небольшой размер.
Когда мы не хотим нормализовать данные.
Зачем нужна обрезка?
Это метод преодоления проблемы переобучения данных.
Это помогает, когда в древовидную структуру добавляются новые данные.
Это снижает сложность конечного классификатора.
Следовательно, повышается точность прогнозирования за счет уменьшения переобучения.
Что такое переоснащение?
Индуцированное дерево может превосходить обучающие данные, когда ветвей слишком много, некоторые из них могут отражать аномалии из-за шума и выбросов.
Это обеспечивает низкую точность и влияет на увеличение сложности структуры за счет включения невидимых выборок данных.
Как избежать переобучения?
Лучший способ избежать переобучения данных в структуре дерева решений — это отсечение.
Существует два подхода к обрезке древовидной структуры:
Предварительная обрезка. Это когда мы останавливаем построение дерева на ранней стадии и не разделяем узел, если это приведет к уменьшению меры качества ниже порогового значения.
Постобрезка. Это когда мы удаляем ветви из полностью выросшего дерева решений и получаем последовательность постепенно обрезаемых деревьев.
Является ли предварительная обрезка лучше, чем постобрезка, когда дело доходит до ограничений?
Сокращение дерева решений, а затем преобразование его в правила лучше, чем сокращение дерева решений после формирования его правил, поскольку здесь мы можем исключить все его предварительное условие.
Следовательно, лучше предварительно обрезать дерево решений, и оно менее ограничительно.
В чем недостаток использования отдельного набора кортежей для оценки обрезки?
Недостаток использования отдельного набора кортежей для оценки отсечения заключается в том, что он может не отражать обучающие кортежи, использованные для создания исходного дерева решений.
