При построении модели машинного обучения мы сталкиваемся с множеством функций (зависимых переменных), которые могут добавлять или не добавлять какое-либо значение к целевой переменной. Если мы используем все функции, это может привести к неэффективному коду с большими временными задержками, а также к переподгонке моделей. Следовательно, мы используем метод под названием «Выбор функций», чтобы удалить избыточные функции и построить общую подходящую модель.

Технику выбора фильтра можно разделить на следующие категории:

А. Методы фильтрации

Эти методы выбирают функции из набора данных независимо от того, в каком алгоритме машинного обучения они используются. Эти методы очень быстрые и недорогие и очень хороши для удаления дублирующихся, коррелированных, избыточных функций, но эти методы не удаляют множественную коллинеарность.

Некоторые распространенные методы фильтрации:

  • Прирост информации — определяется как количество информации, предоставляемой функцией для определения целевого значения, и измеряет снижение значений энтропии. В контексте алгоритма на основе дерева разница между примесью родительского узла и взвешенной суммой примесей дочернего узла определяется как прирост информации.
  • Тест хи-квадрат —метод хи-квадрат (X2) обычно используется для проверки взаимосвязи между категориальными переменными. Он сравнивает наблюдаемые значения различных атрибутов набора данных с ожидаемым значением.
  • Коэффициент корреляции. Коэффициент корреляции Пирсона – это мера между двумя непрерывными переменными и направлением связи, значения которых находятся в диапазоне от -1 до 1.

B. Методы-оболочки

Процесс выбора признаков основан на конкретном алгоритме машинного обучения, который мы пытаемся подогнать к заданному набору данных. Он следует подходу жадного поиска, оценивая все возможные комбинации признаков по критерию оценки. Методы-оболочки обычно обеспечивают лучшую точность прогнозирования, чем методы фильтров. Они требуют больших вычислительных ресурсов, чем методы фильтров, но являются более точными.

Некоторые распространенные методы Wrapper:

  • Прямой выбор.Этот метод представляет собой итеративный подход, при котором мы сначала начинаем с пустого набора функций и продолжаем добавлять функцию, которая лучше всего улучшает нашу модель после каждой итерации. Критерий остановки — до тех пор, пока добавление новой переменной не улучшит производительность модели.
  • Исключение в обратном направлении. Этот метод также представляет собой итеративный подход, при котором мы сначала начинаем со всех функций, а после каждой итерации удаляем наименее важную функцию. Критерий остановки — до тех пор, пока не будет наблюдаться улучшение производительности модели после удаления признака.
  • Двунаправленное исключение. В этом методе одновременно используются методы прямого выбора и обратного исключения для достижения одного уникального решения.
  • Исчерпывающий отбор — этот метод считается подходом грубой силы для оценки подмножеств признаков. Он создает все возможные подмножества и строит алгоритм обучения для каждого подмножества и выбирает подмножество, производительность модели которого является наилучшей.
  • Рекурсивное исключение. Этот жадный метод оптимизации выбирает функции, рекурсивно рассматривая все меньший и меньший набор функций. Оценщик обучается на начальном наборе признаков. Затем наименее важные функции удаляются из текущего набора функций, пока не останется необходимое количество функций.

C. Встроенные методы

Эти методы включают в себя преимущества как методов-оболочек, так и методов фильтрации, включая взаимодействие функций, но также сохраняя разумные вычислительные затраты.

Некоторые распространенные встроенные методы:

  • Регуляризация L1 или Lasso. Этот метод добавляет штраф к различным параметрам модели машинного обучения, чтобы избежать чрезмерной подгонки модели. Регуляризация L1 или Lasso добавляет штраф L1, равный абсолютному значению величины коэффициентов функции стоимости модели. Другими словами, он ограничивает размер коэффициентов. L1 может давать разреженные модели (т. е. модели с небольшим количеством коэффициентов). Некоторые коэффициенты могут стать равными нулю и исчезнуть. Следовательно, этот метод регуляризации часто используется при выборе функций для удаления функций, которые не повышают ценность предсказания.
  • Методы на основе дерева. Такие методы, как «Случайный лес» и «Усиление градиента», также позволяют нам выбирать функции с учетом их важности. Важность функции говорит нам, какие функции более важны для оказания влияния на целевую функцию.