СНИЖЕНИЕ РАЗМЕРНОСТИ ДАННЫХ - 1-Й МЕТОД:
Здравствуйте, ребята. Я надеюсь, что все идет хорошо для всех! Прежде чем вы начнете читать этот блог, просмотрите наш третий блог (НАЧАЛО С НАУКИ О ДАННЫХ), чтобы ознакомиться с основами науки о данных и тем, чем именно мы занимаемся в области НАУКИ О ДАННЫХ.
Двигаясь дальше, сегодняшняя тема — одна из самых популярных проблем науки о данных, которую я обнаружил и спонтанно подумал о том, чтобы попробовать, чтобы упростить понимание всего в одном.
Начать тему с трудности, с которой сталкивается практически каждый, будь то новичок или специалист по обработке данных. НРАВИТСЯ:
Рассмотрите возможность работы с набором данных из 1000 столбцов и строк для создания прогностической модели. Многие факторы могут быть связаны в таких обстоятельствах, как многие переменные могут быть коррелированы, что затрудняет работу специалиста по данным при работе над реальной проблемой.
Итак, чтобы просто решить вышеуказанную проблему, используются методы уменьшения размерности данных, когда мы пытаемся уменьшить количество входных переменных в обучающих данных при работе с огромным объемом наборов данных.
ЧТО ТАКОЕ ИЗМЕРНОСТЬ ДАННЫХ?
В статистике размерность относится к количеству атрибутов в наборе данных. Например, медицинские данные печально известны тем, что содержат большое количество переменных (например, артериальное давление, вес, уровень холестерина). В идеальном мире эта информация будет представлена в виде электронной таблицы с одним столбцом для каждого измерения.
Обсуждая проблему здесь, работа с такими небольшими наборами данных не будет проблемой, когда реальная сделка представляет собой большой объем данных примерно с 1000 строк и столбцов? Это известно как многомерные данные.
ЗНАЕТЕ ЛИ ВЫ О ПРОКЛЯТИИ ИЗМЕРЕННОСТИ?
Работа с данными высокой размерности означает решение таких проблем, как переобучение, вызванное увеличением количества функций. Модель, которую мы построили с помощью машинного обучения, помогает нам предсказывать будущие результаты, но по мере увеличения набора данных увеличивается вероятность неточности прогноза.
Вот тут-то и появляются методы уменьшения размерности данных, которые помогают нам уменьшить количество функций и ошибок.
ПРОКЛЯТИЕ РАЗМЕРНОСТИ, как определил великий математик Р. Беллман в 1957 году, представляет собой проблему, вызванную экспоненциальным увеличением объема, связанного с добавлением дополнительных измерений в евклидово пространство. В общем, чем больше функций у вас есть в вашей модели, тем больше ошибок вы столкнетесь в будущем.
НЕДОСТАТКИ БОЛЬШОГО ОБЪЕМА ДАННЫХ:
- Наличие слишком большого количества входных характеристик (т.е. БОЛЬШОЙ ОБЪЕМ ДАННЫХ) вызывает проблемы для систем машинного обучения.
- Наличие слишком большого количества входных функций занимает много места.
- Слишком много входных переменных вызывают проклятие, часто известное как ПРОКЛЯТИЕ РАЗМЕРНОСТИ.
НО ЧТО ТАКОЕ ВЫСОКОРАЗМЕРНЫЕ ДАННЫЕ? КАК МОЖНО УБЕДИТЬСЯ, ЧТО ДАННЫЙ НАБОР ДАННЫХ ВЫСОКОРАЗМЕРЕН?
Высокоразмерные данные — это набор данных, в котором количество признаков P превышает количество наблюдений N, которое часто представляется как P ›› N.
Например, набор данных с P = 7 функциями и только с N = 4 наблюдениями называется данными высокой размерности, поскольку количество функций превышает количество наблюдений.
КАК АНАЛИЗИРОВАТЬ ЭТИ ВЫСОКОРАЗМЕРНЫЕ ДАННЫЕ?
→ Просто сократив ввод данных. Очевидный вопрос: «Как?» Существуют ли специальные подходы для работы с многомерными данными? Да, в самом деле. Давайте узнаем, как.
ТЕХНИКА СООТНОШЕНИЯ ОТСУТСТВУЮЩЕЙ СТОИМОСТИ:
Для простоты рассмотрим следующую аналогию.
На изображении выше мы видим, что некоторые люди отсутствуют, но их место не занято, что занимает двойное пространство. Что, если мы вырежем это пустое пространство и скажем им встать соответственно, мы сможем сэкономить место.
КОЭФФИЦИЕНТ ОТСУТСТВУЮЩЕЙ СТОИМОСТИ похож на предыдущую аналогию, в которой говорится, что:
- Когда в наборе данных слишком много отсутствующих значений, мы удаляем такие переменные, поскольку они не предоставляют полезной информации.
- Для этого мы можем установить пороговый уровень и отбросить переменные, у которых больше пропущенных значений, чем это пороговое значение.
- Чем больше пороговое значение, тем эффективнее снижение.
CHECKOUT THE FINAL RESULTS AND DO LET US KNOW WHAT DID YOU FIND AND LEARN!💙 INCASE, YOU ARE STRUGGLING WITH DATASET FEEL FREE TO EMAIL US AND WE WOULD BE MORE THEN HAPPY TO HELP!❤️ MAIL-ID: [email protected] FOLLOW US FOR UPCOMING CODE FILES on DATA DIMENSION REDUCTION SERIES: GITHUB: https://github.com/Vidhi1290/DSMCS INSTAGRAM: https://www.instagram.com/datasciencemeetscybersecurity/?hl=en LINKEDLN: https://www.linkedin.com/company/dsmcs/ FACEBOOK: https://www.facebook.com/ds.m.cs.in WEBSITE: https://www.datasciencemeetscybersecurity.com/ - Team Data Science Meets Cyber Security 💙
