1. Введение в интеллектуальный анализ данных и инструменты

Небольшое предисловие

Интеллектуальный анализ данных, который иногда называют обнаружением знаний из данных (KDD), - это просто обнаружение закономерностей среди данных. Эта область превратилась в науку, помимо модуля информационных технологий, с его растущими вариантами использования во всех областях. Эта статья - первая из серии статей, которые я собирался опубликовать по интеллектуальному анализу данных, начиная с простых шагов и продвигаясь к более глубоким концепциям.

Почему и как?

В современном мире данные в социальных сетях генерируются с очень большой скоростью. Сами по себе данные не имеют никакого значения, если они не определены как связанные каким-либо образом (шаблон). Открытие таких шаблонов - это KDD, и оно стало естественным развитием информационных технологий. Данные - деньги! Все рекомендации по покупкам, новые открытия в биологии, медицине и даже мелкие прогнозы по крикету являются результатом некоторых KDD соответствующих данных.

Как это делается - это самая интересная часть. Наука о данных стала полноценной областью изучения, в которой математика, информатика и все другие науки, которым принадлежат данные, играют важную роль. Сейчас это не имеет никакого отношения к программистам. Это было очень быстрое вступление, чтобы разогреть духовку.

Пачкает руки

В этой серии статей мы будем использовать Python, также данные, которые мы рассматриваем, в основном являются структурированными данными. Это означает, что данные соответствуют табличному формату, где атрибуты представляют собой заголовки таблиц, а данные располагаются по строкам.

Почему именно python?
Python - это интерпретируемый язык, в котором большинство библиотек для сбора данных и предварительной обработки являются расширениями C ++, что делает их выполнение быстрым, но простым для пользователей.

Почему не python?
Python в его интерпретации может потребовать больше процессорного времени, что не является предпочтительным для мобильных вычислений. Экономит время программиста за счет времени процессора. Параллелизм языка Python не очень эффективен, поскольку это интерпретируемый язык, но использование оболочек C / C ++ в определенной степени решает проблему.

Основные библиотеки Python

Ванильный Python не может сделать много работы в одиночку. Нам понадобится куча библиотек. Давайте посмотрим, как мы можем установить и запустить их на наших машинах.

  • Numpy - Числовой Python, в основном для целей линейной алгебры и выполнения векторных операций.
  • Панды - Для манипулирования и выполнения операций над структурами данных.
  • Matplot lib - Для построения и визуализации нашей работы.
  • IPython - Интерактивный питон, объединяющий все вместе, посмотрим, как это сделать. Лучше установить его с официального сайта Anaconda и использовать со Spyder из Navigator (попробуйте, усилия того стоят).
  • SciPy - научный Python, по сути научный калькулятор для питона.

Установить эти библиотеки можно, посетив их официальные страницы, на которые я указал. Самый простой способ - использовать установщик пакетов pip или pip3, который работает на всех платформах.

Инструмент для серии статей

Я буду использовать IPython Spyder. Установите Anaconda из навигатора, запустите Spyder. Вы увидите что-то вроде этого.

Несколько важных концепций

Типы атрибутов

Как я уже упоминал, атрибуты являются синонимами столбцов таблицы и бывают нескольких видов.

  1. Номинальные
    Имена или категории, определенные как категориальные атрибуты, используются не в математических операциях, а в операциях принятия решений.
  2. Двоичные
    атрибуты, принимающие TRUE (1) вместо FALSE (0)
  3. Порядковые
    атрибуты, позволяющие ранжировать данные, например, средний балл ученика.
  4. Числовые
    Количественные атрибуты, например: контрольные примеры, жертвы, смерти и т. Д., В большинстве случаев это наиболее интересные цифры.

Корреляции

Положительные корреляции - это отношения, которые прямо пропозициональны, отрицательные корреляции обратно пропозициональны, а отсутствие корреляции означает, что атрибуты ортогональны. Выявление корреляций демонстрирует важный шаг в интеллектуальном анализе данных. Что мы увидим в следующих темах.

P.S
Существуют важные особенности статистического распределения при идентификации методологии интеллектуального анализа данных. Будем обсуждать их на соответствующие темы.

Далее: очистка, преобразование, объединение и изменение формы данных