Причина невероятных достижений в области машинного обучения кроется в данных и вычислительной мощности. На протяжении многих лет, используя лучшие технологии, мы сохранили данные, которые превратились в гигантский снежный ком.
Имея так много областей (финансы, здравоохранение, спорт, банковское дело, страхование, торговля и т. Д.) Для исследования, данные приходят с трудностями при их получении, обработке и сохранении (хранении).
Откуда мы получаем источники?
Чтобы использовать, его нужно проглотить и сохранить.
Хотя существует множество свободно доступных репозиториев из университетов, платформ (Kaggle), порталов (Quandl) и т. Д., Каждая организация имеет свои собственные данные, хранящиеся в реляционных базах данных, распределенных базах данных, таких как NoSQL, распределенных файловых системах (HDFS), плоских файлы (CVS, журналы, Excel).
Что делать, если нет данных для прогнозирования варианта использования (4-е измерение). Есть ли необходимость генерировать синтетические данные и как? Как будут создаваться объекты, какой будет порядковый номер важности и как будет измеряться точность?
Почему данные так важны?
Качество
Данные должны быть точными для проблемы, которую мы пытаемся решить. Это должно быть правильное и полное представление варианта использования. Низкое качество данных (выбросы, отсутствующие функции, нерелевантные функции, недостаточное количество данных) бесполезны. Важной частью машинного обучения является определение хорошего набора функций, которые могут минимизировать функцию затрат. Разработка функций (выбор функций, извлечение функций, создание новых функций) помогает в подготовке данных для машинного обучения.
Представление данных
Применение методов машинного обучения для изучения больших объемов данных может помочь обнаружить закономерности, которые не сразу становятся очевидными, что приводит нас к интеллектуальному анализу данных.
Для обучения машинного обучения / нейронной сети первостепенное значение имеет правильное представление данных. Нерепрезентативные данные могут привести к «систематической ошибке выборки». Крайне важно использовать обучающий набор (данные), который является репрезентативным для всех случаев, которые вы хотите обобщить. Иногда большие выборки могут быть нерепрезентативными, если метод отбора проб неверен. Данные (совокупность) необходимо разделить на однородные подгруппы, называемые стратами, из которых можно выбрать нужное количество экземпляров из каждой страты (стратифицированная выборка ).
Шифрование
Какова конфиденциальность данных? Нужно ли его шифровать при переходе от источника, когда он находится в покое (в файловой системе, базе данных), что и как нужно зашифровать? Для финансовых, страховых, медицинских, оборонных и т. Д. Информация PII (личная информация) должна быть зашифрована. Существует множество доступных решений для шифрования (или маскировки) данных во время передачи или хранения (Common Crypto, Accelario, Delphix, SSL / TLS).
Управление версиями
Данные поступают ежедневно, еженедельно, ежемесячно или ежегодно? Каков срок хранения данных или будут ли они передаваться непрерывно - вот факторы, которые необходимо учитывать еще до того, как мы выберем алгоритм машинного обучения.
Если данные хранятся в файловой системе, их можно разделить по отметкам времени (для управления версиями) и сохранить либо в распределенной системе (HDFS), либо в базе данных для поиска (или воспроизвести модель машинного обучения).
Что, если данные представляют собой непрерывный поток, то можем ли мы их сохранить (объединить с существующими данными в состоянии покоя), обучить модель на лету (онлайн-обучение) или использовать обученную модель для оценки этого stream, зависит от варианта использования, с которым вы пытаетесь справиться.
Как только мы определились с нашим подходом к сбору, обработке и сохранению данных; мы делаем шаг вперед, чтобы определить наиболее важные функции, которые будут использоваться моделью в нашем путешествии по машинному обучению!
