🐳 Почему документация по данным важна для машинного обучения

Документация. Это чужая проблема, пока ее нет.

Фиаско с документацией данных

За свою карьеру в качестве специалиста по данным и инженера по машинному обучению мне посчастливилось стать соучредителем одного из подразделений Wayfair по обработке данных и одним из основателей быстрорастущего стартапа в области корпоративных данных, где я работал с группами данных. различных компаний из Global 1000 для создания алгоритмов машинного обучения с высокими финансовыми последствиями. Самый большой вывод из моего опыта заключался в том, что такая простая вещь, как документация для критически важных активов данных, была запоздалой мыслью по сравнению с «более привлекательными» инструментами для автоматизации и развертывания машинного обучения. Озадаченный, я обратился за помощью к своим сверстникам.

Я опросил около 100 специалистов по обработке данных и инженеров по данным о документации данных. 95% участников заявили, что они испытали боль, связанную с документированием данных в своей организации. 63% участников заявили, что текущий способ поиска и понимания данных - это опрос коллег. 5% участников заявили, что у них есть электронные таблицы, документирующие данные. Заключение TL; DR: большинство специалистов по данным документируют данные в уме. Ясно, что что-то было не так.

Почему важно документировать данные?

Документирование данных важно, потому что оно делает машинное обучение более эффективным и действенным. Точно так же, как шеф-повар ограничен по скорости из-за свежести ее ингредиентов, специалисты по обработке данных и инженеры по машинному обучению ограничены в скорости из-за качества данных. Хороший повар делает все возможное, чтобы по-настоящему понять свои ингредиенты и найти правильные ингредиенты. Специалисты по обработке данных должны получать данные, но данные часто собираются второстепенно по отношению к конкретному транзакционному процессу (например, пользовательские транзакции или журналы использования). Введите документацию данных: документирование данных устраняет разрыв между транзакцией (генерацией данных) и анализом (потреблением данных). В частности, документация по данным позволяет пользователям понять, кто / что / когда / где / как / почему обрабатывает данные.

• Кто: кто создал эти данные?
• Что: что это за данные? В каких столбцах находятся эти данные?
• Когда: когда были созданы данные? Когда к нему последний раз обращались?
• Где: где эти данные (какие системы)?
• Как: как я могу получить доступ к этим данным (через какие системы)?
• Почему: зачем были созданы эти данные? Почему данные в таком виде?

Уроки прошлого: как была решена проблема документации для кода

До того, как репозитории кода, такие как Github и Gitlab, стали нормой, у разработчиков не было систематического и стандартизированного способа обмена документацией по своему коду. Дело не в том, что никто не признавал ценность документации для кода, а в том, что не существовало стандартизированной, самоуверенной структуры, масштабируемой с массовым внедрением. Двойственность Git-Github в основном решала эту проблему как побочный продукт внедрения совместного способа управления кодом и конвейерами CI / CD.

Документирование хранилищ данных

Github систематизировал процесс работы с кодом как критически важным активом организации. Тем самым была решена проблема документации кода. Какой аналог для критически важных данных? Мы считаем, что наиболее важные данные хранятся в хранилищах данных, поскольку они используются в производственных системах, включая информационные панели, внутренние приложения и продукты, ориентированные на клиентов. Документация по хранилищам данных имеет важное значение для создания качественного машинного обучения. и аналитические продукты точно так же, как документация по коду имеет значение для создания отличной программной инфраструктуры и программных приложений. Но для решения проблемы документации данных требуется стандартизированная, упрямая, но широко принятая структура. Введите Dataframe.

И что?

В Dataframe мы работаем над платформой операций с данными следующего поколения для современных групп обработки данных. Первая проблема, которую мы решаем, - это установление стандарта того, как должна выглядеть хорошая документация по данным. Мы считаем, что качественное документирование данных - это первый шаг к управлению качеством данных в масштабах всего предприятия. Открытую версию нашей платформы, 🐳 Whale, можно найти на Github. Приходите проверить нас!

Вы пионер DataOps? Присоединяйтесь к нам в движении к #DataProductivity.

Хотите узнать больше?

Приходите ознакомиться с нашим продуктом с открытым исходным кодом 🐳 Whale (поставьте нам звезду, если вы сочтете его полезным!) И присоединяйтесь к нашему каналу Slack ниже!

📝 Оригинальный стартовый пост

💻 Github

🙌 Slack

Dataframe нанимает!

Мы нанимаем опытных инженеров по обработке данных, бэкэнд-инженеров и веб-инженеров полного цикла из SF (удаленное управление). Мы хорошо финансируемся инвесторами высшего уровня. Отправь мне сообщение на [email protected].