Область науки о данных больше не является новым ребенком в блоке, которым она когда-то была. «Наука о данных» в ее современном использовании существует с начала 2000-х годов.
Во многих компаниях любого размера теперь есть специалисты по обработке данных, которые пытаются извлечь пользу из своих данных и помочь компаниям принимать более обоснованные решения.
Что изменилось, так это то, что наука о данных повзрослела как дисциплина. Многие компании перешли от режима проверки концепции к запуску нескольких производственных моделей машинного обучения за короткий промежуток времени с разной степенью успеха.
Во многом причина этого успеха или неудачи кроется не в наличии высококвалифицированных специалистов в области науки о данных или не в самых дорогих, современных инструментах и технологиях, а в организационной структуре и культуре команды.
В этой статье я расскажу о некоторых изменениях, которые я заметил в этой отрасли, и о том, как лучше всего организовать группы по анализу данных или даже отделы для достижения успеха.
Наука о данных - это командный вид спорта
Многие компании поняли, что наем одного или нескольких специалистов по обработке данных и ожидание мгновенных результатов не помогло. Чтобы команды по анализу данных были наиболее эффективными, необходима многопрофильная команда. Наука о данных - это командный вид спорта.
Команда специалистов по анализу данных - это еще не группа специалистов по обработке и анализу данных. Если команда состоит только из специалистов по анализу данных, часто эти специалисты по данным будут заполнять пробелы в недостающих ролях в команде, таких как руководитель проекта, инженер по данным, бизнес-аналитик, тестировщик или инженер DevOps, каждая из которых является самостоятельными ролями.
Наиболее эффективные команды обладают правильным балансом навыков и личностей, чтобы работать вместе и разрабатывать отличные продукты для обработки данных или предоставлять эффективную аналитическую информацию для бизнеса.
Модель ступицы и спицы
Когда организация перерастает в одну команду по анализу данных до многих, возникает вопрос о том, как команды должны быть структурированы и взаимодействовать.
Для отделов обработки и анализа данных существует множество различных операционных моделей, каждая из которых имеет свои плюсы и минусы.
Это включает:
- Централизованно. Большая центральная группа специалистов по обработке и анализу данных, обслуживающая все части бизнеса, обычно в рамках ИТ-отдела, отдела технологий или данных.
- Федеративный. Небольшие группы по анализу данных, встроенные в бизнес-подразделения.
Преимущества централизованного отдела - это совместное использование данных и технологий внутри отдела, более специализированные роли и улучшенный обмен знаниями и развитие внутренних возможностей. Однако это происходит за счет отсутствия глубокого понимания потребностей бизнеса и знания предметной области.
Федеративные группы ближе к бизнес-единицам и, следовательно, лучше понимают их потребности и обладают более обширными знаниями в конкретной предметной области.
Однако операционная модель, которая обеспечивает наилучший баланс между возможностями и близостью к бизнесу, - это «модель концентратора и спиц».
Концентратор
Хаб - это центральная группа, охватывающая такие области, как:
- Промышленные услуги и возможности
- Обучение и адаптация
Хаб также может называться:
- Лаборатория
- Центр возможностей
- Центр передового опыта
Спицы
Спицы - это команды, встроенные в бизнес, которые охватывают такие области, как:
- Аналитические записки
- Службы для конкретных доменов
Спицы также могут называться:
- Отряды
- Пакеты
- Команды по взаимодействию с бизнесом
Структура команды
Поскольку работа, выполняемая командами Hub и Spoke, различается, меняются и роли в этих командах.
Команда Хаба
Поскольку группы Hub разрабатывают надежные промышленные сервисы (например, развертывают конвейеры машинного обучения). Возможные роли в этой команде отражают это:
- Владельцы продуктов определяют видение продуктов для обработки данных, управляют дорожной картой продукта, расставляют приоритеты и предвосхищают потребности клиентов. 🧑🏻💼
- Скрам-мастера проводят гибкие церемонии, гарантируя, что цели и масштабы понятны всем в команде, помогают в оценке задач и устранении препятствий на пути прогресса команды. ⏱
- Инженеры по машинному обучению обучают и развертывают масштабируемые производственные модели машинного обучения для обслуживания бизнеса с помощью API-интерфейсов или приложений. 💻
- Инженеры DevOps / MLOps поддерживают развертывание и мониторинг моделей машинного обучения в инфраструктуре компании и настройку конвейеров CI / CD.
- Бизнес-аналитики собирают требования клиентов, помогают разобраться в бизнес-процессах, правилах и сложном сопоставлении данных. 📋
- Тестировщики разрабатывают интеграционные и системные тесты, чтобы гарантировать надежность и качество продуктов для обработки данных. ✅
Говорил Команда
Поскольку группы Spoke быстро реагируют на стратегические задания своих бизнес-подразделений, необходимы разные ролевые профили:
- Менеджеры команд взаимодействуют с бизнесом, чтобы понять их потребности, помогают писать и определять аналитические записки и выступать в качестве связующего звена между бизнесом и командой.
- Специалисты по данным формулируют бизнес-вопросы как проблемы машинного обучения и разрабатывают модели машинного обучения, которые позволяют делать прогнозы и помогают принимать решения. Они также проводят статистический анализ имеющихся данных, чтобы получить ценную для бизнеса информацию.
- Рассказчики данных / эксперты по визуализации создают аналитические отчеты, презентации и информационные панели и представляют бизнес-аналитику таким образом, который они могут понять, чтобы оказать влияние.
Что такое высокопроизводительная команда?
После создания групп и отделов по анализу данных, как их можно заставить работать?
Концепция «высокопроизводительной команды» (HPT) не является уникальной для науки о данных, о них много написано в литературе по менеджменту, однако многие из полученных знаний можно применить к конкретным задачам науки о данных.
Высокопроизводительные команды по анализу данных делают следующее:
- Выработайте сильное чувство цели и личности. Они создают общую проблему производительности.
На практике этого можно достичь, составив четкую дорожную карту продукта и устав команды.
2. Создайте атмосферу доверия и сплоченности. Развивайте отношения и убедитесь, что они могут положиться друг на друга.
На практике это можно поддержать путем организации индивидуальных встреч, сохранения небольшого размера команды и проведения регулярных сессий тимбилдинга.
3. Создайте команду, в которой каждый является лидером. Каждый должен уметь принимать решения (и доверять им)!
На практике - это можно подкрепить организацией форумов дизайнеров, на которых члены команды могут обсудить идеи и принять решение о дизайне продуктов.
4. Развитие - желание постоянно становиться лучше - Бросьте вызов и конструктивно отзывайтесь друг о друге.
На практике этого можно достичь, проводя регулярные сеансы обмена знаниями, парное программирование или схемы наставничества / дружбы.
5. Стандарты и процессы - сосредоточьтесь на процессах, которые приведут к результату, а не на самом результате.
На практике этого можно достичь путем согласования и документирования стандартов и процессов внутри группы, таких как процессы экспертной оценки, стандарты качества кода и стратегии тестирования.
6. Людей заставляют чувствовать себя желанными. - Для того, чтобы люди выступали; их нужно заставить чувствовать себя частью команды и приветствовать их.
На практике - это может быть достигнуто путем проведения сеансов адаптации для новых участников; создание системы дружбы между старшими и младшими специалистами по обработке данных и обеспечение позитивной и инклюзивной рабочей культуры.
Компании вкладывают все больше времени и денег в науку о данных и искусственный интеллект. Чтобы получить максимальную отдачу от этих инвестиций, стоит структурировать организацию и определить методы работы, чтобы команды по анализу данных работали как высокопроизводительные команды.
Автор: Джон Хауэллс, директор консалтинговой компании Qualifai в области искусственного интеллекта и аналитики.
