Навыки и опыт, необходимые для работы инженером по машинному обучению в Hurb, могут вас удивить.

Инженеры по машинному обучению

Инженеры по машинному обучению отвечают за исследование, создание и проектирование моделей, а также за обслуживание и улучшение систем машинного обучения.

Кто-то может подумать, что для того, чтобы стать инженером по машинному обучению, вам нужно иметь опыт программирования с многолетним опытом работы в этой области, а также сильные математические знания, такие как алгебра и статистика.

Правда в том, что это заблуждение, поскольку ни один человек не может обладать всеми этими знаниями. Кроме того, погоня за ним принесет только тревогу и разочарование. Инженеры по машинному обучению должны иметь сильную основу по этим темам и быть достаточно самоучками, чтобы учиться на протяжении всего процесса разработки проекта, и быть достаточно любопытными, чтобы мы хотели постоянно учиться, так как эта область динамична и быстро меняется.

До недавнего времени не существовало программ бакалавриата и магистратуры, специально посвященных науке о данных. Большинство инженеров по машинному обучению и специалистов по данным, работающих в настоящее время на рынке, не имеют определенного опыта. Нам было просто любопытно, и мы хотели узнать об этом. Это мощно, поскольку дает уникальную возможность иметь разнообразие.

Кроме того, эта карьера полна возможностей, таких как:

  • Работайте удаленно из любой точки мира для компаний, находящихся в любой точке мира.
  • Работайте над совершенно другими проектами, такими как классификация, кластеризация, временные ряды, обучение с подкреплением, распознавание изображений, операционные исследования и многое другое…
  • Работая в различных секторах, таких как путешествия, финансы, здравоохранение, сельское хозяйство и других, всегда есть место для улучшения процессов и результатов с помощью машинного обучения.
  • Сильное сообщество для обучения и взаимодействия.

Это быстро развивающаяся карьера. Каждый день разрабатываются новые алгоритмы; новые стартапы разрабатывают более эффективные способы внедрения моделей в производство; Продукты с низким кодом и automl разрабатываются и улучшаются, поэтому инженеры по машинному обучению могут больше сосредоточиться на том, как решить бизнес-проблему, вместо того, чтобы тратить большую часть времени на кодирование всего с нуля. Следовательно, компании становятся все более зависимыми от моделей машинного обучения и используют их возможности для улучшения обслуживания и процессов, а также инвестируют в компании, которые пытаются решать бизнес-задачи с помощью ML.

Команда машинного обучения в Hurb

У нас есть инженеры по машинному обучению из различныхобластей, таких как технология производства, электротехника, машиностроение, экологическая инженерия, биотехнология, информатика и многое другое. Все имеют разные точки зрения и добавляют ценность по-своему.

Наши навыки могут быть дополнены, например, инженеры-технологи хорошо распознают потребности бизнеса и знают, как решить проблему наилучшим образом, чтобы как можно скорее создать ценность, сосредоточив внимание на статистике и моделировании, но часть программирования может быть сложной. Именно тогда могут помочь люди с опытом работы в области компьютерных наук или разработки программного обеспечения. Поэтому мы создаем команду с дополняющими друг друга навыками.

Это особенно полезно для нас, поскольку мы работаем с разными проектами, требующими разных навыков, например:

Кроме того, мы хотим, чтобы инженеры по машинному обучению имели полную автономию во всем жизненном цикле машинного обучения, от бизнес-оценки до создания продукта и мониторинга. Таким образом, мы можем сократить время разработки проекта, риски переделок и сбоев связи, поскольку мы не зависим от других команд, их расстановки приоритетов и знания модели.

Чтобы достичь этой автономии, мы могли бы пойти двумя путями: создать команду единорогов-экспертов по программному обеспечению и машинному обучению или создать абстракции, упрощающие задачу. В Hurb мы выбрали второй подход. У нас есть две роли инженеров по машинному обучению: решения и платформа. Решения — это те, о которых мы говорили до сих пор, которые работают вместе с другими областями Hurb для разработки решений ML. Напротив, платформа занимается улучшением нашего стека машинного обучения, создавая платформу MLOps, которая абстрагирует большую часть технической сложности разработки программного обеспечения для разработки качественных и эффективных продуктов данных, следуя лучшие практики, поэтому инженерам по машинному обучению решений не обязательно быть экспертами в области программного обеспечения.

Важно подчеркнуть, что такой подход позволяет нам иметь разнообразие и фокусироваться на технических навыках и высоко ценимых коммуникативных навыках. Нам всем нужно иметь дело с заинтересованными сторонами, инженеры по машинному обучению Solution должны эффективно общаться с менеджерами по продуктам, разработчиками, директорами и другими. Для этого нам нужно понимать бизнес, сообщать о результатах модели и документировать проект в простой форме, чтобы все могли понять. Со стороны инженера по машинному обучению Платформы коммуникация также важна для понимания проблем группы обработки данных и способов их правильного решения. Кроме того, это позволяет нам иметь отличную среду внутри команды, работая вместе над предоставлением ценных продуктов данных для Hurb.

В заключение мы используем силу разнообразия и взаимодополняющих ролей, а также такие технологии, как BentoML для обслуживания, Flyte для оркестровки и MLFlow для отслеживания и управления версиями моделей. Кроме того, мы используем стек Google и разрабатываем внутреннюю библиотеку под названием Hurbert для улучшения наших процессов.

Тем не менее, нашу команду по работе с данными поддерживают инженеры по данным, отвечающие за управление данными, их качество и прием. Кроме того, мы можем рассчитывать на аналитиков данных, которые отвечают за создание ценности посредством анализа данных и обладают глубокими знаниями в области бизнеса. Обе команды помогают нам в разработке всех моделей и играют важную роль во всем процессе. Если вас интересуют более подробные сведения о нашей платформе для инженеров данных, не стесняйтесь проверить наш средний пост Архитектура платформы данных в Hurb.

Кроме того, Hurb — это компания, занимающаяся технологиями путешествий, которая активно инвестирует в машинное обучение и свою команду. В 2022 году мы удвоили команду, и все ее члены работали гибридно или полностью удаленно, что позволило нам повысить разнообразие за счет найма сотрудников не только из Рио-де-Жанейро, но и из разных регионов Бразилии, таких как Баия, Рио-де-Жанейро. Гранде-ду-Норти, Риу-Гранди-ду-Сул, а также за границу, из Франции. Кроме того, у нас есть возможность посещать различные мероприятия по всему миру. Например, в 2022 году мы участвовали в MLOps World и Collision в Торонто, Лаборатории передовых решений Google в Нью-Йорке, The Developers Conference (TDC) в Сан-Паулу и других мероприятиях. Мы также тесно связаны с сообществом машинного обучения, участвуем в хакатонах, участвуем в проектах с открытым исходным кодом и т. д. Если вам интересно, вы можете узнать больше о некоторых членах нашей команды по машинному обучению на нашем канале YouTube Life at Hurb.

Надеюсь, вам понравилась эта статья! Если вы хотите присоединиться к нашей команде по машинному обучению, найдите наши вакансии здесь. Кроме того, вы можете узнать больше о нашей работе в Hurb на нашей странице Medium.