Вы пропустили День ИИ Kubernetes CNCF на KubeCon North America 2021 еще в октябре? Если да, то, возможно, вы пропустили, что все доклады с мероприятия были загружены на YouTube. В первой части этой серии блогов, состоящей из двух частей, мы дадим вам краткое изложение первых пяти выступлений дня.

Kubeflow Pipelines v2: новое поколение MLOps в Kubernetes

Картик Рамачандран, менеджер по продукту Google Cloud Vertex AI — Google, выступил с докладом, чтобы представить Kubeflow Pipelines v2. Цель версии 2 – значительно упростить создание конвейеров обучения моделей и управление ими. Он рассказал нам о новых возможностях проекта, немного о планах на будущее, а также обсудил, где и как сообщество может поучаствовать.

Основные моменты обсуждения

  • Что такое конвейеры Kubeflow?
  • Обзор Kubeflow Pipelines v2, включая метаданные и метрики, оптимизированный DSL, пользовательский интерфейс, «IR»
  • Метаданные и метрики предоставят стандартизированную онтологию типов, инструменты для запросов и обновления метаданных, возможность запрашивать и визуализировать происхождение артефактов и, наконец, набор четко определенных точек интеграции для разработчиков приложений.
  • Упрощенный SDK, предоставляющий более выразительные инструменты для создания компонентов и конвейеров.
  • Улучшенный пользовательский интерфейс для поддержки более крупных и сложных рабочих процессов, динамическая визуализация всех функций потока управления, возможность масштабирования до «сотни шагов» и, наконец, улучшенная визуализация метаданных и показателей.
  • Независимое от платформы представление конвейеров с открытым исходным кодом, которое позволяет инструментам и разработчикам легко создавать новые SDK, инструменты редактирования и механизмы выполнения.

Развитие вместе с Kubernetes: использование Model Ops

Затем Стивен Хьюлс, старший директор облачных сервисов искусственного интеллекта в Red Hat, рассказал о преимуществах применения принципов DevOps к искусственному интеллекту и машинному обучению, чтобы помочь вам безопасно, надежно и с повторяемостью перейти от пилотных моделей к производству.

Основные моменты обсуждения

  • Рабочие нагрузки данных и ИИ набирают популярность в Kubernetes
  • Какие проблемы сегодня стоят перед проектами AI/ML
  • Внедрение AI/ML не является тривиальным
  • Платформы на основе Kubernetes и DevOps помогают решать эти проблемы
  • ModelOps с гибридной облачной платформой на базе Kubernetes и DevOps

Что, почему и как федеративное машинное обучение — реализация с использованием FATE, KubeFATE и FATE-Operator для Kubeflow

В этом выступлении Нирадж Арора и Лейн Пэн из VMware рассказали о федеративном машинном обучении (FML).

Основные моменты обсуждения

  • FML позволяет извлекать ценную информацию из широко разбросанных источников данных. Его также можно использовать с мерами по повышению конфиденциальности, чтобы раскрыть информацию, не раскрывая основные данные.
  • Это дает глобальным организациям возможность использовать данные со всего мира, соблюдая правила для различных географических регионов, позволяет разрабатывать идеи без перемещения больших объемов данных в центральное место, а в многостороннем сценарии позволяет каждой стороне контролировать свое индивидуальное решение. участвовать.
  • Введение в FML с обсуждением его основных принципов, его проявлений, вариантов использования высокого уровня и их связью с разрабатываемой технологией.
  • Демонстрация того, как FML можно реализовать в Kubernetes с помощью FATE, KubeFATE и интегрировать с Kubeflow с помощью FATE-Operator.
  • В FATE внедряются новые функции для реалистичных вариантов использования.

Рекомендации по безопасности для ИИ в Kubernetes

В этом выступлении Гай Салтон из Run:AI рассказал о проблемах безопасности рабочих нагрузок ИИ, работающих в Kubernetes, и о том, как их смягчить.

Основные моменты обсуждения

  • Контейнеры и Kubernetes для специалистов по данным
  • Что нужно специалистам по данным
  • Проблемы безопасности для ИТ/безопасности в Kubernetes
  • Как сделать все более безопасным
  • Демо!

Внедрение сложных приложений для прогнозирования R в рабочую среду с использованием рабочего процесса Argo

В этом выступлении Педро Шлома герр Затерка, Матеус Сессо Гей и Наталья Коста Араухо из 4intelligence представили тему того, как процессы, разработанные в R, создаются для проблем, ограниченных академическими исследователями. Однако по мере того, как компании ищут данные и научные методы для принятия бизнес-решений, создание масштабируемой среды R станет важным шагом на пути к успеху. В этом докладе рассматривается путь к облаку, микросервисам и не только.

Основные моменты обсуждения

  • Основные проблемы, связанные с R, включая внедрение его в производство, оптимизацию экономической эффективности, обеспечение более быстрого и простого развертывания и надежность результатов.
  • Первоначальные конвейеры R и совместное использование кода в GitHub
  • Миграция R в облако, включая «подъем и смещение», использование R в облаке и монолитных структурах
  • Представляем идею «Прогноз как услуга»
  • Плюсы и минусы Р.
  • Обзор архитектуры переноса R в облако, включая проблемы развязки и масштабируемости.
  • Докеризация R
  • Резюме проб и ошибок, извлеченных уроков
  • Использование рабочих процессов Argo с R
  • Включение архитектуры на основе микросервисов
  • Достижение массового масштаба

Оставайтесь с нами во второй части этой серии блогов, в которой мы подведем итоги остальных выступлений, представленных на Kubernetes AI Day North America 2021.

Забронируйте БЕСПЛАТНЫЙ мастер-класс по Kubeflow и MLOps

Этот БЕСПЛАТНЫЙ виртуальный семинар разработан специально для специалистов по данным, разработчиков машинного обучения, инженеров DevOps и операторов инфраструктуры. Семинар охватывает базовые и продвинутые темы, связанные с Kubeflow, MiniKF, Рок, Катиб и KFServing. На семинаре вы получите четкое представление о том, как эти компоненты могут работать вместе, чтобы помочь вам быстрее внедрить модели машинного обучения в производство. Нажмите, чтобы назначить семинар для вашей команды.

Об Аррикто

В Arrikto мы являемся активными членами сообщества Kubeflow, внесшими значительный вклад в последний релиз 1.4. Наши проекты/продукты включают в себя:

  • MiniKF, готовое к работе локальное развертывание Kubeflow, которое устанавливается за считанные минуты и понимает, как уменьшить масштаб вашей инфраструктуры.
  • Enterprise Kubeflow (EKF) — это полная платформа для операций машинного обучения, которая упрощает, ускоряет и защищает жизненный цикл разработки модели машинного обучения с помощью Kubeflow.
  • Rok — это решение для управления данными для Kubeflow. Встроенная интеграция Rok с Kubeflow упрощает операции и повышает производительность, обеспечивая при этом управление версиями данных, упаковку и безопасный обмен между командами и облачными границами.
  • Kale, инструмент рабочего процесса для Kubeflow, который органично управляет всеми компонентами Kubeflow.

Первоначально опубликовано на https://www.arrikto.com 2 декабря 2021 г.