Обучение модели в 120 раз быстрее с помощью 10 строк кода
Профиль: Senseye находится на переднем крае нейробиологии и компьютерного зрения. Их технология превращает видеоматериалы с высоким разрешением и высокой частотой кадров в полезные сведения о внутренних когнитивных и поведенческих процессах, доступные для предприятий, ученых и государственных организаций.
Как сделать мир безопаснее. Использование аналитических данных о психической усталости, нарушениях, связанных с наркотиками и алкоголем, когнитивной нагрузке и продвинутой биометрии, позволяет организациям повысить безопасность на рабочем месте, благополучие сотрудников, сделать программы обучения более эффективными, адаптировать продукты к частные лица и многое другое. Клиенты Senseye используют эту информацию для улучшения и развития своего бизнеса, а также для глубокого взаимодействия со своими партнерами, сотрудниками и потребителями.
Слишком реальная проблема данных компьютерного зрения
Senseye доводит машины до предела своих возможностей с помощью объема видеоматериалов высокой четкости, которые они используют для обучения своих моделей машинного обучения. Вычислительная мощность, необходимая для обработки больших объемов видеоданных с помощью специальной технологии, является ограничивающим фактором для извлечения информации из необработанных кадров, которые используются для работы с информационными продуктами Senseye. Максимальная эффективность и успех продукта напрямую связаны с быстрым построением и тестированием новых идей в больших масштабах.
Когда скорость - это все
Недавно Senseye заключила партнерское соглашение с Saturn Cloud, чтобы добиться значительного повышения производительности в своей работе с машинным обучением. Saturn Cloud - это платформа для анализа данных и машинного обучения, которая предлагает самые высокоскоростные вычислительные инструменты на рынке.
Не слышали о Сатурне? Вот все, что вам нужно знать: Случайный лес на графических процессорах: в 2000 раз быстрее, чем Apache Spark
Чтобы протестировать возможности Saturn Cloud, Senseye выбрала один из самых ресурсоемких конвейеров обработки. Он состоял из 900 видеороликов сверхвысокой четкости, продолжительностью каждые 10 минут и записанных с частотой 120 Гц, что составило почти 7,5 ТБ на диске.
Видео файлы преобразуются в блоки трехмерных массивов и пропускаются через несколько пользовательских моделей PyTorch с более традиционными методами аналитического компьютерного зрения для вычисления функций, которые в конечном итоге используются в последующих алгоритмах машинного обучения.
«При таком масштабе, над которым мы работаем, извлечение функций для машинного обучения может занять 60 дней. Подобные задержки влияют на нашу способность повторять решения, улучшать программное обеспечение и повышать производительность. Мы вынуждены тщательно выбирать, какие решения мы хотим протестировать в масштабе с неполной информацией или запускать больше кандидатов на меньшие подвыборки данных, что отрицательно влияет на надежность и производительность наших алгоритмов »- Эндрю Соммерлот, директор по машинному обучению и искусственному интеллекту.
Этот процесс, который ранее использовался Senseye, соответствует примерно 90 минутам обработки видео на каждый графический процессор (Titan RTX). При использовании устаревшей локальной машины с графическим процессором общее время обработки составляет 60 дней.
«Быстрые итерации в полном масштабе идеальны при создании продукта на основе искусственного интеллекта, который требует высокой производительности и уверенности при развертывании в реальных приложениях»
Давайте поговорим о «высокомасштабируемой Python Analytics»
Saturn Cloud позволяет командам масштабироваться до бесконечного количества графических процессоров. Что это значит? Это означает, что ограничивающий фактор локальных вычислений для Senseye полностью устранен, открывая путь к молниеносному машинному обучению.
Senseye использовала Saturn для масштабирования до 160 графических процессоров T4 в облаке, отойдя от пределов ранее использовавшихся локальных машин. Это улучшение потребовало добавления всего 10 строк кода - тривиальное изменение для повышения производительности.
Теперь для обработки каждого видео требуется всего 40 секунд, что позволяет Senseye повторять итерацию каждый день, а не раз в два месяца.
«Боже мой! Новый рабочий процесс в 120 раз быстрее… »
Это сокращает общее время работы с 60 дней до 11 часов. Что это влечет за собой? Что ж, для начала, Senseye может повысить точность своих прогнозов и, в конечном итоге, повысить прибыль: меньшее количество несчастных случаев на рабочем месте со стороны конечных пользователей означает более безопасную рабочую среду и меньшее количество страховых претензий для владельцев.
«Сокращение времени работы с 60 дней до 11 часов - такое невероятное улучшение. Мы можем вписать гораздо больше итераций в наши модели. Это оказывает значительное положительное влияние на эффективность нашего продукта, который требует множества итераций, чтобы выполнить стандарт, необходимый для наших клиентов ». - Сет Вайсберг, главный специалист по машинному обучению (Senseye)
Разложим числа рядом.
Рисунок 1. Общее количество видео, обработанных за час
Таблица: время выполнения по системе
Подобные улучшения производительности не за горами: Saturn предоставляет эти возможности вам под рукой с помощью своей платформы для анализа данных и машинного обучения под ключ.
Чтобы узнать больше об Облаке Сатурна, посетите веб-сайт здесь: saturncloud.io
Поскольку Senseye продолжает быть пионером в области применения компьютерного зрения, мы рекомендуем вам следить за ними на их веб-сайте: senseye.co.
Если вам понравилась эта статья, поделитесь и расскажите своим друзьям и коллегам о вычислительных суперспособностях, которые сделают их жизнь и жизнь их клиентов намного лучше.
