По данным BankMyCell, сегодня около половины населения мира уже владеет смартфонами.

Обработка алгоритмов ИИ на грани

Edge AI относится к идее обработки данных непосредственно там, где они производятся («Edge»), с использованием алгоритмов AI. Есть много привлекательных преимуществ по сравнению с все еще широко используемым облачным решением, которое широко распространено в настоящее время, например, масштабируемость, конфиденциальность, снижение затрат на сервер и задержка в сети.

Несмотря на множество преимуществ, недостатком является то, что периферийные устройства, такие как устройства Интернета вещей или смартфоны, имеют ограниченную производительность по сравнению с типичными машинами, используемыми в облачных сервисах. Стандартный графический процессор, используемый для вывода, обычно в 100–250 раз быстрее, чем недавно выпущенные смартфоны! Следовательно, подготовка моделей искусственного интеллекта специально для устройств Edge требует особого внимания.

По этой причине уже существует несколько фреймворков глубокого обучения, специально разработанных для устройств или мобильных устройств IoT, таких как Tensorflow Lite или ncnn, но это лишь одна сторона дела.

Экосистема мобильного ИИ

Мобильный AI - это особый случай Edge AI на мобильных телефонах. Мобильные телефоны являются особым случаем периферийных устройств, поскольку они содержат набор различных датчиков (камеру, микрофон, акселерометр, GPS, Wi-Fi, Bluetooth и т. Д.), Имея при этом достаточное оборудование для выполнения вычислений. Как указано в статье Forbes Измерение производительности ИИ на мобильных устройствах и почему это важно, сравнительный анализ моделей ИИ на мобильных устройствах становится критически важным вопросом. Несмотря на то, что прилагаются усилия для оптимизации моделей глубокого обучения, чтобы они работали для приложений реального времени на мобильных устройствах, распространенной практикой является сравнение точности модели с количеством ее параметров. Проблема в том, что он не учитывает другие важные характеристики, такие как архитектура самой модели и то, как используется аппаратное обеспечение устройства.

После совместного исследования, проведенного конструкторами оборудования и исследователями из ETH Zurich, существует рейтинг производительности ИИ смартфонов, который доступен на веб-сайте AI-Benchmark. В этом исследовании рейтинг основан на оценке ИИ, основанной на задержках вывода различных моделей глубокого обучения.

Анализ данных, проведенный Bisonai, показывает, что в период с 2012 по 2020 год производители смартфонов постоянно предлагают мобильные устройства с низкой производительностью, в то же время каждый год производительность флагманских смартфонов растет в геометрической прогрессии. Следовательно, спектр смартфонов с каждым годом расширяется. Этот растущий разрыв в производительности затрудняет работу инженеров по машинному обучению. Им необходимо разработать модели глубокого обучения, которые могли бы использовать производительность флагманских смартфонов и в то же время обеспечить их плавное выполнение на менее производительных устройствах.

На самом деле ситуация еще более тонкая, если мы посмотрим на данные отдельных телефонов. Например, Google Pixel 3a (начало 2019 года) и Google Pixel 5 (конец 2020 года) оцениваются примерно как медиана среднего балла AI за соответствующий год, а Google Pixel 5 стабильно лучше выполняет все задачи, определенные в AI Benchmark.

Однако для двух лучших смартфонов 2019 и 2020 годов, а именно Huawei Mate 30 Pro 5G и Huawei Mate 40 Pro, значительные улучшения появляются только для определенных задач. Эти различия будут темой следующей статьи.

Таким образом, производительность новейших флагманских смартфонов с каждым годом достигает новых высот, однако все еще постоянно выпускается большое количество менее производительных телефонов. Улучшение возможностей ИИ зависит не только от задач машинного обучения, но и от производителя смартфонов. Инженерам машинного обучения необходимо понимать экосистему мобильного ИИ, чтобы проектировать и разрабатывать оптимизированные приложения глубокого обучения для широкого спектра периферийных устройств. А для этого они должны быть вооружены соответствующими знаниями и инструментами.

Как сравнивать модели искусственного интеллекта?

Чтобы упростить процесс тестирования моделей tflite или ncnn, компания Bisonai построила инструмент тестирования под названием Edge Benchmark. Он предлагает сравнительный анализ моделей машинного обучения на различных реальных мобильных телефонах. Вы можете выбрать любой телефон для тестирования, и Edge Benchmark позаботится обо всех измерениях.