Мы показали значительный прирост производительности (снижение затрат) Orca при работе с крупномасштабными генеративными моделями, такими как GPT 175B, в нашей предыдущей записи в блоге Orca: Как обслуживать крупномасштабные модели-трансформеры. С тех пор мы получаем множество запросов о производительности Orca при обслуживании небольших генеративных моделей (например, моделей с несколькими миллиардами параметров) на одном графическом процессоре.

Да, Orca значительно превосходит FasterTransformer для моделей с параметрами от сотен миллионов до нескольких миллиардов! И мы в FriendliAI по-прежнему безостановочно работаем над оптимизацией Orca как для моделей небольшого размера, так и для моделей большого размера.

Сегодня мы сравним Orca с FasterTransformer, но на этот раз с моделями меньшего размера — 1.3B и 345M каждая.

В обоих случаях мы проводили оценку на графическом процессоре NVIDIA A10G. На приведенных ниже рисунках показана пропускная способность и средняя нормализованная задержка. Поскольку каждый запрос в трассировке требует разного времени обработки, которое (примерно) пропорционально количеству сгенерированных токенов, мы сообщаем среднюю задержку, нормализованную по количеству сгенерированных токенов для каждого запроса.

В нашем последнем сообщении в блоге при сравнении Orca с FasterTransformer, поскольку FasterTransformer не имеет собственного планировщика, мы внедрили собственный планировщик, который имитирует пакетный планировщик сервера логических выводов NVIDIA Trition. Обратите внимание, что на этот раз мы использовали реальный сервер выводов NVIDIA Triton.

GPT 1.3B с графическим процессором A10G

При том же уровне задержки 11 мс/токен пропускная способность Orca в 55,4 раза выше, чем у FasterTransformer. Среди генеративных моделей на базе Transformer такого же размера есть, например, GPT-Neo.

GPT 345M с графическим процессором A10G

При уровне задержки 11 мс/токен пропускная способность Orca в 26,1 раза выше, чем у FasterTransformer. Среди однотипных моделей есть ГПТ-2 средний (355М).

Краткое содержание

Здесь вы можете видеть, что Orca обеспечивает значительно более высокую пропускную способность и меньшую задержку, чем NVIDIA FasterTransformer. По мере увеличения нагрузки Orca обеспечивает более высокую пропускную способность при относительно небольшом увеличении задержки.

Независимо от размера модели, большой или маленькой, Orca продолжает превосходить существующие системы обслуживания. Мы ожидаем, что такие результаты помогут расширить нашу клиентскую базу, от компаний, работающих с тяжелыми моделями, до тех, кто работает с относительно небольшими моделями.

*Исследование касатки было представлено на конференции OSDI 2022 12 июля. Статью можно прочитать здесь.

**Orca был разработан FriendliAI. В качестве нашего продукта мы предоставляем комплексную платформу разработки искусственного интеллекта PeriFlow. Для получения дополнительной информации перейдите по ссылке.