Разработчики представили решение для виртуализации графических процессоров, позволяющее разделять ресурсы GPU между несколькими задачами без использования проприетарной технологии Nvidia Multi-Instance GPU (MiG). Система обеспечивает изоляцию вычислительных мощностей на уровне программного обеспечения и поддерживает работу не только с картами Nvidia, но и с оборудованием AMD, что значительно расширяет возможности для оптимизации затрат на инференс.
Технология решает проблему неэффективного использования GPU, когда одна модель не способна полностью утилизировать доступную видеопамять или вычислительные ядра. В отличие от стандартных методов, требующих специфической аппаратной поддержки, данный подход реализует динамическое распределение ресурсов на уровне драйверов или планировщиков задач. Это позволяет запускать несколько независимых инстансов моделей на одном физическом ускорителе, что критически важно для развертывания агентных систем и микросервисов с ИИ-нагрузкой.
Использование альтернативных методов разделения GPU снижает порог входа для компаний, которые не имеют доступа к дорогостоящим серверным решениям с поддержкой MiG. Поддержка архитектур AMD открывает путь к созданию более гибкой и диверсифицированной инфраструктуры для обучения и запуска моделей, снижая зависимость от экосистемы одного вендора и оптимизируя общую стоимость владения вычислительными мощностями.
Ключевые факты
- Технология позволяет выполнять фракционное разделение GPU без привязки к проприетарной функции Nvidia MiG.
- Реализована поддержка графических процессоров AMD, что расширяет выбор аппаратного обеспечения для инференса.
- Решение направлено на повышение коэффициента использования видеопамяти и вычислительных ядер при запуске нескольких моделей.
- Инструмент ориентирован на снижение затрат при развертывании агентных систем и высоконагруженных ИИ-сервисов.