Проект Warp представляет собой легковесный C-движок для инференса, позволяющий запускать массивные модели, такие как Kimi K3 (2.78 трлн параметров), на оборудовании с ограниченным объемом оперативной памяти. Технология использует потоковую передачу активированных весов напрямую с NVMe-накопителей, что снимает жесткие требования к RAM и делает возможным локальное выполнение моделей сверхвысокой сложности.
Инструмент ориентирован на максимальную портативность и простоту интеграции: он не требует внешних зависимостей и легко встраивается в существующие приложения. Метод потоковой загрузки весов минимизирует задержки при обращении к диску, позволяя системе эффективно управлять памятью в реальном времени. Это открывает новые возможности для развертывания тяжелых LLM на потребительском или серверном железе без необходимости расширения серверных мощностей.
Архитектура движка оптимизирована для работы с весами, которые не помещаются в стандартную память, что критически важно для работы с современными гигантскими архитектурами. Использование NVMe в качестве расширенного хранилища весов позволяет достичь баланса между скоростью доступа и доступным объемом данных, обеспечивая стабильную работу инференса даже при значительном превышении лимитов RAM.
Ключевые факты
- Поддержка моделей масштаба 2.78 трлн параметров (на примере Kimi K3).
- Реализация потоковой загрузки активированных весов непосредственно с NVMe-накопителей.
- Движок написан на языке C и не имеет внешних зависимостей.
- Ориентирован на встраиваемость в сторонние программные решения.
- Позволяет обходить аппаратные ограничения RAM при запуске сверхбольших моделей.