Проект Waste представляет собой легковесный C-движок для инференса, позволяющий запускать сверхкрупные модели, такие как Kimi K3 (2.78 трлн параметров), на оборудовании с ограниченным объемом оперативной памяти. Технология работает за счет потоковой передачи активированных весов напрямую с NVMe-накопителя, что снимает жесткие требования к RAM и делает возможным локальный запуск моделей гигантского масштаба.
Инструмент ориентирован на максимальную портативность: он не имеет внешних зависимостей и легко встраивается в другие приложения. Вместо того чтобы пытаться загрузить всю модель целиком, движок динамически подгружает только необходимые для вычислений веса в реальном времени. Это открывает доступ к работе с LLM профессионального уровня на потребительском или серверном оборудовании, которое ранее не обладало достаточным объемом видеопамяти или RAM для подобных задач.
Подход Waste меняет парадигму локального инференса, перенося нагрузку с оперативной памяти на скорость чтения с дисковых накопителей. Это критически важно для разработчиков, создающих агентные системы или локальные ИИ-сервисы, которым требуется высокая точность моделей без необходимости аренды дорогостоящих кластеров с огромным объемом GPU-памяти.
Ключевые факты
- Движок поддерживает запуск моделей объемом до 2.78 трлн параметров (Kimi K3).
- Реализован механизм потоковой передачи весов (streaming) непосредственно с NVMe-накопителей.
- Код написан на языке C и не требует сторонних зависимостей для работы.
- Архитектура ориентирована на встраиваемость в сторонние проекты и системы.
- Технология позволяет обходить аппаратные ограничения RAM при выполнении инференса LLM.