Проект Colibri позволяет запускать массивную модель GLM-5.2 (744B MoE) на обычном компьютере с 25 ГБ оперативной памяти. Инструмент использует движок на чистом языке C без внешних зависимостей, который подгружает экспертов модели с диска по мере необходимости. Это решение значительно снижает порог входа для работы с тяжелыми нейросетями, требующими огромных вычислительных ресурсов.
Технология опирается на архитектуру Mixture of Experts (MoE), где для генерации каждого токена активируется лишь малая часть параметров. Colibri оптимизирует этот процесс, минимизируя нагрузку на RAM за счет потоковой передачи данных с накопителя. Такой подход позволяет использовать модели, размер которых многократно превышает доступный объем оперативной памяти, сохраняя при этом работоспособность системы.
Реализация на чистом C обеспечивает минимальный оверхед и высокую переносимость кода. Отсутствие сторонних библиотек упрощает интеграцию и развертывание движка в различных средах, где критически важны легкость и предсказуемость исполнения. Это открывает новые возможности для локального инференса моделей, которые ранее были доступны только в облачных инфраструктурах с мощными GPU-кластерами.
Ключевые факты
- Модель GLM-5.2 обладает 744 миллиардами параметров в архитектуре Mixture of Experts.
- Движок Colibri требует всего 25 ГБ оперативной памяти для функционирования.
- Реализация выполнена на чистом языке C без сторонних зависимостей.
- Механизм работы основан на потоковой передаче экспертов (experts) с диска в реальном времени.
- Проект ориентирован на запуск моделей высокого класса на стандартном потребительском оборудовании.