Разработчик представил дообученную версию модели MiniCPM5-1B, которая демонстрирует способности к логическому мышлению, имитируя поведение Claude Fable 5. Модель весит всего 657 МБ и поддерживает контекстное окно до 128 тысяч токенов. Это решение позволяет запускать полноценные агентные рассуждения локально на устройствах с крайне ограниченными вычислительными ресурсами, сохраняя при этом высокую эффективность инференса.
В основе проекта лежит архитектура OpenBMB MiniCPM5-1B, дообученная на наборах данных (трассах), полученных от модели Claude Fable 5. Использование специализированных данных для обучения позволило наделить компактную модель навыками пошагового рассуждения, которые обычно требуют значительно более крупных параметров. Модель оптимизирована для работы в условиях дефицита памяти, что делает её пригодной для интеграции в мобильные приложения и периферийные устройства.
Техническая реализация подчеркивает тренд на дистилляцию знаний из крупных проприетарных моделей в легковесные локальные аналоги. Несмотря на впечатляющие характеристики, проект поднимает вопросы лицензионной чистоты данных, использованных для обучения, так как оригинальные условия использования Claude Fable 5 могут ограничивать применение их выходных данных для создания производных моделей.
Ключевые факты
- Базовая архитектура: OpenBMB MiniCPM5-1B.
- Размер модели: 657 МБ в сжатом виде.
- Контекстное окно: 128 000 токенов.
- Основная особенность: способность к рассуждениям (reasoning) при крайне малом объеме параметров.
- Источник данных для дообучения: трассы (traces) модели Claude Fable 5.