Представлена Cl33-opLM — компактная языковая модель с 236 миллионами параметров, использующая архитектуру с обратимым операторным «бутылочным горлышком» (reversible operator bottleneck). Разработка фокусируется на эффективности вычислений и оптимизации архитектурных ограничений, позволяя достичь производительности, сопоставимой с более крупными моделями, при значительно меньших требованиях к аппаратным ресурсам и памяти для инференса.
Архитектурный подход модели базируется на концепции обратимых слоев, что позволяет восстанавливать активации предыдущих слоев во время обратного прохода, минимизируя потребление видеопамяти. Использование «бутылочного горлышка» в операторном представлении помогает сжимать информацию, сохраняя при этом семантическую целостность данных, что критически важно для эффективного обучения моделей малого размера.
Данная архитектура демонстрирует потенциал для локального запуска на устройствах с ограниченными вычислительными мощностями. Исследование подчеркивает сдвиг в сторону поиска оптимальных архитектурных паттернов, которые позволяют эффективно масштабировать языковые модели без линейного увеличения количества параметров, что является важным шагом для развития легковесных агентных систем.
Ключевые факты
- Общее количество параметров модели составляет 236 миллионов.
- Архитектура использует метод обратимого операторного «бутылочного горлышка» для оптимизации потока данных.
- Модель спроектирована для снижения требований к VRAM при сохранении качества генерации текста.
- Технология направлена на повышение эффективности инференса на периферийных устройствах и локальных средах.