Meta (признана экстремистской организацией, деятельность запрещена в РФ) представила Muse Glimmer — агентную модель с 30 миллиардами параметров, распространяемую под лицензией Apache 2.0. Архитектура оптимизирована для работы на одном потребительском графическом процессоре с 24 ГБ видеопамяти, обеспечивая высокую скорость генерации благодаря технологии спекулятивного декодирования DFlash, которая ускоряет инференс в 3,1 раза.
Модель ориентирована на выполнение сложных агентных задач, требующих автономного принятия решений и работы с контекстом. Использование DFlash позволяет значительно снизить требования к вычислительным ресурсам, делая мощные языковые модели доступными для локального развертывания без необходимости использования серверных кластеров. Это открывает новые возможности для создания персональных ИИ-агентов, работающих непосредственно на пользовательском оборудовании.
Техническая реализация Muse Glimmer направлена на преодоление ограничений по пропускной способности памяти, характерных для моделей такого размера. Благодаря эффективному сжатию и методам спекулятивного декодирования, модель сохраняет высокую точность при значительно меньших задержках, что критически важно для интерактивных агентных систем, требующих мгновенного отклика в реальном времени.
Ключевые факты
- Размер модели составляет 30 миллиардов параметров.
- Модель полностью совместима с потребительским оборудованием, имеющим 24 ГБ VRAM.
- Технология DFlash обеспечивает ускорение процесса декодирования в 3,1 раза.
- Распространяется по лицензии Apache 2.0, что позволяет использовать её в коммерческих и исследовательских целях.