Компания Poolside выпустила Laguna S 2.1 — открытую Mixture-of-Experts модель с 118 млрд параметров, оптимизированную для задач программирования. Модель использует 8 млрд активных параметров на токен и поддерживает контекстное окно в 1 млн токенов. Она демонстрирует высокую эффективность на бенчмарке SWE-bench Multilingual, сопоставимую с гораздо более крупными языковыми моделями, и оптимизирована для работы на инфраструктуре NVIDIA DGX Spark.

Архитектура модели ориентирована на агентные сценарии, где требуется глубокое понимание кодовой базы и способность к итеративному написанию кода. Благодаря разреженной структуре (MoE), Laguna S 2.1 обеспечивает высокую скорость инференса при сохранении качества генерации, характерного для моделей с гораздо большим количеством активных параметров. Это делает её эффективным инструментом для интеграции в автоматизированные среды разработки и агентные системы.

Модель распространяется под лицензией OpenMDW-1.1, что позволяет использовать её в широком спектре прикладных задач. Техническая реализация модели позволяет развертывать её на относительно компактных кластерных конфигурациях, что снижает барьер входа для компаний, внедряющих специализированные ИИ-решения для разработки программного обеспечения.

Ключевые факты

  • Общее количество параметров модели составляет 118 млрд, из которых 8 млрд являются активными на каждый токен.
  • Поддерживаемый размер контекстного окна достигает 1 млн токенов.
  • Модель показывает результаты на уровне или выше более крупных аналогов в тестах SWE-bench Multilingual.
  • Инфраструктурная оптимизация позволяет запускать модель на системе NVIDIA DGX Spark.
  • Лицензирование осуществляется в соответствии с условиями OpenMDW-1.1.