Компания xAI опубликовала веса и архитектуру своей большой языковой модели Grok-1. Это решение открывает доступ к параметрам модели с 314 миллиардами параметров, основанной на архитектуре Mixture-of-Experts (MoE). Публикация кода позволяет исследователям и разработчикам изучать внутреннее устройство одной из самых мощных современных LLM, а также использовать её для создания собственных решений и локальных инференс-систем.

Модель Grok-1 была обучена с нуля с использованием стека JAX и Rust. Использование архитектуры MoE означает, что для каждого токена активируется лишь часть параметров, что повышает эффективность вычислений при сохранении высокой емкости модели. Открытие весов дает сообществу возможность проводить глубокий анализ производительности модели, её способности к рассуждению и потенциальных векторов оптимизации для запуска на различном аппаратном обеспечении.

Этот релиз является значимым шагом для открытого сообщества ИИ, так как он предоставляет доступ к модели, которая ранее была доступна только через проприетарный интерфейс. Теперь разработчики могут интегрировать Grok-1 в собственные пайплайны, проводить дообучение на специализированных данных или использовать её как основу для агентных систем, требующих высокой производительности и глубоких знаний, заложенных в модель при обучении.

Ключевые факты

  • Модель содержит 314 миллиардов параметров.
  • Используется архитектура Mixture-of-Experts (MoE), где для вычислений задействуется 25% весов на каждый токен.
  • Код и веса опубликованы под лицензией Apache 2.0.
  • Модель обучена на базе стека JAX и языка программирования Rust.
  • Репозиторий включает описание архитектуры, но не содержит данных для обучения или инструментов для работы с интерфейсом платформы X.