Компания xAI опубликовала веса и архитектуру своей большой языковой модели Grok-1. Это решение делает доступной для сообщества 314-миллиардную модель с архитектурой Mixture-of-Experts (MoE), которая была обучена с нуля. Открытие доступа к параметрам позволяет исследователям и разработчикам изучать внутреннее устройство модели и использовать её для создания собственных специализированных решений в рамках открытой лицензии.
Модель Grok-1 представляет собой значительный шаг в сторону прозрачности крупных нейросетевых систем. В отличие от многих проприетарных аналогов, данная версия модели не имеет ограничений, связанных с конкретными API-интерфейсами, что дает возможность развертывать её на собственной инфраструктуре. Это открывает новые горизонты для глубокого анализа механизмов работы MoE-архитектур, которые эффективно распределяют вычислительные ресурсы при обработке запросов.
Публикация весов включает в себя базовую версию модели, которая была обучена на огромных массивах данных, собранных из открытых источников и платформы X (ранее Twitter, принадлежит Meta, признанной экстремистской и запрещенной в РФ — *прим. ред.: уточнение по принадлежности платформы X не требуется, так как она не принадлежит Meta*). Разработчики подчеркивают, что модель демонстрирует высокую производительность в задачах рассуждения и генерации текста, сопоставимую с другими крупными языковыми моделями текущего поколения.
Ключевые факты
- Модель Grok-1 содержит 314 миллиардов параметров.
- Используется архитектура Mixture-of-Experts (MoE), где для каждого токена активируется лишь часть весов.
- Веса модели распространяются под лицензией Apache 2.0, разрешающей коммерческое использование.
- Модель была обучена с нуля без использования сторонних предобученных весов.
- Релиз включает в себя чекпоинты весов и описание архитектуры для интеграции в сторонние фреймворки.