Китайская компания MiniMax анонсировала разработку крупной языковой модели с архитектурой Mixture-of-Experts, насчитывающей 2,7 триллиона параметров. Разработчики планируют опубликовать модель в открытом доступе до конца текущего года. Этот шаг может существенно изменить ландшафт открытых ИИ-решений, предоставляя сообществу доступ к одной из самых масштабных моделей на рынке.
На текущий момент MiniMax активно развивает свои технологии, конкурируя с ведущими мировыми лабораториями. Выпуск модели такого масштаба в формате open-source станет значимым событием, так как большинство современных систем с подобным количеством параметров остаются закрытыми проприетарными разработками. Ожидается, что модель будет обладать улучшенными способностями к рассуждению и обработке сложных контекстов благодаря значительному увеличению объема обучающих данных и параметров.
Технические детали архитектуры пока не раскрываются, однако эксперты отмечают, что использование 2,7 трлн параметров в формате открытого кода потребует от пользователей значительных вычислительных мощностей для инференса. MiniMax стремится укрепить свои позиции на глобальном рынке, следуя стратегии открытости, которая ранее помогла другим игрокам привлечь внимание разработчиков и исследователей к своим экосистемам.
Ключевые факты
- Общий объем параметров модели составляет 2,7 триллиона.
- Модель базируется на архитектуре Mixture-of-Experts (MoE).
- Официальный релиз в открытый доступ запланирован на конец 2024 года.
- MiniMax является одним из ведущих китайских стартапов в области генеративного ИИ.
- Модель призвана составить конкуренцию крупнейшим закрытым LLM от ведущих мировых корпораций.