Tencent выпустила Hy3 — новую языковую модель с архитектурой Mixture-of-Experts (MoE), насчитывающую 295 млрд параметров. Модель, распространяемая под лицензией Apache 2.0, прошла масштабный этап дообучения с использованием данных, собранных после тестирования превью-версии в более чем 50 продуктах компании. Разработчики заявляют о существенном превосходстве новинки над предыдущими итерациями в производительности и качестве генерации.
Архитектура Hy3 оптимизирована для эффективного инференса: при общем объеме в 295 млрд параметров, количество активных параметров на токен составляет 21 млрд. Дополнительно модель включает специализированный слой MTP (Multi-Token Prediction) объемом 3,8 млрд параметров, что позволяет улучшить предсказательную способность системы при работе с длинными контекстами и сложными логическими задачами.
Релиз стал результатом итеративного процесса разработки, начатого в апреле. Обратная связь от внутренних команд Tencent позволила сфокусироваться на повышении качества обучающей выборки, что отразилось на итоговых метриках модели. Открытая лицензия Apache 2.0 делает Hy3 доступной для широкого коммерческого и исследовательского использования, что может укрепить позиции компании в сегменте высокопроизводительных открытых LLM.
Ключевые факты
- Общее количество параметров модели составляет 295 млрд.
- Количество активных параметров при обработке каждого токена равно 21 млрд.
- В архитектуру интегрирован MTP-слой (Multi-Token Prediction) объемом 3,8 млрд параметров.
- Модель распространяется под свободной лицензией Apache 2.0.
- В процессе дообучения использовались данные, собранные после интеграции превью-версии в 50+ продуктов Tencent.