The Decoder · 06.07.2026 ·Модели и релизы

Tencent представила открытую модель Hy3 с архитектурой Mixture-of-Experts

Компания Tencent выпустила открытую языковую модель Hy3, использующую архитектуру Mixture-of-Experts (MoE). При общем объеме в 295 миллиардов параметров, модель задействует лишь 21 миллиард параметров для обработки каждого токена. Разработчики заявляют, что Hy3 сопоставима по качеству с моделями, превосходящими её по размеру в 2–5 раз, при этом уровень галлюцинаций снижен до 5,4%.

Использование MoE-архитектуры позволяет модели сохранять высокую производительность при значительно меньших вычислительных затратах на инференс. Эффективность достигается за счет динамического выбора экспертных блоков, что делает модель более компактной в эксплуатации по сравнению с плотными (dense) аналогами аналогичной мощности. Это решение ориентировано на снижение барьеров для развертывания высокопроизводительных систем.

Показатели точности и снижения частоты ошибок указывают на прогресс в оптимизации архитектур для задач, требующих высокой достоверности ответов. Открытый доступ к весам модели позволяет исследовательскому сообществу проводить независимые тесты и интегрировать технологию в собственные инфраструктурные решения, требующие баланса между скоростью работы и качеством генерации текста.

Ключевые факты

Общий объем параметров модели Hy3 составляет 295 миллиардов.
В процессе работы модель активирует только 21 миллиард параметров.
Уровень галлюцинаций заявлен на отметке 5,4%, что в два раза ниже показателей сопоставимых по размеру моделей.
Модель построена на архитектуре Mixture-of-Experts (MoE), обеспечивающей высокую эффективность инференса.

Источник: The Decoder

Обсудить с ИИ

Похожие материалы

Hacker News · Модели и релизы Tencent представила Hy3: эффективная модель для рассуждений и агентных задач Tencent выпустила Hy3 (Hunyuan-3), специализированную модель с 295 миллиардами параметров, ориентированную на сложные логические рассуждения и выполнение агентных задач. Разработчики сделали упор на высокую вычислительную эффективность, оптимизировав архитектуру для снижения затрат на инференс при сохранении производительности, сопоставимой с ведущими проприетарными решениями в задачах планирования и работы с инструментами. Hacker News · Инференс и железо Распределенный инференс модели на 229 млрд параметров через интернет Исследователи представили метод распределенного инференса для MoE-модели (Mixture of Experts) объемом 229 миллиардов параметров, работающий в интерактивном режиме через интернет. Технология позволяет запускать тяжелые языковые модели, используя вычислительные мощности нескольких узлов, объединенных сетью, что значительно снижает требования к локальному оборудованию при сохранении высокой скорости генерации токенов. Hacker News · Исследования и наука Технологический прорыв DeepSeek в архитектуре нейросетей Китайская исследовательская лаборатория DeepSeek представила архитектуру, которая существенно меняет подход к обучению и работе крупных языковых моделей. В основе решения лежит использование архитектуры Mixture-of-Experts (MoE) с глубокой оптимизацией процесса активации параметров. Вместо того чтобы задействовать всю нейросеть целиком для каждого запроса, система активирует лишь малую часть весов, что позволяет радикально снизить вычислительные затраты при сохранении высокой точности ответов. Hacker News · Модели и релизы Nous Research представила архитектуру Hermes MoA для повышения точности LLM Компания Nous Research анонсировала архитектуру Mixture-of-Agents (MoA), позволяющую объединять несколько специализированных языковых моделей для достижения более высоких результатов. Согласно бенчмаркам, система демонстрирует значительный прирост производительности по сравнению с ведущими проприетарными моделями, превосходя показатели Claude 3 Opus на 8% и GPT-4o на 11% в ряде ключевых задач, что подтверждает эффективность агентного подхода к генерации ответов. The Decoder · Модели и релизы VibeThinker-3B: компактная модель с навыками рассуждения уровня гигантов Разработчики из Sina Weibo представили VibeThinker-3B — языковую модель с 3 миллиардами параметров, демонстрирующую производительность в математике и программировании на уровне моделей, превосходящих её по размеру в сотни раз. Исследователи выдвинули гипотезу, что логические способности эффективно сжимаются в малые архитектуры, тогда как хранение обширных фактологических знаний требует значительного масштабирования параметров. arXiv · Инфраструктура для агентов FoMoE: новый подход к обучению MoE-моделей через федерацию экспертов Исследователи представили архитектуру FoMoE (Federation of Mixture-of-Experts), которая решает проблему жесткой привязки параметров модели к вычислительной инфраструктуре. Традиционные методы обучения крупных языковых моделей требуют использования массивов тесно связанных ускорителей, что ограничивает масштабируемость. Новый подход позволяет распределять экспертов в составе MoE-архитектуры между независимыми вычислительными узлами, снимая барьер «полной репликации» весов модели на каждом устройстве. MarkTechPost · Модели и релизы Meituan представила LongCat-2.0: MoE-модель на 1,6 трлн параметров с контекстом 1 млн токенов Китайская компания Meituan анонсировала выпуск LongCat-2.0 — масштабной модели архитектуры Mixture-of-Experts (MoE) с общим объемом 1,6 триллиона параметров. Ключевой особенностью релиза стала поддержка нативного контекстного окна в 1 миллион токенов, реализованная за счет проприетарного механизма LongCat Sparse Attention. Модель оптимизирована для обучения и инференса на специализированных отечественных ASIC-кластерах. Simon Willison's Weblog · Модели и релизы Выпущена открытая LLM GLM-5.2 с 753 миллиардами параметров Китайская лаборатория Z.ai представила модель GLM-5.2, которая на текущий момент претендует на звание самой мощной текстовой языковой модели с открытыми весами. Релиз состоялся спустя несколько дней после ограниченного доступа для подписчиков, и теперь веса модели доступны под лицензией MIT. Архитектура новинки основана на принципе Mixture of Experts (MoE), что позволяет эффективно использовать ресурсы при колоссальном объеме параметров. arXiv · Модели и релизы Новый метод SoftMoE для эффективного масштабирования LLM Исследователи предложили новый подход SoftMoE для улучшения работы архитектур Mixture-of-Experts (MoE) в языковых моделях. Традиционные MoE используют top-k маршрутизацию, которая активирует только часть экспертов, но из-за недифференцируемости этого оператора число активных экспертов фиксировано, что приводит к неэффективному использованию вычислительных ресурсов. Hacker News · Модели и релизы Результаты бенчмарков Claude 3.5 Sonnet Anthropic представила обновленную модель Claude 3.5 Sonnet, которая демонстрирует значительный прирост производительности в задачах программирования и логического мышления. Согласно независимым тестам Artificial Analysis, модель показывает лучшие результаты в сравнении с предыдущими итерациями, обеспечивая более высокую точность ответов при сохранении высокой скорости генерации токенов, что делает её одним из наиболее эффективных решений для сложных агентных задач.

← Все материалы