Китайская компания Meituan анонсировала выпуск LongCat-2.0 — масштабной модели архитектуры Mixture-of-Experts (MoE) с общим объемом 1,6 триллиона параметров. Ключевой особенностью релиза стала поддержка нативного контекстного окна в 1 миллион токенов, реализованная за счет проприетарного механизма LongCat Sparse Attention. Модель оптимизирована для обучения и инференса на специализированных отечественных ASIC-кластерах.

Архитектура LongCat-2.0 использует разреженную активацию, при которой на каждый токен задействуется около 48 миллиардов параметров. Такой подход позволяет достичь высокой производительности при сохранении вычислительной эффективности, необходимой для обработки сверхдлинных последовательностей данных. Разработчики сфокусировались на создании инфраструктуры, способной поддерживать работу модели в условиях ограниченного доступа к зарубежным аппаратным ускорителям.

Внедрение технологии LongCat Sparse Attention позволило существенно снизить требования к памяти при работе с длинными контекстами, что критически важно для анализа объемных документов и сложных программных кодов. Система была протестирована на внутренних бенчмарках компании, демонстрируя стабильность при обработке массивов данных, превышающих стандартные лимиты большинства современных LLM.

Ключевые факты

  • Общее количество параметров модели составляет 1,6 триллиона.
  • Активная вычислительная нагрузка на каждый токен ограничена 48 миллиардами параметров.
  • Модель поддерживает нативное контекстное окно объемом 1 миллион токенов.
  • Инфраструктура обучения и инференса полностью развернута на базе отечественных ASIC-суперкомпьютеров.
  • Механизм LongCat Sparse Attention обеспечивает оптимизированную обработку длинных последовательностей.