Компания Moonshot AI выпустила Kimi K3 — мощную модель с архитектурой Mixture-of-Experts (MoE), насчитывающую 2,8 триллиона параметров. Новинка поддерживает контекстное окно объемом до 1 миллиона токенов и использует инновационные механизмы Kimi Delta Attention и Attention Residuals для оптимизации вычислений, активируя 16 экспертов из общего пула в 896 доступных блоков.

Архитектура Kimi K3 ориентирована на повышение эффективности обработки длинных последовательностей данных. Использование разреженной активации экспертов позволяет модели сохранять высокую производительность при работе с огромными массивами информации, минимизируя при этом вычислительные затраты на каждый отдельный запрос. Это делает модель конкурентоспособным решением для задач, требующих глубокого анализа контекста и высокой точности ответов.

Технология Kimi Delta Attention представляет собой специализированный подход к управлению вниманием, который позволяет модели более гибко распределять ресурсы при обработке сложных зависимостей в тексте. Внедрение подобных архитектурных решений подчеркивает тренд на создание сверхкрупных моделей, которые остаются управляемыми за счет интеллектуального выбора активных параметров в процессе инференса.

Ключевые факты

  • Общее количество параметров модели составляет 2,8 триллиона.
  • Архитектура включает 896 экспертов, из которых для обработки одного запроса активируются 16.
  • Поддерживаемый объем контекстного окна достигает 1 миллиона токенов.
  • В основе модели лежат проприетарные технологии Kimi Delta Attention и Attention Residuals.
  • Официальный релиз модели состоялся 16 июля 2026 года.