arXiv · 27.07.2026 ·Модели и релизы

Представлена Kimi K3: мультимодальная MoE-модель с 2,8 трлн параметров

Разработчики представили Kimi K3 — масштабную Mixture-of-Experts модель с общим количеством параметров 2,8 трлн. Архитектура поддерживает работу с 104 млрд активных параметров, обладает нативной поддержкой зрения и контекстным окном объемом 1 млн токенов. Новинка использует инновационные механизмы Delta Attention и Stable LatentMoE для оптимизации информационных потоков и эффективной маршрутизации экспертов.

Техническая база модели включает архитектурные улучшения, направленные на повышение стабильности при обработке длинных последовательностей и глубоких слоев нейросети. Использование Stable LatentMoE позволяет системе динамически активировать 16 из 896 доступных экспертов для каждого токена, что обеспечивает баланс между вычислительной мощностью и производительностью инференса. Интеграция нативных визуальных возможностей делает модель универсальным инструментом для мультимодальных задач.

Данный релиз знаменует очередной этап в развитии архитектур типа Mixture-of-Experts, где акцент смещается в сторону увеличения общего количества параметров при сохранении контролируемой вычислительной нагрузки. Сочетание огромного контекстного окна и оптимизированной маршрутизации экспертов позволяет модели эффективно справляться с комплексными задачами анализа данных и генерации контента, требующими глубокого понимания контекста.

Ключевые факты

Общее количество параметров модели составляет 2,8 триллиона.
Количество активных параметров при инференсе достигает 104 миллиардов.
Контекстное окно модели составляет 1 миллион токенов.
Система использует 896 экспертов, из которых для каждого токена активируются 16.
В архитектуре применены технологии Kimi Delta Attention и Stable LatentMoE.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

MarkTechPost · Модели и релизы Moonshot AI представила Kimi K3: MoE-модель с 2,8 трлн параметров Компания Moonshot AI выпустила Kimi K3 — мощную модель с архитектурой Mixture-of-Experts (MoE), насчитывающую 2,8 триллиона параметров. Новинка поддерживает контекстное окно объемом до 1 миллиона токенов и использует инновационные механизмы Kimi Delta Attention и Attention Residuals для оптимизации вычислений, активируя 16 экспертов из общего пула в 896 доступных блоков. Simon Willison's Weblog · Модели и релизы Moonshot AI представила Kimi K3 с 2,8 трлн параметров Китайская лаборатория Moonshot AI анонсировала Kimi K3 — свою самую мощную языковую модель, насчитывающую 2,8 триллиона параметров. Разработчики позиционируют новинку как первую модель класса 3T, доступную для широкого использования. На текущий момент Kimi K3 уже интегрирована в веб-сервис компании и доступна через API, а полноценный релиз открытых весов запланирован на 27 июля 2026 года. AI News · Модели и релизы Moonshot AI представила Kimi K3: крупнейшую open-weight модель на 2,8 трлн параметров Китайская компания Moonshot AI выпустила Kimi K3 — крупнейшую на текущий момент open-weight модель, насчитывающую 2,8 триллиона параметров. Разработчики сделали ставку не на увеличение вычислительных мощностей для обучения, а на архитектурные инновации в области управления памятью, что позволяет модели эффективно обрабатывать колоссальные объемы данных при относительно меньших затратах на инференс. AI News & Artificial Intelligence | TechCrunch · Модели и релизы Moonshot AI готовит модель Kimi 3 с 3 триллионами параметров Китайский стартап Moonshot AI готовится к выпуску новой флагманской модели Kimi 3, которая призвана сократить технологический разрыв с передовыми западными разработками, включая Anthropic Opus 4.8. Ожидается, что новинка станет крупнейшей открытой языковой моделью из Китая, обладающей колоссальным количеством параметров, что позволит ей конкурировать с лидерами рынка в задачах сложного логического вывода и обработки данных. Hacker News · Модели и релизы Анализ архитектурных особенностей модели Kimi k3 Новая модель Kimi k3 от компании Moonshot AI демонстрирует значительный прогресс в задачах рассуждения, что связывают с использованием цепочек «мыслей» (thinking traces) в процессе генерации. Исследователи отмечают, что модель способна динамически распределять вычислительные ресурсы для решения сложных логических задач, что приближает её по эффективности к лидирующим западным аналогам в области глубокого обучения. The Decoder · Модели и релизы Moonshot AI анонсировала мультимодальную модель K3 с 2,8 трлн параметров Компания Moonshot AI представила K3 — мультимодальную модель с открытыми весами, насчитывающую 2,8 триллиона параметров и поддерживающую контекстное окно в один миллион токенов. Согласно внутренним тестам разработчика, производительность K3 сопоставима с показателями Claude Fable 5 и GPT-5.6 Sol, при этом модель превосходит Opus 4.8 и GLM 5.2 в ряде ключевых дисциплин. Hacker News · Модели и релизы Kimi K3: новый этап в развитии открытых весов Китайская компания Moonshot AI представила Kimi k3, модель с открытыми весами, которая демонстрирует значительный прогресс в производительности для открытых систем. Релиз знаменует собой усиление конкуренции между проприетарными моделями и открытыми альтернативами, предлагая разработчикам доступ к архитектуре, способной конкурировать с лидерами индустрии по качеству логических рассуждений и обработки длинных контекстов. Hacker News · Модели и релизы Анализ производительности и стоимости модели Kimi k3 Аналитическая платформа Artificial Analysis представила подробный разбор новой модели Kimi k3 от компании Moonshot AI. Исследование охватывает ключевые показатели производительности, скорость генерации токенов и экономическую эффективность использования API. Модель демонстрирует конкурентоспособные результаты в бенчмарках, предлагая пользователям баланс между качеством ответов и стоимостью инференса в сравнении с актуальными рыночными аналогами. GitHub · Модели и релизы Moonshot AI представила Kimi-k3: новая открытая модель для сложных задач Компания Moonshot AI выпустила Kimi-k3, открытую модель, ориентированную на решение задач повышенной сложности. Релиз направлен на развитие возможностей «интеллекта фронтира» (Frontier Intelligence) и предоставляет разработчикам доступ к архитектуре, способной справляться с комплексными логическими цепочками и анализом больших объемов данных, что расширяет инструментарий для создания продвинутых ИИ-систем. Hacker News · Модели и релизы Kimi K3 как новая точка перегиба в развитии LLM Выход модели Kimi K3 от китайского стартапа Moonshot AI знаменует важный сдвиг в индустрии больших языковых моделей. Эксперты отмечают, что архитектурные решения и эффективность этой модели позволяют ей конкурировать с лидерами рынка, демонстрируя значительный прогресс в качестве генерации и логических способностях, что может изменить расстановку сил между западными и азиатскими разработчиками ИИ.

← Все материалы