Китайская компания Moonshot AI выпустила Kimi K3 — крупнейшую на текущий момент open-weight модель, насчитывающую 2,8 триллиона параметров. Разработчики сделали ставку не на увеличение вычислительных мощностей для обучения, а на архитектурные инновации в области управления памятью, что позволяет модели эффективно обрабатывать колоссальные объемы данных при относительно меньших затратах на инференс.

Технический подход Moonshot AI выделяется на фоне индустриальных стандартов, где основной упор делается на масштабирование вычислительных кластеров. Kimi K3 относится к классу 3T-моделей, что ставит её в один ряд с самыми мощными закрытыми архитектурами. Использование open-weight формата дает исследователям и разработчикам возможность изучать внутренние механизмы работы модели, которая демонстрирует высокую производительность в задачах с длинным контекстом.

Основная особенность Kimi K3 заключается в оптимизации доступа к памяти, что критически важно для работы с огромными массивами информации в реальном времени. В отличие от традиционных моделей, требующих линейного роста вычислительных ресурсов при увеличении количества параметров, данная архитектура позволяет достигать высокой точности за счет более эффективного распределения весов и управления контекстным окном.

Ключевые факты

  • Количество параметров модели Kimi K3 составляет 2,8 триллиона.
  • Релиз состоялся 16 июля, модель классифицируется как представитель «3T-класса».
  • Moonshot AI сфокусировалась на оптимизации памяти, а не на экстенсивном наращивании вычислительных мощностей.
  • Модель является крупнейшей среди всех доступных open-weight решений на текущий момент.
  • Архитектура ориентирована на эффективную обработку сверхдлинных контекстов, что является ключевым преимуществом Kimi в конкурентной среде.