GitHub · 01.08.2026 ·Инференс и железо

Запуск модели Kimi K3 с 2,78 трлн параметров на обычном CPU

Разработчик представил реализацию инференса для модели Kimi K3 объемом 2,78 триллиона параметров, работающую на одном центральном процессоре. Проект написан на чистом C99 и не требует использования графических ускорителей, внешних фреймворков или библиотек линейной алгебры (BLAS). Для запуска модели достаточно 8,24 ГБ оперативной памяти, что демонстрирует экстремальную оптимизацию вычислений для работы на потребительском оборудовании.

Техническая реализация проекта опирается на минималистичный подход к управлению памятью и вычислительными операциями. Отказ от тяжелых зависимостей позволяет исполнять код в различных средах, где использование GPU невозможно или экономически нецелесообразно. Подобные методы оптимизации открывают новые возможности для развертывания сверхкрупных языковых моделей на устройствах с ограниченными аппаратными ресурсами, включая встраиваемые системы и серверы без специализированных ускорителей.

Ключевые факты

Модель Kimi K3 содержит 2,78 триллиона параметров.
Инференс реализован на языке C99 без использования сторонних фреймворков и BLAS.
Для работы системы требуется всего 8,24 ГБ оперативной памяти.
Проект полностью исключает необходимость в GPU, работая исключительно на CPU.

Источник: GitHub

Обсудить с ИИ

Похожие материалы

Hacker News · Инференс и железо Развертывание модели Kimi-k3 на ускорителях AMD Instinct MI355X Компания Moonshot AI совместно с AMD успешно реализовала запуск крупной языковой модели Kimi-k3 на кластерах с ускорителями Instinct MI355X. Проект демонстрирует готовность аппаратной платформы AMD к работе с современными архитектурами моделей в день их релиза, обеспечивая высокую производительность инференса и эффективное масштабирование вычислений для сложных агентных систем и генеративных сервисов. Hacker News · Инференс и железо Новый движок инференса для запуска моделей с 2,78 трлн параметров на 29 ГБ RAM Разработчик представил движок инференса Waste, позволяющий запускать массивные модели, такие как Kimi K3 с 2,78 трлн параметров, используя всего 29 ГБ оперативной памяти. Решение оптимизирует процесс вычислений, делая запуск сверхкрупных языковых моделей доступным на потребительском оборудовании, что значительно снижает порог входа для локального использования тяжелых нейросетевых архитектур без необходимости в серверных кластерах. Hacker News · Инференс и железо Запуск модели Kimi k3 на потребительском GPU RTX 5090 Разработчики представили решение для локального запуска модели Kimi k3 на потребительском графическом ускорителе NVIDIA RTX 5090. Проект позволяет развернуть современную языковую модель вне облачных инфраструктур, используя возможности нового флагманского оборудования. Это открывает возможности для частного инференса высокопроизводительных моделей с сохранением приватности данных и снижением затрат на API-запросы к сторонним сервисам. arXiv · Модели и релизы Представлена Kimi K3: мультимодальная MoE-модель с 2,8 трлн параметров Разработчики представили Kimi K3 — масштабную Mixture-of-Experts модель с общим количеством параметров 2,8 трлн. Архитектура поддерживает работу с 104 млрд активных параметров, обладает нативной поддержкой зрения и контекстным окном объемом 1 млн токенов. Новинка использует инновационные механизмы Delta Attention и Stable LatentMoE для оптимизации информационных потоков и эффективной маршрутизации экспертов. Simon Willison's Weblog · Модели и релизы Moonshot AI представила Kimi K3 с 2,8 трлн параметров Китайская лаборатория Moonshot AI анонсировала Kimi K3 — свою самую мощную языковую модель, насчитывающую 2,8 триллиона параметров. Разработчики позиционируют новинку как первую модель класса 3T, доступную для широкого использования. На текущий момент Kimi K3 уже интегрирована в веб-сервис компании и доступна через API, а полноценный релиз открытых весов запланирован на 27 июля 2026 года. AI News · Модели и релизы Moonshot AI представила Kimi K3: крупнейшую open-weight модель на 2,8 трлн параметров Китайская компания Moonshot AI выпустила Kimi K3 — крупнейшую на текущий момент open-weight модель, насчитывающую 2,8 триллиона параметров. Разработчики сделали ставку не на увеличение вычислительных мощностей для обучения, а на архитектурные инновации в области управления памятью, что позволяет модели эффективно обрабатывать колоссальные объемы данных при относительно меньших затратах на инференс. Hacker News · Инференс и железо Оптимизация инференса Kimi K3 на ускорителях AMD MI355X Развертывание модели Kimi K3 на ускорителях AMD Instinct MI355X демонстрирует более высокую экономическую эффективность по сравнению с использованием NVIDIA B300. Анализ показывает, что архитектурные особенности новых чипов AMD позволяют достичь лучшего соотношения производительности на вложенный доллар при выполнении задач инференса, что становится критическим фактором для масштабирования крупных языковых моделей в продакшене. Hacker News · Инференс и железо Оптимизация модели Kimi K3 с помощью Unsloth для локального запуска Команда Unsloth представила оптимизированную версию модели Kimi K3 в формате GGUF, значительно снизив требования к объему памяти. Благодаря методам сжатия размер весов модели был сокращен с 1,56 ТБ до 594 ГБ. Это решение делает запуск крупномасштабных языковых моделей более доступным для локальных инфраструктур, сохраняя при этом производительность, характерную для оригинальной архитектуры Kimi. MarkTechPost · Модели и релизы Moonshot AI представила Kimi K3: MoE-модель с 2,8 трлн параметров Компания Moonshot AI выпустила Kimi K3 — мощную модель с архитектурой Mixture-of-Experts (MoE), насчитывающую 2,8 триллиона параметров. Новинка поддерживает контекстное окно объемом до 1 миллиона токенов и использует инновационные механизмы Kimi Delta Attention и Attention Residuals для оптимизации вычислений, активируя 16 экспертов из общего пула в 896 доступных блоков. Together.ai · Модели и релизы Обзор и интеграция открытой модели Kimi K3 Компания Moonshot AI представила Kimi K3 — первую открытую модель класса 3T (триллиона параметров). Релиз ориентирован на разработчиков, которым требуется высокая производительность при работе с большими объемами данных. Модель доступна через API платформы Together AI, что позволяет интегрировать её в существующие пайплайны с использованием стандартных инструментов для вызова LLM.

← Все материалы