Hacker News · 30.07.2026 ·Инференс и железо

Новый движок инференса для запуска моделей с 2,78 трлн параметров на 29 ГБ RAM

Разработчик представил движок инференса Waste, позволяющий запускать массивные модели, такие как Kimi K3 с 2,78 трлн параметров, используя всего 29 ГБ оперативной памяти. Решение оптимизирует процесс вычислений, делая запуск сверхкрупных языковых моделей доступным на потребительском оборудовании, что значительно снижает порог входа для локального использования тяжелых нейросетевых архитектур без необходимости в серверных кластерах.

Основная идея проекта заключается в эффективном управлении памятью и минимизации накладных расходов при работе с весами модели. В отличие от стандартных фреймворков, которые требуют огромных объемов VRAM или RAM для загрузки всех параметров целиком, Waste применяет методы динамической подгрузки и оптимизированного доступа к данным. Это позволяет запускать модели, которые ранее считались «неподъемными» для обычных рабочих станций.

Технология ориентирована на разработчиков и энтузиастов, стремящихся использовать state-of-the-art модели в локальной среде. Использование движка позволяет существенно сократить затраты на инфраструктуру, сохраняя при этом возможность работы с моделями, обладающими высокой плотностью знаний и сложной структурой параметров. Проект демонстрирует потенциал оптимизации алгоритмов инференса для работы в условиях ограниченных аппаратных ресурсов.

Ключевые факты

Движок Waste оптимизирован для работы с моделями сверхбольшого размера, включая Kimi K3.
Модель Kimi K3 с 2,78 трлн параметров успешно функционирует при наличии 29 ГБ оперативной памяти.
Технология позволяет значительно снизить требования к объему видеопамяти (VRAM) и системной RAM.
Решение направлено на демократизацию доступа к запуску тяжелых LLM на потребительском «железе».
Подход фокусируется на эффективном управлении весами модели в процессе вычислений.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Инференс и железо Развертывание модели Kimi-k3 на ускорителях AMD Instinct MI355X Компания Moonshot AI совместно с AMD успешно реализовала запуск крупной языковой модели Kimi-k3 на кластерах с ускорителями Instinct MI355X. Проект демонстрирует готовность аппаратной платформы AMD к работе с современными архитектурами моделей в день их релиза, обеспечивая высокую производительность инференса и эффективное масштабирование вычислений для сложных агентных систем и генеративных сервисов. Hacker News · Инференс и железо Оптимизация модели Kimi K3 с помощью Unsloth для локального запуска Команда Unsloth представила оптимизированную версию модели Kimi K3 в формате GGUF, значительно снизив требования к объему памяти. Благодаря методам сжатия размер весов модели был сокращен с 1,56 ТБ до 594 ГБ. Это решение делает запуск крупномасштабных языковых моделей более доступным для локальных инфраструктур, сохраняя при этом производительность, характерную для оригинальной архитектуры Kimi. Hacker News · Инференс и железо Запуск тяжелых LLM на локальном железе через потоковую передачу весов Сальваторе Санфилиппо (antirez) продемонстрировал метод запуска крупной языковой модели Kimi K3 на локальном оборудовании с ограниченной видеопамятью. Используя технику потоковой передачи весов модели непосредственно с диска или сети, он добился работы системы на MacBook M5 Max с 128 ГБ оперативной памяти, минуя необходимость полной загрузки всей модели в VRAM. Hacker News · Инференс и железо Запуск модели Kimi k3 на потребительском GPU RTX 5090 Разработчики представили решение для локального запуска модели Kimi k3 на потребительском графическом ускорителе NVIDIA RTX 5090. Проект позволяет развернуть современную языковую модель вне облачных инфраструктур, используя возможности нового флагманского оборудования. Это открывает возможности для частного инференса высокопроизводительных моделей с сохранением приватности данных и снижением затрат на API-запросы к сторонним сервисам. Hacker News · Инференс и железо Проект Colibrì: запуск моделей весом 1.5 ТБ на 25 ГБ оперативной памяти Исследователи представили концепт Colibrì, позволяющий запускать массивные ИИ-модели объемом 1.5 ТБ на потребительском оборудовании с 25 ГБ оперативной памяти. Метод радикально снижает требования к VRAM и RAM за счет оптимизации доступа к данным, открывая путь к локальному использованию моделей «фронтирного» уровня без необходимости в дорогостоящих серверных кластерах с десятками GPU. AI News · Модели и релизы Moonshot AI представила Kimi K3: крупнейшую open-weight модель на 2,8 трлн параметров Китайская компания Moonshot AI выпустила Kimi K3 — крупнейшую на текущий момент open-weight модель, насчитывающую 2,8 триллиона параметров. Разработчики сделали ставку не на увеличение вычислительных мощностей для обучения, а на архитектурные инновации в области управления памятью, что позволяет модели эффективно обрабатывать колоссальные объемы данных при относительно меньших затратах на инференс. Hacker News · Инференс и железо Ускорение инференса LLM за счет вычислений внутри оперативной памяти Исследователи представили архитектурный подход, позволяющий выполнять операции инференса больших языковых моделей непосредственно внутри оперативной памяти (Processing-in-Memory). Это решение устраняет проблему «узкого места памяти», ограничивающую скорость передачи данных между процессором и RAM, что критически важно для эффективного запуска тяжелых моделей на локальном оборудовании и снижения задержек при генерации токенов. Hacker News · Инференс и железо Оптимизация инференса LLM: ускорение работы моделей на потребительском железе Разработчик представил инструмент quantprobe, позволяющий значительно повысить скорость генерации токенов для крупных языковых моделей на ограниченных аппаратных ресурсах. Решение оптимизирует процесс инференса, достигая показателей в 22 токена в секунду для 30B-моделей и до 109 токенов в секунду на конфигурациях с 6–16 ГБ оперативной памяти, обходя стандартные ограничения llama.cpp. arXiv · Модели и релизы Представлена Kimi K3: мультимодальная MoE-модель с 2,8 трлн параметров Разработчики представили Kimi K3 — масштабную Mixture-of-Experts модель с общим количеством параметров 2,8 трлн. Архитектура поддерживает работу с 104 млрд активных параметров, обладает нативной поддержкой зрения и контекстным окном объемом 1 млн токенов. Новинка использует инновационные механизмы Delta Attention и Stable LatentMoE для оптимизации информационных потоков и эффективной маршрутизации экспертов. Hacker News · Инференс и железо HotPin: запуск 120B MoE моделей на 24 ГБ оперативной памяти Метод HotPin позволяет запускать массивные MoE-модели (Mixture of Experts) объемом 120 млрд параметров на потребительском оборудовании с 24 ГБ оперативной памяти. Решение использует стратегию кэширования экспертов, минимизируя нагрузку на систему при сохранении точности вычислений. Это открывает возможности для локального инференса тяжелых моделей без необходимости в дорогостоящих серверных GPU с огромным объемом видеопамяти.

← Все материалы