Hacker News · 04.07.2026 ·Инференс и железо

Kortex: движок для инференса LLM с поддержкой out-of-core вычислений на Rust

Kortex — это новый движок для выполнения больших языковых моделей, написанный с нуля на языке Rust. Его ключевая особенность заключается в реализации out-of-core инференса, что позволяет запускать модели, размер которых превышает объем доступной видеопамяти (VRAM), эффективно используя оперативную память системы для хранения весов и промежуточных вычислений в процессе генерации.

Архитектура движка ориентирована на оптимизацию работы с памятью при ограниченных аппаратных ресурсах. В отличие от стандартных решений, которые требуют полной загрузки весов модели в GPU, Kortex динамически управляет потоками данных между видеокартой и системной памятью. Это открывает возможности для запуска тяжелых LLM на потребительском оборудовании, где объем VRAM является критическим ограничением для работы современных архитектур.

Использование Rust обеспечивает высокий уровень безопасности памяти и производительность, сопоставимую с C++. Проект предоставляет низкоуровневый контроль над операциями инференса, что делает его подходящим инструментом для разработчиков, создающих локальные агентные системы или сервисы, требующие запуска моделей на железе с ограниченными ресурсами без потери качества генерации.

Ключевые факты

Реализован полностью на языке Rust для обеспечения безопасности и высокой производительности.
Поддерживает out-of-core инференс, позволяя запускать модели, превышающие объем видеопамяти.
Оптимизирован для работы с весами, которые не помещаются целиком в GPU, за счет эффективного управления системной памятью.
Проект доступен в открытом доступе на GitHub для интеграции в сторонние системы инференса.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Инференс и железо Axiom: специализированное ядро ОС на Rust для инференса LLM Разработчики представили Axiom — экспериментальное ядро операционной системы, написанное на языке Rust и оптимизированное исключительно для задач инференса больших языковых моделей. Проект направлен на минимизацию накладных расходов традиционных ОС, обеспечивая прямое управление ресурсами для вычислительно интенсивных нейросетевых нагрузок, что позволяет повысить эффективность использования аппаратного обеспечения при запуске моделей в изолированной среде. Hacker News · Инфраструктура для агентов Оптимизация инференса LLM через использование In-Memory слоев Разработчики Mapbox представили метод оптимизации работы с большими языковыми моделями, позволяющий снизить нагрузку на систему за счет использования промежуточных слоев памяти. Подход фокусируется на композиции моделей, где часть вычислений переносится в оперативную память, что позволяет эффективно обрабатывать сложные запросы без необходимости постоянного обращения к тяжелым весам основной модели. Hacker News · Инфраструктура для агентов LLM-d: распределенный инференс больших языковых моделей Проект LLM-d предлагает архитектурное решение для распределенного запуска LLM, позволяя объединять вычислительные мощности нескольких узлов для инференса моделей, которые не помещаются в память одного GPU. Система использует механизм разделения весов модели между участниками сети, что снижает требования к локальному «железу» и позволяет запускать тяжелые архитектуры на потребительском оборудовании. Hacker News · Инфраструктура для агентов Infinite Context Paging Engine: нулевой копирование контекста для LLM Разработчики представили Infinite Context Paging Engine — инструмент на Rust для управления контекстом в больших языковых моделях (LLM) с нулевым копированием данных. Решение позволяет обрабатывать контекстные окна без дублирования данных, что ускоряет работу моделей и снижает нагрузку на память. Hacker News · Инференс и железо Sors: прокси на Rust для оптимизации кэша vLLM Разработчики представили Sors — прокси-сервер на Rust, который переупорядочивает запросы к моделям, чтобы максимизировать использование префиксного кэша vLLM. Это позволяет ускорить обработку запросов и снизить нагрузку на вычислительные ресурсы. Hacker News · Инференс и железо Локальный запуск LLM: архитектурные вызовы и практические подходы Локальный инференс моделей становится ключевым элементом инфраструктуры для тех, кто стремится к приватности данных и снижению зависимости от облачных API. Основная сложность при запуске больших языковых моделей на собственном оборудовании заключается в управлении памятью и пропускной способностью шины данных. Эффективная работа требует оптимизации весов моделей, использования квантования и специализированных библиотек, которые позволяют распределять нагрузку между центральным и графическим процессорами. Hacker News · Инференс и железо Запуск локальных LLM на встроенной графике AMD Ryzen 8700G Исследование демонстрирует возможности запуска современных языковых моделей на встроенном графическом ядре процессора AMD Ryzen 8700G. Использование iGPU Radeon 780M позволяет достичь производительности 13–15 токенов в секунду для модели Gemma 4 и 9–12 токенов для Qwen 3.6, что делает интегрированные решения жизнеспособным вариантом для локального инференса без необходимости в дискретных видеокартах. Hacker News · Инференс и железо Kog Laneformer 2B: оптимизированная модель для низкозадержечного инференса Компания Kog представила Laneformer 2B — специализированную языковую модель, разработанную для минимизации задержек при выполнении задач в реальном времени. Модель оптимизирована для работы в составе собственного инференс-движка Kog, обеспечивая высокую скорость генерации токенов при сохранении компактного размера в 2 миллиарда параметров, что критически важно для высоконагруженных агентных систем. Hacker News · Инфраструктура для агентов LiteLLM переводит ключевые компоненты на Rust Популярный прокси-сервер LiteLLM, используемый для унификации API различных языковых моделей, объявил о миграции критически важных частей своей инфраструктуры на язык программирования Rust. Этот переход направлен на повышение производительности системы, снижение задержек при обработке запросов и оптимизацию потребления ресурсов при высокой нагрузке. Hacker News · Инференс и железо DualPath: новый метод оптимизации пропускной способности памяти при работе LLM Исследователи представили DualPath — архитектурное решение, устраняющее «узкое горлышко» пропускной способности памяти при инференсе агентных LLM. Метод разделяет потоки данных для обработки весов модели и контекста, что позволяет значительно ускорить генерацию токенов в сценариях с длинным контекстом и частыми обращениями к памяти, характерными для современных автономных агентов.

← Все материалы