Hacker News · 31.07.2026 ·Инфраструктура для агентов

HexCore: высокопроизводительный аллокатор Paged KV Cache для LLM

HexCore — это специализированный аллокатор памяти для Paged KV Cache, написанный на C++20 и CUDA. Проект оптимизирует управление памятью при инференсе больших языковых моделей, минимизируя задержки и повышая эффективность использования GPU. Решение ориентировано на разработчиков инфраструктуры, которым требуется низкоуровневый контроль над распределением ресурсов при работе с длинными контекстами и динамическими запросами.

Технология Paged Attention стала стандартом для эффективной обработки контекста в LLM, позволяя хранить ключи и значения (KV) не в непрерывных блоках памяти, а в фрагментированных страницах. HexCore реализует этот подход на уровне низкоуровневого управления памятью, что позволяет снизить фрагментацию и увеличить пропускную способность при параллельной обработке множества запросов.

Использование C++20 в сочетании с CUDA дает возможность тонкой настройки работы с памятью видеокарты. Это критически важно для систем, где требуется высокая скорость генерации токенов (tokens per second) и минимальное время отклика (latency) при работе с моделями, требующими значительных объемов VRAM для хранения истории диалога.

Ключевые факты

Реализован на C++20 с использованием CUDA для прямого управления памятью GPU.
Фокусируется на оптимизации Paged KV Cache для снижения задержек инференса.
Решает проблему фрагментации памяти при обработке длинных контекстов в LLM.
Предназначен для интеграции в высокопроизводительные движки инференса моделей.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

arXiv · Инфраструктура для агентов HiKV: иерархическое сжатие KV-кэша для ускорения работы длинных контекстов в LLM Исследователи представили HiKV — метод аппаратного и алгоритмического ускорения декодирования LLM, решающий проблему нехватки памяти при работе с длинными контекстами. Система использует иерархическую оценку важности токенов для сжатия KV-кэша на двух уровнях, что позволяет значительно снизить требования к видеопамяти и повысить пропускную способность инференса без существенной потери точности генерации. Hacker News · Инференс и железо Kortex: движок для инференса LLM с поддержкой out-of-core вычислений на Rust Kortex — это новый движок для выполнения больших языковых моделей, написанный с нуля на языке Rust. Его ключевая особенность заключается в реализации out-of-core инференса, что позволяет запускать модели, размер которых превышает объем доступной видеопамяти (VRAM), эффективно используя оперативную память системы для хранения весов и промежуточных вычислений в процессе генерации. Hacker News · Инфраструктура для агентов VeriCache: метод сжатия KV-кэша без потери точности при инференсе LLM Исследователи представили VeriCache — новый подход к оптимизации KV-кэша, который позволяет сжимать данные без потери качества генерации. Метод решает проблему избыточного потребления памяти при работе с длинными контекстами, сохраняя при этом точность ответов модели на уровне стандартных систем. Это решение значительно снижает требования к видеопамяти при развертывании крупных языковых моделей в продакшене. Hacker News · Инфраструктура для агентов Снижение затрат на инференс длинных контекстов через выгрузку KV-кэша Проект OpenLake представил решение для оптимизации инференса LLM с длинным контекстом, позволяющее сократить расходы на 50%. Технология использует внешнее хранилище для KV-кэша (Key-Value Cache), что позволяет эффективно управлять памятью при обработке больших объемов данных, снижая нагрузку на GPU и повышая пропускную способность систем при работе с длинными последовательностями. Hacker News · Инфраструктура для агентов ContextCore: ускорение контекстной памяти для ИИ-агентов на Apple Silicon Проект ContextCore предлагает решение для оптимизации работы с контекстной памятью в локальных ИИ-агентах на устройствах Apple. Используя аппаратное ускорение графических процессоров Apple Silicon, библиотека позволяет значительно повысить скорость обработки и извлечения данных из векторных хранилищ, что критически важно для обеспечения низкой задержки при выполнении агентных задач непосредственно на пользовательском оборудовании. Hacker News · Инфраструктура для агентов Luce KVFlash: 256K контекст и 72MiB кэша на GPU Команда Luce-Org представила KVFlash — оптимизацию для работы с большими объёмами контекста в GPU. Решение позволяет обрабатывать до 256K контекста с использованием 72MiB кэша ключ-значение (KV) на видеокарте. Это существенно расширяет возможности локального инференса, особенно для задач, требующих глубокого контекста, таких как RAG или сложные диалоги. arXiv · Обучение и дообучение Оптимизация дообучения LLM с длинным контекстом при ограниченной VRAM Исследователи представили метод эффективного дообучения моделей с длинным контекстом, решающий проблему нехватки видеопамяти. Комбинируя иерархическое глобальное внимание (HGA), сегментированное обратное распространение ошибки и многоуровневое хранение KV-кэша, авторы добились возможности обучения на длинных последовательностях без необходимости в огромных вычислительных мощностях, выгружая неактивные сегменты данных в оперативную память или на накопители NVMe. Hacker News · Инфраструктура для агентов Оптимизация инференса LLM через использование In-Memory слоев Разработчики Mapbox представили метод оптимизации работы с большими языковыми моделями, позволяющий снизить нагрузку на систему за счет использования промежуточных слоев памяти. Подход фокусируется на композиции моделей, где часть вычислений переносится в оперативную память, что позволяет эффективно обрабатывать сложные запросы без необходимости постоянного обращения к тяжелым весам основной модели. Hacker News · Инференс и железо DualPath: новый метод оптимизации пропускной способности памяти при работе LLM Исследователи представили DualPath — архитектурное решение, устраняющее «узкое горлышко» пропускной способности памяти при инференсе агентных LLM. Метод разделяет потоки данных для обработки весов модели и контекста, что позволяет значительно ускорить генерацию токенов в сценариях с длинным контекстом и частыми обращениями к памяти, характерными для современных автономных агентов. Hacker News · Инференс и железо Оптимизация инференса для длинного контекста на потребительских GPU Исследователи представили метод эффективной обработки контекста до миллиона токенов на обычном потребительском оборудовании. Технология использует разреженность (sparsity) вычислений в механизме внимания, что позволяет радикально снизить требования к видеопамяти и вычислительным мощностям. Это решение делает работу с огромными массивами данных доступной вне специализированных серверных кластеров, открывая новые возможности для локального запуска сложных моделей.

← Все материалы