arXiv · 24.07.2026 ·Инфраструктура для агентов

HiKV: иерархическое сжатие KV-кэша для ускорения работы длинных контекстов в LLM

Исследователи представили HiKV — метод аппаратного и алгоритмического ускорения декодирования LLM, решающий проблему нехватки памяти при работе с длинными контекстами. Система использует иерархическую оценку важности токенов для сжатия KV-кэша на двух уровнях, что позволяет значительно снизить требования к видеопамяти и повысить пропускную способность инференса без существенной потери точности генерации.

Основная сложность современных моделей с длинным контекстом заключается в линейном росте объема KV-кэша, который быстро заполняет доступную память GPU. HiKV оптимизирует этот процесс, разделяя данные на критически важные и менее значимые. Алгоритмическая часть метода динамически определяет, какие токены можно сжать или отбросить, в то время как аппаратная поддержка обеспечивает эффективную работу с разреженными структурами данных на уровне железа.

Такой подход позволяет запускать модели с контекстным окном в сотни тысяч токенов на стандартном оборудовании, где ранее это было невозможно из-за ограничений VRAM. Интеграция HiKV в пайплайны инференса дает возможность кратно увеличить количество одновременных запросов к модели, сохраняя при этом низкую задержку ответа, что критически важно для агентных систем и сложных RAG-решений.

Ключевые факты

HiKV использует двухэтапную иерархическую стратегию сжатия KV-кэша для минимизации избыточности данных.
Метод объединяет алгоритмическую оптимизацию выбора токенов с аппаратным ускорением обработки разреженных кэшей.
Решение направлено на устранение главного «бутылочного горлышка» при работе с длинными контекстами — дефицита памяти GPU.
Технология позволяет существенно повысить эффективность инференса LLM в задачах, требующих обработки больших объемов входных данных.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Инфраструктура для агентов VeriCache: метод сжатия KV-кэша без потери точности при инференсе LLM Исследователи представили VeriCache — новый подход к оптимизации KV-кэша, который позволяет сжимать данные без потери качества генерации. Метод решает проблему избыточного потребления памяти при работе с длинными контекстами, сохраняя при этом точность ответов модели на уровне стандартных систем. Это решение значительно снижает требования к видеопамяти при развертывании крупных языковых моделей в продакшене. Hacker News · Инфраструктура для агентов Снижение затрат на инференс длинных контекстов через выгрузку KV-кэша Проект OpenLake представил решение для оптимизации инференса LLM с длинным контекстом, позволяющее сократить расходы на 50%. Технология использует внешнее хранилище для KV-кэша (Key-Value Cache), что позволяет эффективно управлять памятью при обработке больших объемов данных, снижая нагрузку на GPU и повышая пропускную способность систем при работе с длинными последовательностями. arXiv · Инфраструктура для агентов DepthWeave-KV: новый метод сжатия KV-кэша для длинного контекста Исследователи представили DepthWeave-KV — метод адаптивного сжатия KV-кэша, решающий проблему нехватки памяти при работе с длинным контекстом. В отличие от стандартных подходов, равномерно распределяющих бюджет сжатия, новый алгоритм использует послойную факторизацию остатков, динамически выделяя ресурсы для наиболее важных токенов. Это позволяет значительно снизить требования к пропускной способности памяти без потери точности извлечения информации. Hacker News · Инфраструктура для агентов Автоматическое кэширование префиксов в vLLM Команда vLLM представила механизм автоматического кэширования префиксов (Automatic Prefix Caching), который значительно ускоряет работу с длинными контекстами и многократными запросами. Технология позволяет повторно использовать KV-кэш для общих частей промптов, таких как системные инструкции или большие документы в RAG-системах, что снижает потребление памяти и сокращает время генерации токенов. arXiv · Обучение и дообучение Оптимизация дообучения LLM с длинным контекстом при ограниченной VRAM Исследователи представили метод эффективного дообучения моделей с длинным контекстом, решающий проблему нехватки видеопамяти. Комбинируя иерархическое глобальное внимание (HGA), сегментированное обратное распространение ошибки и многоуровневое хранение KV-кэша, авторы добились возможности обучения на длинных последовательностях без необходимости в огромных вычислительных мощностях, выгружая неактивные сегменты данных в оперативную память или на накопители NVMe. arXiv · Инференс и железо FreqDepthKV: новый метод сжатия KV-кэша для длинного контекста Исследователи представили FreqDepthKV — метод оптимизации инференса LLM, решающий проблему нехватки памяти при работе с длинными контекстами. Технология разделяет KV-состояния на низкочастотные общие компоненты и разреженные высокочастотные детали. Это позволяет значительно сократить объем кэша без потери точности при извлечении информации и выполнении многошаговых логических задач, что критично для производительности современных моделей. arXiv · Инфраструктура для агентов Новый метод сжатия KV-кэша для LLM снижает нагрузку на память Исследователи предложили метод AnchorKV для сжатия ключевых значений (KV) в кэше языковых моделей. Это решение направлено на уменьшение нагрузки на память и энергопотребление при инференсе, что особенно актуально для крупных языковых моделей (LLM). Hacker News · Машинное обучение KV-Cache Grafting: новый метод повышения точности LLM без дообучения Исследователи представили метод KV-Cache Grafting, позволяющий значительно повысить производительность замороженных 12-миллиардных языковых моделей в задачах математического рассуждения. Техника достигает 93,3% точности на бенчмарке AIME, используя манипуляции с кэшем ключей и значений (KV-cache) во время инференса, что позволяет улучшить способности модели без необходимости дорогостоящего дообучения или изменения весов нейросети. arXiv · Инфраструктура для агентов GSRQ: новый метод сжатия KV-кэша до уровня ниже 1 бита Исследователи представили метод Gain-Shape Residual Quantization (GSRQ), позволяющий сжимать KV-кэш в больших языковых моделях до значений менее 1 бита на параметр. Технология решает проблему линейного роста потребления памяти при увеличении контекстного окна, сохраняя при этом высокую точность генерации за счет раздельного кодирования амплитуды и формы векторов активаций. arXiv · Инфраструктура для агентов UltraQuant: оптимизация KV-кэша до 4 бит для работы с длинным контекстом Исследователи представили метод UltraQuant, направленный на решение проблемы нехватки памяти при работе с длинными контекстами в ИИ-агентах. Основная нагрузка в таких системах ложится на KV-кэш (Key-Value cache), который хранит промежуточные состояния модели. Использование 4-битного квантования позволяет значительно сократить объем занимаемой видеопамяти, сохраняя при этом точность генерации текста.

← Все материалы