arXiv · 07.07.2026 ·Инфраструктура для агентов

DepthWeave-KV: новый метод сжатия KV-кэша для длинного контекста

Исследователи представили DepthWeave-KV — метод адаптивного сжатия KV-кэша, решающий проблему нехватки памяти при работе с длинным контекстом. В отличие от стандартных подходов, равномерно распределяющих бюджет сжатия, новый алгоритм использует послойную факторизацию остатков, динамически выделяя ресурсы для наиболее важных токенов. Это позволяет значительно снизить требования к пропускной способности памяти без потери точности извлечения информации.

Основная сложность современных LLM при обработке больших объемов данных заключается в огромном объеме KV-кэша, который быстро заполняет доступную видеопамять. Традиционные методы сжатия часто игнорируют тот факт, что разные слои модели и разные типы токенов (лексические маркеры против семантических состояний) требуют разной степени детализации. DepthWeave-KV анализирует структуру активаций и применяет токено-адаптивную стратегию, сохраняя критически важные данные для точной генерации.

Технология позволяет эффективно масштабировать инференс моделей на устройствах с ограниченными аппаратными ресурсами. Метод обеспечивает баланс между сохранением контекстуальной целостности и оптимизацией использования памяти, что критически важно для работы с длинными документами, сложными агентными цепочками и многоходовыми диалогами, где каждый токен кэша влияет на итоговый результат.

Ключевые факты

Метод DepthWeave-KV использует токено-адаптивную факторизацию остатков для управления KV-кэшем.
Алгоритм динамически распределяет бюджет сжатия между слоями, учитывая семантическую важность токенов.
Решение направлено на снижение нагрузки на пропускную способность памяти при инференсе моделей с длинным контекстом.
Подход минимизирует деградацию качества ответов, характерную для методов с равномерным сжатием кэша.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Инференс и железо FreqDepthKV: новый метод сжатия KV-кэша для длинного контекста Исследователи представили FreqDepthKV — метод оптимизации инференса LLM, решающий проблему нехватки памяти при работе с длинными контекстами. Технология разделяет KV-состояния на низкочастотные общие компоненты и разреженные высокочастотные детали. Это позволяет значительно сократить объем кэша без потери точности при извлечении информации и выполнении многошаговых логических задач, что критично для производительности современных моделей. Hacker News · Инфраструктура для агентов VeriCache: метод сжатия KV-кэша без потери точности при инференсе LLM Исследователи представили VeriCache — новый подход к оптимизации KV-кэша, который позволяет сжимать данные без потери качества генерации. Метод решает проблему избыточного потребления памяти при работе с длинными контекстами, сохраняя при этом точность ответов модели на уровне стандартных систем. Это решение значительно снижает требования к видеопамяти при развертывании крупных языковых моделей в продакшене. arXiv · Инфраструктура для агентов Новый метод сжатия KV-кэша для LLM снижает нагрузку на память Исследователи предложили метод AnchorKV для сжатия ключевых значений (KV) в кэше языковых моделей. Это решение направлено на уменьшение нагрузки на память и энергопотребление при инференсе, что особенно актуально для крупных языковых моделей (LLM). MarkTechPost · Инфраструктура для агентов Методы сжатия KV-кэша: обзор подходов TurboQuant, OSCAR и EpiCache При работе с длинным контекстом в современных языковых моделях объем KV-кэша (Key-Value cache) часто превышает размер весов самой модели, создавая критическое узкое место в оперативной памяти. Для решения этой проблемы активно развиваются методы сжатия, среди которых выделяются три ключевых подхода: TurboQuant, OSCAR и EpiCache. Каждый из них предлагает свой способ оптимизации хранения данных, позволяя эффективно обрабатывать массивы токенов без существенной потери точности генерации. arXiv · Инфраструктура для агентов GSRQ: новый метод сжатия KV-кэша до уровня ниже 1 бита Исследователи представили метод Gain-Shape Residual Quantization (GSRQ), позволяющий сжимать KV-кэш в больших языковых моделях до значений менее 1 бита на параметр. Технология решает проблему линейного роста потребления памяти при увеличении контекстного окна, сохраняя при этом высокую точность генерации за счет раздельного кодирования амплитуды и формы векторов активаций. Hacker News · Инфраструктура для агентов Автоматическое кэширование префиксов в vLLM Команда vLLM представила механизм автоматического кэширования префиксов (Automatic Prefix Caching), который значительно ускоряет работу с длинными контекстами и многократными запросами. Технология позволяет повторно использовать KV-кэш для общих частей промптов, таких как системные инструкции или большие документы в RAG-системах, что снижает потребление памяти и сокращает время генерации токенов. arXiv · Инфраструктура для агентов UltraQuant: оптимизация KV-кэша до 4 бит для работы с длинным контекстом Исследователи представили метод UltraQuant, направленный на решение проблемы нехватки памяти при работе с длинными контекстами в ИИ-агентах. Основная нагрузка в таких системах ложится на KV-кэш (Key-Value cache), который хранит промежуточные состояния модели. Использование 4-битного квантования позволяет значительно сократить объем занимаемой видеопамяти, сохраняя при этом точность генерации текста. Hacker News · Инференс и железо DualPath: новый метод оптимизации пропускной способности памяти при работе LLM Исследователи представили DualPath — архитектурное решение, устраняющее «узкое горлышко» пропускной способности памяти при инференсе агентных LLM. Метод разделяет потоки данных для обработки весов модели и контекста, что позволяет значительно ускорить генерацию токенов в сценариях с длинным контекстом и частыми обращениями к памяти, характерными для современных автономных агентов. Hacker News · Инфраструктура для агентов Метод Prefill Tax: оптимизация контекста для локальных LLM Разработчики представили концепцию «Prefill Tax» — метод оптимизации работы локальных LLM, при котором модель повторно анализирует собственный системный промпт перед генерацией ответа. Этот подход позволяет снизить вычислительные затраты на обработку длинных контекстных окон и повысить точность следования инструкциям, минимизируя галлюцинации при работе с большими объемами данных в агентных системах. Hacker News · Инференс и железо Как кеш ключ-значение влияет на VRAM при работе с длинным контекстом Работа с длинными контекстами в ИИ-моделях — одна из ключевых задач при разработке агентов. Однако увеличение длины контекста приводит к росту потребления VRAM, что ограничивает возможности инференса на доступном железе. В статье разбирается, как именно кеш ключ-значение (KV cache) влияет на использование памяти и какие стратегии позволяют оптимизировать этот процесс.

← Все материалы