arXiv · 04.08.2026 ·Инфраструктура для агентов

Ускорение инференса через перенос KV-кэша между моделями разного размера

Исследователи предложили метод переноса KV-кэша между моделями одного семейства, что позволяет избежать повторного вычисления префилла при переключении между моделями разного размера. Использование линейного отображения кэша позволяет передавать контекст от одной модели к другой, существенно сокращая задержки при динамической маршрутизации запросов и каскадировании моделей в продакшн-системах.

В современных архитектурах LLM переключение между моделями в рамках одной сессии требует повторной обработки всей истории диалога, что создает значительные накладные расходы на вычисления. Новый подход использует математическую закономерность, согласно которой KV-кэши моделей одного семейства обладают линейной структурой. Это позволяет трансформировать кэш «исходной» модели в формат, пригодный для «целевой» модели, даже если они различаются по количеству слоев или размерности скрытых состояний.

Данная технология критически важна для систем, где стоимость и качество ответов балансируются в реальном времени. Вместо того чтобы тратить ресурсы на повторный префилл (prefill) при переходе от быстрой, но менее точной модели к более мощной, система просто адаптирует уже накопленный контекст. Это открывает возможности для более эффективного использования вычислительных мощностей в агентных платформах и сервисах с высокой частотой смены моделей.

Ключевые факты

Метод позволяет переносить KV-кэш между моделями разного размера внутри одного семейства без потери контекста.
Использование линейного отображения исключает необходимость повторного префилла при смене модели.
Технология оптимизирует работу систем с динамической маршрутизацией запросов и каскадированием моделей.
Подход значительно снижает latency при переключении между моделями в ходе одного диалога.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Инфраструктура для агентов VeriCache: метод сжатия KV-кэша без потери точности при инференсе LLM Исследователи представили VeriCache — новый подход к оптимизации KV-кэша, который позволяет сжимать данные без потери качества генерации. Метод решает проблему избыточного потребления памяти при работе с длинными контекстами, сохраняя при этом точность ответов модели на уровне стандартных систем. Это решение значительно снижает требования к видеопамяти при развертывании крупных языковых моделей в продакшене. arXiv · Инференс и железо ResKV: новый метод сжатия KV-кэша для работы с длинным контекстом Исследователи представили метод ResKV, решающий проблему потери точности при сжатии KV-кэша в LLM. В отличие от стандартных методов удаления токенов, ResKV восстанавливает вклад отброшенной информации через аппроксимацию, что позволяет сохранять качество генерации при ограниченном объеме памяти. Технология значительно повышает эффективность инференса моделей с длинным контекстом, минимизируя искажения в механизме внимания. Hacker News · Инференс и железо Predictive Speculative KV Replication для ускорения инференса LLM Исследователи представили метод Predictive Speculative KV Replication, направленный на оптимизацию инференса LLM при неравномерных нагрузках. Технология решает проблему «узкого места» при передаче KV-кэша, позволяя эффективно масштабировать генерацию текста в распределенных системах. Подход значительно снижает задержки (latency) при обработке запросов с высокой вариативностью, повышая общую пропускную способность вычислительных кластеров без потери точности ответов модели. Hacker News · Инфраструктура для агентов Метод Prefill Tax: оптимизация контекста для локальных LLM Разработчики представили концепцию «Prefill Tax» — метод оптимизации работы локальных LLM, при котором модель повторно анализирует собственный системный промпт перед генерацией ответа. Этот подход позволяет снизить вычислительные затраты на обработку длинных контекстных окон и повысить точность следования инструкциям, минимизируя галлюцинации при работе с большими объемами данных в агентных системах. Hacker News · Инфраструктура для агентов Автоматическое кэширование префиксов в vLLM Команда vLLM представила механизм автоматического кэширования префиксов (Automatic Prefix Caching), который значительно ускоряет работу с длинными контекстами и многократными запросами. Технология позволяет повторно использовать KV-кэш для общих частей промптов, таких как системные инструкции или большие документы в RAG-системах, что снижает потребление памяти и сокращает время генерации токенов. MarkTechPost · Инфраструктура для агентов Методы сжатия KV-кэша: обзор подходов TurboQuant, OSCAR и EpiCache При работе с длинным контекстом в современных языковых моделях объем KV-кэша (Key-Value cache) часто превышает размер весов самой модели, создавая критическое узкое место в оперативной памяти. Для решения этой проблемы активно развиваются методы сжатия, среди которых выделяются три ключевых подхода: TurboQuant, OSCAR и EpiCache. Каждый из них предлагает свой способ оптимизации хранения данных, позволяя эффективно обрабатывать массивы токенов без существенной потери точности генерации. arXiv · Инфраструктура для агентов HiKV: иерархическое сжатие KV-кэша для ускорения работы длинных контекстов в LLM Исследователи представили HiKV — метод аппаратного и алгоритмического ускорения декодирования LLM, решающий проблему нехватки памяти при работе с длинными контекстами. Система использует иерархическую оценку важности токенов для сжатия KV-кэша на двух уровнях, что позволяет значительно снизить требования к видеопамяти и повысить пропускную способность инференса без существенной потери точности генерации. Hacker News · Прогнозы и тренды Экономия на инференсе через кэш-ориентированную маршрутизацию запросов Исследование анализирует эффективность стратегий маршрутизации запросов для снижения затрат при работе с большими языковыми моделями. Основной фокус сделан на использовании кэширования промежуточных состояний (KV-кэша) и выборе оптимальных моделей в зависимости от того, насколько запрос совпадает с уже обработанными данными. Такой подход позволяет значительно сократить расходы на облачные вычисления, избегая избыточных вычислений для повторяющихся или схожих задач. arXiv · Инфраструктура для агентов Новый метод сжатия KV-кэша для LLM снижает нагрузку на память Исследователи предложили метод AnchorKV для сжатия ключевых значений (KV) в кэше языковых моделей. Это решение направлено на уменьшение нагрузки на память и энергопотребление при инференсе, что особенно актуально для крупных языковых моделей (LLM). arXiv · Инфраструктура для агентов DepthWeave-KV: новый метод сжатия KV-кэша для длинного контекста Исследователи представили DepthWeave-KV — метод адаптивного сжатия KV-кэша, решающий проблему нехватки памяти при работе с длинным контекстом. В отличие от стандартных подходов, равномерно распределяющих бюджет сжатия, новый алгоритм использует послойную факторизацию остатков, динамически выделяя ресурсы для наиболее важных токенов. Это позволяет значительно снизить требования к пропускной способности памяти без потери точности извлечения информации.

← Все материалы