arXiv · 23.07.2026 ·Машинное обучение

Новый метод оценки ошибок при сжатии KV-кэша через рандомизацию

Исследователи предложили новый подход к управлению KV-кэшем в LLM, решающий проблему непредсказуемых ошибок при удалении токенов. Традиционные детерминированные методы удаления часто приводят к неконтролируемому росту погрешности вычислений внимания. Авторы доказали, что рандомизированное проектирование позволяет восстановить консистентность оценок ошибки, обеспечивая более надежную работу систем инференса при ограничении памяти.

При стандартном подходе (top-k) система удаляет токены с низким показателем важности, не имея возможности оценить реальное влияние этого процесса на итоговый результат. Математический анализ показал, что при детерминированном подходе можно изменить удаленные значения так, что сохраненные данные останутся прежними, а ошибка вывода возрастет произвольно. Это делает невозможным создание надежного оценщика ошибки в реальном времени.

Внедрение рандомизированных стратегий позволяет обойти это фундаментальное ограничение. Метод «сертификатов ошибки» дает возможность системе инференса получать статистически обоснованные гарантии качества генерации даже при значительном сокращении объема KV-кэша. Это критически важно для оптимизации длинных контекстов в продакшн-системах, где экономия видеопамяти напрямую влияет на стоимость и скорость обслуживания запросов.

Ключевые факты

Детерминированные методы удаления KV-кэша (top-k) математически неспособны гарантировать точность, так как ошибка может расти бесконтрольно при неизменных сохраненных данных.
Предложенный метод рандомизированного проектирования позволяет создавать «сертификаты ошибки», обеспечивающие консистентную оценку качества вывода.
Исследование доказывает, что при использовании случайных стратегий удаления можно получить теоретические гарантии на отклонение внимания (attention-output error).
Работа предлагает решение для масштабирования LLM с длинным контекстом без потери контроля над точностью модели при агрессивном сжатии кэша.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Lobsters · Инфраструктура для агентов Оптимизация затрат на KV-кэширование в агентных рабочих процессах Исследование выявило, что неэффективное управление временем жизни кэша (TTL) в современных LLM-сервисах приводит к восьмикратной переплате за инференс. Анализ стратегий кэширования промптов у Anthropic, OpenAI и Google показал, что стандартные настройки часто не соответствуют реальным паттернам агентных запросов, вызывая избыточные операции перезаписи и необоснованный рост расходов на инфраструктуру. arXiv · Инфраструктура для агентов Новый метод сжатия KV-кэша для LLM снижает нагрузку на память Исследователи предложили метод AnchorKV для сжатия ключевых значений (KV) в кэше языковых моделей. Это решение направлено на уменьшение нагрузки на память и энергопотребление при инференсе, что особенно актуально для крупных языковых моделей (LLM). arXiv · Исследования и наука Масштабирование вычислений при инференсе через локализацию ошибок Исследователи представили новый метод повышения производительности LLM при решении сложных задач программирования и логики. Вместо стандартного многократного сэмплирования или последовательного уточнения, подход фокусируется на локализации ошибок на уровне токенов. Это позволяет модели эффективно пересчитывать только проблемные участки рассуждений, значительно снижая вычислительные затраты и повышая точность итогового результата. Hacker News · Машинное обучение KV-Cache Grafting: новый метод повышения точности LLM без дообучения Исследователи представили метод KV-Cache Grafting, позволяющий значительно повысить производительность замороженных 12-миллиардных языковых моделей в задачах математического рассуждения. Техника достигает 93,3% точности на бенчмарке AIME, используя манипуляции с кэшем ключей и значений (KV-cache) во время инференса, что позволяет улучшить способности модели без необходимости дорогостоящего дообучения или изменения весов нейросети. Hacker News · Инфраструктура для агентов VeriCache: метод сжатия KV-кэша без потери точности при инференсе LLM Исследователи представили VeriCache — новый подход к оптимизации KV-кэша, который позволяет сжимать данные без потери качества генерации. Метод решает проблему избыточного потребления памяти при работе с длинными контекстами, сохраняя при этом точность ответов модели на уровне стандартных систем. Это решение значительно снижает требования к видеопамяти при развертывании крупных языковых моделей в продакшене. arXiv · Исследования и наука Квантование LLM меняет поведение моделей сильнее, чем показывают метрики точности Исследователи доказали, что стандартные метрики оценки квантованных моделей, такие как перплексия и точность, не отражают реальных изменений в поведении нейросетей. Авторы работы предложили новую метрику «correctness agreement», которая отслеживает совпадение правильных ответов между базовой и сжатой моделями, выявляя скрытые деградации в логике и принятии решений, которые остаются незамеченными при обычном тестировании. arXiv · Инфраструктура для агентов DepthWeave-KV: новый метод сжатия KV-кэша для длинного контекста Исследователи представили DepthWeave-KV — метод адаптивного сжатия KV-кэша, решающий проблему нехватки памяти при работе с длинным контекстом. В отличие от стандартных подходов, равномерно распределяющих бюджет сжатия, новый алгоритм использует послойную факторизацию остатков, динамически выделяя ресурсы для наиболее важных токенов. Это позволяет значительно снизить требования к пропускной способности памяти без потери точности извлечения информации. MarkTechPost · Инфраструктура для агентов Методы сжатия KV-кэша: обзор подходов TurboQuant, OSCAR и EpiCache При работе с длинным контекстом в современных языковых моделях объем KV-кэша (Key-Value cache) часто превышает размер весов самой модели, создавая критическое узкое место в оперативной памяти. Для решения этой проблемы активно развиваются методы сжатия, среди которых выделяются три ключевых подхода: TurboQuant, OSCAR и EpiCache. Каждый из них предлагает свой способ оптимизации хранения данных, позволяя эффективно обрабатывать массивы токенов без существенной потери точности генерации. arXiv · Обучение и дообучение Оптимизация дообучения LLM с длинным контекстом при ограниченной VRAM Исследователи представили метод эффективного дообучения моделей с длинным контекстом, решающий проблему нехватки видеопамяти. Комбинируя иерархическое глобальное внимание (HGA), сегментированное обратное распространение ошибки и многоуровневое хранение KV-кэша, авторы добились возможности обучения на длинных последовательностях без необходимости в огромных вычислительных мощностях, выгружая неактивные сегменты данных в оперативную память или на накопители NVMe. Hacker News · Инфраструктура для агентов Автоматическое кэширование префиксов в vLLM Команда vLLM представила механизм автоматического кэширования префиксов (Automatic Prefix Caching), который значительно ускоряет работу с длинными контекстами и многократными запросами. Технология позволяет повторно использовать KV-кэш для общих частей промптов, таких как системные инструкции или большие документы в RAG-системах, что снижает потребление памяти и сокращает время генерации токенов.

← Все материалы