arXiv · 18.06.2026 ·Инфраструктура для агентов

UltraQuant: оптимизация KV-кэша до 4 бит для работы с длинным контекстом

Исследователи представили метод UltraQuant, направленный на решение проблемы нехватки памяти при работе с длинными контекстами в ИИ-агентах. Основная нагрузка в таких системах ложится на KV-кэш (Key-Value cache), который хранит промежуточные состояния модели. Использование 4-битного квантования позволяет значительно сократить объем занимаемой видеопамяти, сохраняя при этом точность генерации текста.

В основе подхода лежит комбинация ротационного квантования в стиле TurboQuant и кодовых книг. Авторы сравнивают эффективность этого метода с текущим стандартом FP8, реализованным в библиотеке vLLM. Результаты показывают, что сжатие кэша до 4 бит позволяет обрабатывать более длинные последовательности и повышать плотность запросов на одном графическом ускорителе без существенной деградации качества ответов модели.

Технология ориентирована на системы, где агенты часто обращаются к объемным префиксам и работают в условиях высокой конкуренции запросов. Оптимизация KV-кэша становится критическим фактором для масштабирования агентных систем, так как позволяет эффективнее использовать ресурсы GPU при обслуживании длинных диалоговых сессий и сложных сценариев взаимодействия.

Источник: arXiv

Похожие материалы

MarkTechPost · Инфраструктура для агентов Методы сжатия KV-кэша: обзор подходов TurboQuant, OSCAR и EpiCache При работе с длинным контекстом в современных языковых моделях объем KV-кэша (Key-Value cache) часто превышает размер весов самой модели, создавая критическое узкое место в оперативной памяти. Для решения этой проблемы активно развиваются методы сжатия, среди которых выделяются три ключевых подхода: TurboQuant, OSCAR и EpiCache. Каждый из них предлагает свой способ оптимизации хранения данных, позволяя эффективно обрабатывать массивы токенов без существенной потери точности генерации. Hacker News · Память и RAG Новый метод компактификации кэша ключ-значение для ИИ-агентов Исследователи представили новый метод компактификации кэша ключ-значение (KV), который может значительно улучшить производительность ИИ-агентов. В статье, опубликованной на arXiv, описывается подход Still, который выполняет компактификацию за один проход, что снижает накладные расходы и ускоряет работу систем с большими объёмами данных. Lobsters · Инференс и железо TurboQuant ускоряет инференс моделей на 30% без потери точности Команда Baseten представила TurboQuant — метод оптимизации инференса, который ускоряет работу моделей на 30% без потери точности. Разработчики провели 31 час на математических выкладках, чтобы создать алгоритм, который автоматически выбирает оптимальные параметры квантования для различных моделей. Это особенно важно для агентов, где скорость обработки запросов напрямую влияет на пользовательский опыт. Hacker News · Инференс и железо Как кеш ключ-значение влияет на VRAM при работе с длинным контекстом Работа с длинными контекстами в ИИ-моделях — одна из ключевых задач при разработке агентов. Однако увеличение длины контекста приводит к росту потребления VRAM, что ограничивает возможности инференса на доступном железе. В статье разбирается, как именно кеш ключ-значение (KV cache) влияет на использование памяти и какие стратегии позволяют оптимизировать этот процесс. The latest research from Google · Модели и релизы TurboQuant: алгоритмы для сверхкомпактных моделей Исследователи Google DeepMind представили TurboQuant — набор алгоритмов для экстремальной компрессии нейросетей. Технология позволяет сократить размер модели в 10–100 раз без потери точности, что критически важно для локального развёртывания ИИ-агентов. Hacker News · Инфраструктура для агентов Luce KVFlash: 256K контекст и 72MiB кэша на GPU Команда Luce-Org представила KVFlash — оптимизацию для работы с большими объёмами контекста в GPU. Решение позволяет обрабатывать до 256K контекста с использованием 72MiB кэша ключ-значение (KV) на видеокарте. Это существенно расширяет возможности локального инференса, особенно для задач, требующих глубокого контекста, таких как RAG или сложные диалоги. arXiv · Инфраструктура для агентов Новый метод сжатия KV-кэша для LLM снижает нагрузку на память Исследователи предложили метод AnchorKV для сжатия ключевых значений (KV) в кэше языковых моделей. Это решение направлено на уменьшение нагрузки на память и энергопотребление при инференсе, что особенно актуально для крупных языковых моделей (LLM). arXiv · Инференс и железо Оптимизация INT8 вычислений для диффузионных трансформеров на потребительских GPU Исследователи из Ideogram представили новый подход к оптимизации инференса диффузионных трансформеров на потребительских GPU. В статье, опубликованной на arXiv, они показывают, что посттрейнинговая квантование в INT8 (W8A8) часто оказывается медленнее, чем альтернативы в FP8 и NF4, несмотря на ожидания. Это связано с тем, что в текущих реализациях веса и активации квантуются только для того, чтобы сразу же деквантоваться обратно в bf16 и выполнять матричное умножение в этом формате. Hacker News · Инфраструктура для агентов Оптимизация контекста для снижения расхода токенов в ИИ-агентах Разработчики представили решение, позволяющее сократить потребление токенов более чем на 60% при выполнении агентных задач. Основной принцип работы заключается в автоматическом выявлении и удалении избыточного, повторяющегося контекста, который часто накапливается в ходе многошаговых рассуждений или длительных сессий взаимодействия с языковыми моделями. Hacker News · Инфраструктура для агентов Оптимизация контекста и кэширование в ИИ-системах Эффективная работа с контекстом остается ключевым фактором производительности при развертывании LLM. Основная задача заключается в минимизации избыточных вычислений при обработке длинных последовательностей, где значительная часть данных повторяется от запроса к запросу. Использование механизмов кэширования позволяет сохранять промежуточные состояния внимания (KV-кэш) для неизменяемых фрагментов промпта, что существенно снижает время отклика и затраты на инференс.

← Все материалы