arXiv · 29.07.2026 ·Инфраструктура для агентов

InferScale: оптимизация инференса через GPU-native KV-инъекции

Исследователи представили InferScale — метод оптимизации инференса LLM, который ускоряет обработку персонализированного контекста. Вместо повторного префилла памяти при каждом запросе система выполняет прямую инъекцию KV-кэша на уровне GPU. Это позволяет значительно сократить задержки и вычислительные затраты при работе с долгосрочной памятью агентов, сохраняя при этом высокую точность генерации ответов.

Современные агентные системы, такие как Mem0 или MemGPT, часто сталкиваются с проблемой избыточных вычислений. При каждом обращении к модели система вынуждена заново обрабатывать накопленный контекст пользователя, что создает «узкое горлышко» в производительности. InferScale решает эту задачу, перенося работу с кэшем непосредственно в среду исполнения модели, минуя стадию повторной токенизации и обработки промпта.

Технология позволяет эффективно масштабировать сервисы, использующие RAG или агентную память, без необходимости переобучения моделей. Метод обеспечивает совместимость с существующими движками инференса, позволяя динамически подгружать профили пользователей в KV-кэш GPU. Это открывает путь к созданию более отзывчивых ИИ-ассистентов, способных мгновенно учитывать историю взаимодействия без потери производительности при росте объема накопленных данных.

Ключевые факты

InferScale внедряет персонализированный контекст напрямую в KV-кэш GPU, исключая повторный префилл.
Метод оптимизирует работу систем с долгосрочной памятью, таких как Mem0, MemGPT и Zep.
Технология снижает вычислительную нагрузку при обработке повторяющихся данных в многопользовательских средах.
Решение ориентировано на повышение пропускной способности серверов при работе с глубоко персонализированными LLM-агентами.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Инфраструктура для агентов Метод Prefill Tax: оптимизация контекста для локальных LLM Разработчики представили концепцию «Prefill Tax» — метод оптимизации работы локальных LLM, при котором модель повторно анализирует собственный системный промпт перед генерацией ответа. Этот подход позволяет снизить вычислительные затраты на обработку длинных контекстных окон и повысить точность следования инструкциям, минимизируя галлюцинации при работе с большими объемами данных в агентных системах. Hacker News · Инфраструктура для агентов Снижение затрат на инференс длинных контекстов через выгрузку KV-кэша Проект OpenLake представил решение для оптимизации инференса LLM с длинным контекстом, позволяющее сократить расходы на 50%. Технология использует внешнее хранилище для KV-кэша (Key-Value Cache), что позволяет эффективно управлять памятью при обработке больших объемов данных, снижая нагрузку на GPU и повышая пропускную способность систем при работе с длинными последовательностями. Hacker News · Инференс и железо Оптимизация инференса для длинного контекста на потребительских GPU Исследователи представили метод эффективной обработки контекста до миллиона токенов на обычном потребительском оборудовании. Технология использует разреженность (sparsity) вычислений в механизме внимания, что позволяет радикально снизить требования к видеопамяти и вычислительным мощностям. Это решение делает работу с огромными массивами данных доступной вне специализированных серверных кластеров, открывая новые возможности для локального запуска сложных моделей. Hacker News · Инференс и железо DualPath: новый метод оптимизации пропускной способности памяти при работе LLM Исследователи представили DualPath — архитектурное решение, устраняющее «узкое горлышко» пропускной способности памяти при инференсе агентных LLM. Метод разделяет потоки данных для обработки весов модели и контекста, что позволяет значительно ускорить генерацию токенов в сценариях с длинным контекстом и частыми обращениями к памяти, характерными для современных автономных агентов. Hacker News · Инфраструктура для агентов VeriCache: метод сжатия KV-кэша без потери точности при инференсе LLM Исследователи представили VeriCache — новый подход к оптимизации KV-кэша, который позволяет сжимать данные без потери качества генерации. Метод решает проблему избыточного потребления памяти при работе с длинными контекстами, сохраняя при этом точность ответов модели на уровне стандартных систем. Это решение значительно снижает требования к видеопамяти при развертывании крупных языковых моделей в продакшене. Hacker News · Инфраструктура для агентов Оптимизация инференса LLM через использование In-Memory слоев Разработчики Mapbox представили метод оптимизации работы с большими языковыми моделями, позволяющий снизить нагрузку на систему за счет использования промежуточных слоев памяти. Подход фокусируется на композиции моделей, где часть вычислений переносится в оперативную память, что позволяет эффективно обрабатывать сложные запросы без необходимости постоянного обращения к тяжелым весам основной модели. Hacker News · Инференс и железо Ninfer: оптимизированный движок для высокопроизводительного инференса на одном GPU Ninfer — это новый инструмент для запуска LLM, ориентированный на максимальную производительность при работе на одном графическом процессоре. Проект предлагает оптимизированную среду для инференса, позволяющую эффективнее использовать ресурсы видеокарты при выполнении генеративных задач. Решение нацелено на снижение задержек и повышение пропускной способности моделей в условиях ограниченного аппаратного обеспечения. arXiv · Память и RAG Sparse Event-KV: новый подход к управлению памятью в долгосрочных ИИ-агентах Исследователи представили концепцию Sparse Event-KV, пересматривающую принципы работы KV-кэша в долгосрочных ИИ-агентах. Авторы изучили эффективность хранения выборочных данных в кэше при удалении исходных наблюдений. Результаты показывают, что сохранение отдельных событий остается информативным для модели даже при потере контекста, что позволяет оптимизировать использование памяти без существенной потери качества генерации ответов в агентных системах. Hacker News · Инфраструктура для агентов Почему для работы LLM недостаточно оптимизации весов Современные подходы к квантованию моделей часто фокусируются исключительно на сжатии весов, однако для полноценной работы ИИ-агентов критически важна эффективная работа с контекстом и KV-кэшем. Исследование показывает, что при увеличении длины контекста требования к видеопамяти (VRAM) растут непропорционально, что делает управление памятью ключевым фактором производительности, выходящим за рамки простого уменьшения точности весов. Hacker News · Оркестрация агентов Проблема избыточной памяти в ИИ-агентах и методы оптимизации контекста Разработчики сталкиваются с проблемой «засорения» памяти ИИ-агентов нерелевантными данными из сессий. Постоянное сохранение всех транскриптов диалогов приводит к деградации качества ответов и росту затрат на токены. Для решения этой задачи предлагаются стратегии фильтрации контекста, которые позволяют агентам фокусироваться на значимой информации, игнорируя «шум» и случайные детали прошлых взаимодействий.

← Все материалы