arXiv · 27.07.2026 ·Инфраструктура для агентов

PIVOT: новый метод индексации для ускорения разреженного внимания в LLM

Исследователи представили PIVOT — метод эффективной индексации групп запросов для разреженного внимания на уровне токенов. Решение устраняет квадратичную сложность O(L²) при выборе top-k токенов, характерную для систем вроде DeepSeek Sparse Attention. PIVOT оптимизирует процесс индексации, позволяя значительно снизить вычислительные затраты при работе с длинными контекстами в продакшн-системах.

В современных архитектурах с разреженным вниманием (sparse attention) механизм выбора наиболее релевантных токенов часто становится «узким местом». Индексатор вынужден перебирать все предыдущие токены для каждого запроса, что замедляет инференс при увеличении длины последовательности. PIVOT переосмысливает этот процесс, используя групповую индексацию, которая минимизирует количество необходимых операций сканирования.

Данный подход позволяет масштабировать работу с контекстом без линейного роста вычислительной нагрузки на каждый слой модели. Это критически важно для развертывания LLM в реальном времени, где задержка (latency) является определяющим фактором при обработке длинных документов или сложных агентных цепочек рассуждений.

Ключевые факты

PIVOT решает проблему O(L²) сложности при выборе top-k токенов в разреженном внимании.
Метод оптимизирует работу индексатора, который является основным ограничением в архитектурах типа DeepSeek Sparse Attention.
Технология направлена на повышение эффективности инференса при обработке длинных последовательностей токенов.
Разработка позволяет снизить вычислительные затраты на каждом слое нейронной сети при сохранении точности внимания.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Оптимизация инференса LLM через адаптивную глубину декодирования Исследователи представили метод Depth Exploration, оптимизирующий процесс генерации токенов в авторегрессионных моделях. Вместо прогона каждого токена через все слои нейросети, система динамически определяет глубину вычислений, необходимую для уверенного предсказания. Это позволяет существенно сократить вычислительные затраты при сохранении точности, так как многие токены становятся предсказуемыми на промежуточных этапах обработки данных внутри архитектуры модели. arXiv · Инфраструктура для агентов HiKV: иерархическое сжатие KV-кэша для ускорения работы длинных контекстов в LLM Исследователи представили HiKV — метод аппаратного и алгоритмического ускорения декодирования LLM, решающий проблему нехватки памяти при работе с длинными контекстами. Система использует иерархическую оценку важности токенов для сжатия KV-кэша на двух уровнях, что позволяет значительно снизить требования к видеопамяти и повысить пропускную способность инференса без существенной потери точности генерации. arXiv · Машинное обучение AVQ-Attention: новый метод оптимизации внимания в трансформерах Исследователи представили AVQ-Attention — метод адаптивного векторного квантования для механизмов внимания в трансформерах. В отличие от стандартных подходов, равномерно распределяющих вычислительные ресурсы, этот алгоритм динамически перераспределяет емкость кодовой книги. Это позволяет эффективнее обрабатывать области с высокой концентрацией внимания, снижая вычислительную сложность с квадратичной до линейной относительно длины последовательности при сохранении точности модели. Hacker News · Инференс и железо Оптимизация инференса для длинного контекста на потребительских GPU Исследователи представили метод эффективной обработки контекста до миллиона токенов на обычном потребительском оборудовании. Технология использует разреженность (sparsity) вычислений в механизме внимания, что позволяет радикально снизить требования к видеопамяти и вычислительным мощностям. Это решение делает работу с огромными массивами данных доступной вне специализированных серверных кластеров, открывая новые возможности для локального запуска сложных моделей. arXiv · Машинное обучение Адаптивный выбор токенов для оптимизации обучения LLM с подкреплением Исследователи представили метод Relative Surprisal Index (RSI) для оптимизации обучения LLM с помощью подкрепления с проверяемыми наградами (RLVR). Новый подход позволяет динамически определять, какие токены в процессе генерации рассуждений наиболее важны для достижения правильного результата. Это снижает вычислительные затраты и повышает эффективность обучения моделей при решении сложных логических задач. arXiv · Инфраструктура для агентов DepthWeave-KV: новый метод сжатия KV-кэша для длинного контекста Исследователи представили DepthWeave-KV — метод адаптивного сжатия KV-кэша, решающий проблему нехватки памяти при работе с длинным контекстом. В отличие от стандартных подходов, равномерно распределяющих бюджет сжатия, новый алгоритм использует послойную факторизацию остатков, динамически выделяя ресурсы для наиболее важных токенов. Это позволяет значительно снизить требования к пропускной способности памяти без потери точности извлечения информации. Hacker News · Инференс и железо DualPath: новый метод оптимизации пропускной способности памяти при работе LLM Исследователи представили DualPath — архитектурное решение, устраняющее «узкое горлышко» пропускной способности памяти при инференсе агентных LLM. Метод разделяет потоки данных для обработки весов модели и контекста, что позволяет значительно ускорить генерацию токенов в сценариях с длинным контекстом и частыми обращениями к памяти, характерными для современных автономных агентов. arXiv · Исследования и наука Новый метод анализа внимания LLM при работе с длинным контекстом Исследователи представили метод Logit-Contribution Scoring для идентификации «нелитеральных» голов внимания в LLM. В отличие от традиционных подходов, которые ищут прямое копирование токенов из контекста, новый метод выявляет механизмы синтеза смыслов. Это позволяет точнее интерпретировать, как модели формируют ответы на основе длинных документов, не полагаясь на простое цитирование фрагментов текста. arXiv · Память и RAG TokenPilot: эффективное управление контекстом для LLM-агентов Исследователи из MIT и других ведущих университетов представили TokenPilot — новый подход к управлению контекстом для LLM-агентов, который решает проблему накопления контекста в длительных сессиях. Hacker News · Инференс и железо DeepSeek представила методы оптимизации инференса с ускорением до 85% Компания DeepSeek опубликовала техническую документацию по методам оптимизации инференса, позволяющим ускорить генерацию текста на 60–85%. Разработка фокусируется на снижении задержек при работе с большими языковыми моделями за счет эффективного управления вычислительными ресурсами и оптимизации алгоритмов обработки токенов, что критически важно для масштабируемых агентных систем и высоконагруженных сервисов.

← Все материалы