arXiv · 23.07.2026 ·Инференс и железо

Windowed-MTP: оптимизация инференса для моделей с длинным контекстом

Исследователи представили метод Windowed-MTP, решающий проблему избыточных вычислений при использовании многотокенового предсказания (MTP) в моделях с контекстом в миллион токенов. Традиционные MTP-головки при генерации текста вынуждены обрабатывать весь KV-кэш, что создает критическую нагрузку на память и вычислительные ресурсы. Новый подход ограничивает область внимания MTP-головки, сохраняя скорость генерации без потери качества предсказаний.

В современных архитектурах MTP-головки часто становятся «узким местом», так как их работа требует выполнения полного механизма внимания по всей длине контекста. Это нивелирует преимущество спекулятивного декодирования, делая процесс генерации затратным на длинных последовательностях. Windowed-MTP предлагает использовать локальное окно внимания для драфт-модели, что позволяет значительно снизить объем вычислений KV-кэша.

Данный метод позволяет масштабировать использование MTP на модели с контекстом в миллионы токенов, не увеличивая задержку инференса. Это критически важно для систем, работающих с большими документами или длинными историями диалогов, где стоимость каждого дополнительного токена в кэше становится определяющим фактором производительности всей инфраструктуры.

Ключевые факты

Метод Windowed-MTP устраняет необходимость выполнения полного внимания по всему KV-кэшу при генерации токенов.
Решение оптимизирует работу MTP-головок, которые в стандартном исполнении становятся вычислительно дорогими при контексте в 1 млн токенов.
Подход сохраняет эффективность спекулятивного декодирования, позволяя параллельно верифицировать предложенные токены.
Технология направлена на снижение нагрузки на GPU при работе с длинными контекстами, что критично для высоконагруженных систем инференса.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Инференс и железо Оптимизация инференса для длинного контекста на потребительских GPU Исследователи представили метод эффективной обработки контекста до миллиона токенов на обычном потребительском оборудовании. Технология использует разреженность (sparsity) вычислений в механизме внимания, что позволяет радикально снизить требования к видеопамяти и вычислительным мощностям. Это решение делает работу с огромными массивами данных доступной вне специализированных серверных кластеров, открывая новые возможности для локального запуска сложных моделей. The latest research from Google · Инференс и железо Ускорение Gemini Nano на смартфонах Pixel через Multi-Token Prediction Google представила метод оптимизации инференса для моделей Gemini Nano, работающих локально на устройствах Pixel. Технология Multi-Token Prediction (MTP) позволяет модели предсказывать несколько будущих токенов за один проход, что значительно повышает скорость генерации текста без увеличения требований к вычислительным ресурсам. Это решение критически важно для обеспечения плавного пользовательского опыта в мобильных ИИ-приложениях. arXiv · Инфраструктура для агентов DepthWeave-KV: новый метод сжатия KV-кэша для длинного контекста Исследователи представили DepthWeave-KV — метод адаптивного сжатия KV-кэша, решающий проблему нехватки памяти при работе с длинным контекстом. В отличие от стандартных подходов, равномерно распределяющих бюджет сжатия, новый алгоритм использует послойную факторизацию остатков, динамически выделяя ресурсы для наиболее важных токенов. Это позволяет значительно снизить требования к пропускной способности памяти без потери точности извлечения информации. Hacker News · Инфраструктура для агентов Метод Prefill Tax: оптимизация контекста для локальных LLM Разработчики представили концепцию «Prefill Tax» — метод оптимизации работы локальных LLM, при котором модель повторно анализирует собственный системный промпт перед генерацией ответа. Этот подход позволяет снизить вычислительные затраты на обработку длинных контекстных окон и повысить точность следования инструкциям, минимизируя галлюцинации при работе с большими объемами данных в агентных системах. Hacker News · Инференс и железо Оптимизация инференса: объединение шагов декодирования 27B модели в один CUDA-ядро Исследователи представили метод оптимизации инференса для 27-миллиардных тернарных LLM, объединяющий весь процесс декодирования в единое CUDA-ядро. Это решение радикально снижает накладные расходы на передачу данных между памятью и вычислительными блоками GPU, позволяя значительно увеличить пропускную способность и скорость генерации токенов при сохранении высокой точности работы квантованных моделей на потребительском и серверном железе. arXiv · Машинное обучение Оптимизация инференса LLM через адаптивную глубину декодирования Исследователи представили метод Depth Exploration, оптимизирующий процесс генерации токенов в авторегрессионных моделях. Вместо прогона каждого токена через все слои нейросети, система динамически определяет глубину вычислений, необходимую для уверенного предсказания. Это позволяет существенно сократить вычислительные затраты при сохранении точности, так как многие токены становятся предсказуемыми на промежуточных этапах обработки данных внутри архитектуры модели. Hacker News · Инференс и железо DualPath: новый метод оптимизации пропускной способности памяти при работе LLM Исследователи представили DualPath — архитектурное решение, устраняющее «узкое горлышко» пропускной способности памяти при инференсе агентных LLM. Метод разделяет потоки данных для обработки весов модели и контекста, что позволяет значительно ускорить генерацию токенов в сценариях с длинным контекстом и частыми обращениями к памяти, характерными для современных автономных агентов. arXiv · Машинное обучение Posterior Refinement: новый метод ускорения генерации текста в неавторегрессионных моделях Исследователи представили метод Posterior Refinement, решающий проблему низкой эффективности неавторегрессионных языковых моделей. Новый подход использует Any-Order Flow Maps для итеративного уточнения текста, позволяя моделям критиковать и перегенерировать произвольные фрагменты токенов одновременно. Это устраняет ошибки факторизации, характерные для маскированных диффузионных моделей, и значительно повышает качество генерации при сохранении высокой скорости работы. Hacker News · Инференс и железо Оптимизация производительности обработки промптов в llama.cpp Исследователь проанализировал влияние механизма Multi-Token Prediction (MTP) на скорость обработки промптов (Prompt Processing Tokens Per Second) в библиотеке llama.cpp. В ходе экспериментов удалось выявить причины деградации производительности при использовании MTP и разработать прототип (PoC), который восстанавливает показатели TPS, сохраняя при этом архитектурные преимущества многотокенового предсказания для LLM. Hacker News · Инфраструктура для агентов VeriCache: метод сжатия KV-кэша без потери точности при инференсе LLM Исследователи представили VeriCache — новый подход к оптимизации KV-кэша, который позволяет сжимать данные без потери качества генерации. Метод решает проблему избыточного потребления памяти при работе с длинными контекстами, сохраняя при этом точность ответов модели на уровне стандартных систем. Это решение значительно снижает требования к видеопамяти при развертывании крупных языковых моделей в продакшене.

← Все материалы