Исследователи представили TokTier — метод токенизации, решающий проблему неэффективного кэширования KV-состояний в агентных системах. В отличие от стандартных подходов, где при каждом вызове инструмента пересчитывается весь запрос, TokTier сохраняет стабильность границ токенов при дописывании новых данных. Это позволяет значительно повысить эффективность повторного использования кэша в длинных диалогах, снижая вычислительные затраты на инференс при работе агентов.
Современные агентные системы часто сталкиваются с проблемой «разрыва» кэша: даже минимальное добавление текста после вызова инструмента может изменить границы токенов во всей последовательности, делая ранее сохраненные KV-состояния бесполезными. TokTier вводит механизм стейтфул-токенизации, который гарантирует, что суффиксы запросов остаются консистентными, обеспечивая высокую степень попадания в кэш при итеративных взаимодействиях.
Анализ 153 951 вызова в реальных агентных экосистемах показал, что медианный запрос агента представляет собой небольшое дополнение к уже существующей истории. Использование TokTier позволяет избежать избыточной перетокенизации и повторных вычислений, что критически важно для систем, где агент совершает множество последовательных шагов, каждый раз отправляя длинный контекст с результатами работы инструментов.
Ключевые факты
- TokTier обеспечивает точное сохранение состояний токенизации при инкрементальном обновлении промптов.
- Метод решает проблему неэффективности KV-кэширования, возникающую из-за изменения границ токенов при дописывании текста.
- Исследование основано на анализе 153 951 реального вызова LLM в агентных сценариях.
- Технология направлена на снижение задержек и стоимости инференса в системах, где агенты часто перезапускают контекст после выполнения инструментов.