arXiv · 15.06.2026 ·Оптимизация контекста для ИИ-агентов

TokenPilot: эффективное управление контекстом для LLM-агентов

Исследователи из MIT и других ведущих университетов представили TokenPilot — новый подход к управлению контекстом для LLM-агентов, который решает проблему накопления контекста в длительных сессиях.

Проблема в том, что существующие методы, такие как обрезка текста или динамическое удаление памяти, приводят к изменению последовательностей, что вызывает несоответствия префиксов и инвалидацию кэша. Это создает компромисс между разреженностью текста и эффективностью кэширования.

TokenPilot предлагает более эффективный способ управления контекстом, минимизируя издержки инференса без потери качества. Это особенно важно для разработчиков ИИ-агентов, так как позволяет поддерживать длительные сессии без значительного увеличения затрат на вычисления.

Исследование было опубликовано на arXiv и может быть полезным для команд, работающих над оптимизацией производительности и стоимости своих ИИ-агентов.

Источник: arXiv

Похожие материалы

arXiv · Контекст-осознанное обучение для ИИ-агентов ContextRL: контекст-осознанное обучение для улучшения работы ИИ-агентов Исследователи из MIT и других ведущих университетов представили новый метод ContextRL, который улучшает способность языковых моделей (LLM) работать с длинными и сложными контекстами. Проблема заключается в том, что традиционные LLM часто не могут выделить ключевые детали в объемных данных, будь то строка в логах или мелкий элемент на изображении. ContextRL использует методы подкрепляющего обучения (RL), чтобы улучшить долгосрочное рассуждение и работу с мультимодальными данными. Hacker News · ИИ-агенты и память Рекурсивные языковые модели и нейросимволическое управление контекстом Исследователи предлагают новый подход к управлению контекстом в ИИ-агентах, сочетающий рекурсивные языковые модели и нейросимволические методы. Этот метод позволяет более эффективно обрабатывать и хранить информацию, что критически важно для построения сложных агентов. Hacker News · Оптимизация токенов в ИИ-агентах Token-saviour снижает расход токенов в агентах на 70% Разработчики ИИ-агентов сталкиваются с проблемой высокого расхода токенов при выборе инструментов. Новый фреймворк Token-saviour предлагает решение, снижая потребление токенов на 70%. Это достигается за счёт умного маршрутизации запросов к инструментам, минимизируя избыточные вызовы и оптимизируя взаимодействие с внешними сервисами. arXiv · Оптимизация токенизации для временных рядов Адаптивная компрессия токенов для временных рядов в LLM Исследователи из MIT и Google Research предложили новый подход к обработке временных рядов (TS) в языковых моделях. В статье, опубликованной на arXiv, они утверждают, что традиционный подход к токенизации, где числовые и текстовые данные обрабатываются одинаково, неэффективен. Временные ряды и текст имеют разную структуру информации, и их обработка должна учитывать эти различия. arXiv · Оркестрация знаний для ИИ-агентов Agents-K1: новый подход к оркестрации научных знаний для ИИ-агентов Исследователи из MIT и других ведущих университетов представили Agents-K1 — фреймворк, направленный на улучшение научной оркестрации знаний для ИИ-агентов. В отличие от существующих решений, которые часто ограничиваются поверхностным анализом научных работ, Agents-K1 фокусируется на ключевых сущностях, утверждениях, доказательствах, механизмах и методологических линиях, что критически важно для научного мышления. arXiv · Оркестрация ИИ-агентов HyperTool: новый подход к оркестрации инструментов в ИИ-агентах Исследователи из MIT и других ведущих университетов предложили новый подход к оркестрации инструментов в ИИ-агентах, который может значительно повысить эффективность работы агентов. В традиционных системах инструменты вызываются пошагово, что приводит к избыточным вычислениям и перегрузке контекста. Авторы работы предлагают использовать более крупнозернистые вызовы инструментов, что позволяет сократить количество шагов и улучшить управление данными. Hacker News · MCP и контекст для ИИ-агентов Kster.ai: контекст для агентов через MCP Kster.ai представляет инструмент, который структурирует контекст для ИИ-агентов, используя протокол MCP (Memory Context Protocol). Это позволяет агентам получать доступ к актуальной информации о продукте, что критически важно для их эффективной работы. Hacker News · ИИ-агенты и память CLI-агент с памятью и адаптивным поведением Команда Vektor Memory представила новую версию своего CLI-агента, который становится умнее с каждым использованием. Это достигнуто благодаря интеграции механизмов памяти и адаптивного обучения, что позволяет агенту запоминать контекст и улучшать свои ответы со временем. Hacker News · Оптимизация токенов в ИИ-агентах Token-warden: инструмент для контроля токенов в ИИ-агентах Token-warden — это инструмент, разработанный для оптимизации использования токенов в ИИ-агентах. Он помогает контролировать и управлять расходами на токены, что особенно важно при работе с крупными языковыми моделями, где стоимость инференса может быть значительной. arXiv · ИИ-агенты в научных исследованиях EurekAgent: как ИИ-агенты автоматизируют научные открытия Исследователи из MIT и других ведущих университетов представили EurekAgent — фреймворк, который демонстрирует, как LLM-основанные агенты могут автоматизировать научные открытия. В статье, опубликованной на arXiv, авторы показывают, что при наличии оптимизируемого метрика и подходящей среды выполнения, агенты способны предлагать, проверять и итерировать научные решения, превосходя человеческие подходы.

← Все материалы