Исследование показало, что при решении задач по написанию кода ИИ-агенты тратят лишь 0,67% токенов на полезный результат, в то время как 99% уходит на накладные расходы. Основными причинами неэффективности становятся избыточные системные промпты, многократные повторения контекста, логирование промежуточных шагов и чрезмерно подробные инструкции, которые перегружают контекстное окно модели.
Основная проблема кроется в архитектуре современных агентных систем, где каждый шаг требует передачи огромных объемов метаданных. Агенты вынуждены постоянно «перечитывать» структуру проекта, историю диалога и системные директивы, чтобы сохранять связность действий. Это приводит к резкому росту стоимости инференса и увеличению задержек, так как полезная нагрузка оказывается погребена под слоями служебной информации.
Для оптимизации работы разработчикам рекомендуется пересмотреть подходы к управлению контекстом. Внедрение более компактных форматов передачи данных, кэширование системных промптов и использование специализированных инструментов для фильтрации релевантной информации позволяют значительно снизить «шум». Без оптимизации структуры запросов масштабирование агентных систем становится экономически нецелесообразным при работе со сложными кодовыми базами.
Ключевые факты
- Полезная нагрузка в проанализированных задачах составила всего 0,67% от общего объема потребленных токенов.
- Около 99% токенов расходуется на системные инструкции, логирование и повторение контекста.
- Избыточность данных напрямую увеличивает стоимость эксплуатации агентов и время ожидания ответа.
- Оптимизация контекстного окна и фильтрация метаданных являются критическими факторами для повышения эффективности агентных систем.