Разработчики представили механизм Token Budget Circuit Breaker, предназначенный для предотвращения неконтролируемого расхода токенов в мультиагентных системах. Инструмент автоматически прерывает цепочки повторных попыток (retries) при достижении лимитов, что позволяет сократить избыточные затраты на инференс до 98%. Решение ориентировано на оптимизацию стоимости эксплуатации сложных агентных пайплайнов, склонных к зацикливанию при ошибках.

В архитектурах, где несколько агентов взаимодействуют друг с другом, ошибки одного узла часто приводят к каскадным запросам, которые быстро истощают бюджеты API. Данный инструмент внедряет слой контроля, который отслеживает потребление ресурсов в реальном времени и принудительно останавливает выполнение задачи, если вероятность успеха падает ниже заданного порога или превышен лимит токенов.

Такой подход критически важен для продакшн-систем, где стоимость токенов является основным фактором масштабируемости. Вместо бесконечных циклов обработки, система переходит в состояние ожидания или возвращает ошибку, позволяя разработчикам анализировать логи без риска получения счетов за миллионы неэффективно потраченных токенов.

Ключевые факты

  • Механизм позволяет сократить расходы на повторные попытки (retries) в мультиагентных системах на 98%.
  • Инструмент реализован как слой контроля (circuit breaker) для предотвращения бесконечных циклов выполнения.
  • Основная цель — защита от неконтролируемого истощения токенов при сбоях в цепочках взаимодействия агентов.
  • Решение помогает оптимизировать стоимость эксплуатации LLM-приложений в промышленной среде.