Wattage — это специализированный инструмент для мониторинга и контроля потребления токенов в агентных системах. Библиотека позволяет разработчикам профилировать расход токенов в реальном времени и внедрять «гейты» (ограничители), которые автоматически блокируют выполнение задач при превышении заданных финансовых лимитов, предотвращая неконтролируемые траты при работе сложных цепочек вызовов LLM.
Основная задача проекта — решить проблему непредсказуемого биллинга в агентных архитектурах, где многократные итерации и рекурсивные вызовы моделей могут быстро истощить бюджет. Инструмент интегрируется в пайплайны разработки, позволяя проводить регрессионное тестирование стоимости: разработчики могут отслеживать, как изменения в промптах или логике агента влияют на итоговую стоимость одного рабочего процесса.
Система предоставляет разработчикам возможность устанавливать жесткие бюджетные ограничения на уровне отдельных функций или этапов выполнения агента. Это критически важно для продакшн-систем, где стоимость инференса является ключевым фактором масштабируемости и экономической эффективности внедрения ИИ-решений.
Ключевые факты
- Wattage предназначен для профилирования расхода токенов в агентных системах.
- Инструмент позволяет устанавливать автоматические «гейты» для остановки выполнения при превышении лимитов.
- Поддерживается отслеживание стоимости в разрезе конкретных этапов работы агента.
- Решение помогает выявлять скрытые утечки бюджета, возникающие при рекурсивных вызовах моделей.
- Проект ориентирован на интеграцию в CI/CD пайплайны для контроля стоимости изменений в коде агентов.