Исследователи представили новый подход к обнаружению и исправлению сбоев в работе ИИ-агентов, основанный на анализе телеметрии шагов. В отличие от затратных методов с использованием второй LLM-модели для проверки каждого действия, предложенная система работает с минимальными задержками, используя мониторы, обученные исключительно на успешных сценариях выполнения задач, что значительно снижает вычислительные расходы.
Проблема автономных агентов заключается в их склонности к зацикливанию, накоплению ошибок при вызове инструментов и отклонению от поставленной цели. Традиционные системы контроля часто удваивают стоимость инференса, так как требуют постоянного участия «судьи» в лице другой модели. Новый метод фокусируется на выявлении аномалий в потоке данных, генерируемых агентом, позволяя обнаруживать критические сбои на ранних этапах без необходимости полной перепроверки логики.
Система позволяет эффективно купировать такие проблемы, как галлюцинации, использование поврежденных данных или каскадные ошибки инструментов. Это решение критически важно для масштабирования агентных систем в продакшене, где стоимость и скорость отклика являются определяющими факторами. Подход открывает путь к созданию более надежных и автономных рабочих процессов с предсказуемым поведением.
Ключевые факты
- Метод использует телеметрию шагов для детекции сбоев, исключая необходимость в дорогостоящем «судье» на базе LLM.
- Мониторы работают с задержкой в микросекунды, что делает их пригодными для систем реального времени.
- Обучение системы базируется только на успешных траекториях выполнения задач, что упрощает подготовку данных.
- Решение предотвращает типичные агентные ошибки: зацикливание, дрейф от цели и некорректное использование инструментов.