Анализ агентных систем с циклами самообучения показывает, что большинство из них не демонстрируют реального улучшения производительности. Исследование выявило, что без надежных механизмов верификации результатов агенты часто попадают в петли деградации, где ошибки накапливаются, а попытки «самокоррекции» лишь снижают качество итогового кода или данных, вместо того чтобы оптимизировать процесс решения задач.
Основная проблема заключается в отсутствии объективной функции оценки (verifier) внутри агентного цикла. В большинстве текущих архитектур агент полагается на собственную оценку своих действий, что приводит к «галлюцинациям успеха». Когда модель пытается исправить код или логику, не имея внешнего сигнала об ошибке, она часто вносит случайные изменения, которые нарушают работоспособность системы, вместо того чтобы исправлять исходные баги.
Для создания действительно самообучающихся агентов требуется переход от простых итеративных циклов к архитектурам с жестким тестированием. Авторы подчеркивают, что без интеграции unit-тестов, статических анализаторов или внешних сред выполнения, которые дают однозначный ответ «пройдено/не пройдено», агент не способен к обучению. Самоулучшение требует не просто генерации текста, а наличия среды, способной отсеивать неверные гипотезы на каждом шаге.
Ключевые факты
- Большинство агентов с циклами саморефлексии не показывают статистически значимого роста метрик при решении сложных задач.
- Отсутствие внешнего верификатора приводит к тому, что агент начинает «дрейфовать» в сторону менее качественных решений из-за накопления ошибок.
- Эффективное самообучение требует наличия среды выполнения (sandbox) и автоматизированных тестов для проверки каждого шага агента.
- Использование LLM в качестве единственного судьи для оценки собственного прогресса является критической уязвимостью в архитектуре агентных систем.