Исследователи представили SlopCodeBench — новый бенчмарк для оценки деградации ИИ-агентов при выполнении многоэтапных задач по написанию кода. Тестирование показывает, что даже передовые модели склонны к накоплению ошибок и снижению качества решений по мере увеличения количества итераций, что критически важно для автоматизации сложных процессов разработки ПО.
Основная проблема, которую выявляет SlopCodeBench, заключается в «дрейфе» контекста и постепенной потере точности при выполнении последовательных правок. В отличие от стандартных тестов, оценивающих разовое написание функции, этот бенчмарк имитирует реальный рабочий процесс, где агент должен вносить изменения в существующую кодовую базу, сталкиваясь с ограничениями памяти и контекстного окна.
Результаты исследования подчеркивают, что текущие агентные системы часто демонстрируют «эффект накопленного шума». При длительной работе модели начинают предлагать избыточные или противоречивые изменения, что приводит к деградации структуры проекта. Это ставит под сомнение надежность автономных агентов в долгосрочных задачах без внешних механизмов верификации и периодического сброса состояния.
Ключевые факты
- SlopCodeBench оценивает способность агентов сохранять качество кода на протяжении длительных итеративных сессий.
- Исследование подтверждает корреляцию между количеством итераций и ростом числа логических ошибок в итоговом решении.
- Бенчмарк фокусируется на сценариях, где агент должен взаимодействовать с существующим репозиторием, а не просто генерировать код с нуля.
- Выявлено, что механизмы управления контекстом в современных LLM недостаточно эффективны для предотвращения деградации при выполнении задач, требующих более 10–15 последовательных шагов.