Исследователи проанализировали, как методы оптимизации ИИ-агентов работают в условиях непрерывного обучения. Большинство текущих подходов тестируются на статичных бенчмарках, что не отражает реальную эксплуатацию, где агенты сталкиваются с новыми задачами и ошибками. Работа показывает, что накопление оптимизаций не всегда приводит к линейному росту производительности, выявляя критические проблемы стабильности при рекурсивном применении методов.

Авторы представили Terminal-Bench 2.0 — обновленную среду для оценки того, как агент адаптируется к меняющимся условиям в долгосрочной перспективе. В отличие от стандартных тестов, этот бенчмарк имитирует процесс «обучения на ошибках», где агент должен корректировать свое поведение по мере поступления новых данных. Результаты подчеркивают, что многие популярные методы оптимизации склонны к деградации или «забыванию» предыдущих навыков при попытке улучшить текущие показатели.

Данная работа ставит под сомнение надежность существующих стратегий автоматической настройки агентов. Исследование демонстрирует, что без механизмов контроля за накопленным опытом, рекурсивная оптимизация может приводить к непредсказуемым результатам, что ограничивает применение автономных систем в динамических бизнес-средах. Полученные данные позволяют разработчикам лучше понимать пределы масштабируемости агентных систем.

Ключевые факты

  • Представлен бенчмарк Terminal-Bench 2.0 для оценки непрерывного обучения ИИ-агентов.
  • Выявлено, что большинство методов оптимизации показывают прирост только при однократном тестировании на фиксированных задачах.
  • Исследование подтвердило риск деградации производительности при рекурсивном применении методов оптимизации.
  • Работа акцентирует внимание на проблеме «забывания» навыков при попытке адаптации агента к новым типам сбоев и задач.