Исследователи представили CodeRescue — фреймворк для управления затратами при разработке ПО с помощью ИИ-агентов. В отличие от стандартных каскадных систем, которые просто переключаются на более мощные модели при ошибках, CodeRescue использует обратную связь от среды исполнения для динамического выбора стратегии восстановления, что позволяет значительно снизить расходы на инференс без потери качества кода.
В современных средах разработки неудачная попытка выполнения кода генерирует диагностические сообщения, которые содержат полезную информацию для отладки. Вместо того чтобы сразу передавать сложную задачу дорогой модели, система анализирует характер ошибки. Если проблема носит синтаксический или локальный характер, CodeRescue направляет её на повторную обработку более легкой и дешевой моделью, используя контекст предыдущего сбоя.
Такой подход меняет парадигму «попытка — провал — эскалация», превращая процесс в итеративный цикл восстановления. Это особенно актуально для сложных кодовых баз, где стоимость использования топовых моделей (таких как GPT-4o или Claude 3.5 Sonnet) при каждой итерации отладки становится критическим фактором для масштабируемости агентных систем.
Ключевые факты
- CodeRescue использует «бюджетно-калиброванную» маршрутизацию для минимизации затрат на API при сохранении высокой точности исправления ошибок.
- Система анализирует фидбек от среды исполнения (execution feedback) для принятия решения о выборе модели для следующего шага.
- Метод позволяет эффективно использовать дешевые модели для исправления ошибок, которые ранее требовали вмешательства более дорогих и мощных LLM.
- Подход снижает общие операционные расходы на агентную разработку ПО за счет оптимизации распределения вычислительных ресурсов в зависимости от сложности задачи.