Исследователи проанализировали, как предоставление дополнительных контекстных файлов влияет на производительность ИИ-агентов при решении задач в реальных репозиториях. Изучение с использованием двух-агентной архитектуры показало, что стратегия подачи контекста критически важна: избыточная или нерелевантная информация может снижать точность выполнения задач, тогда как правильно отобранные файлы существенно повышают качество кода и успешность прохождения тестов.
В ходе эксперимента авторы провели абляционное исследование, сравнивая поведение агентов при различных объемах и типах входных данных. Результаты подтверждают, что архитектура «агент-планировщик» в связке с «агентом-исполнителем» эффективнее справляется с поиском зависимостей, если контекст ограничен файлами, непосредственно связанными с целевой функцией или модулем. Это ставит под сомнение эффективность методов «заливки» всего репозитория в промпт без предварительной фильтрации.
Исследование подчеркивает проблему «шума» в контекстном окне LLM. Даже при наличии больших контекстных окон, способность агента к рассуждению падает при увеличении объема нерелевантных данных. Оптимизация RAG-систем для разработки должна фокусироваться не на объеме передаваемой информации, а на семантической точности отбора файлов, что позволяет агентам быстрее находить архитектурные связи в коде.
Ключевые факты
- Использована двух-агентная модель для оценки влияния контекста на решение задач в реальных репозиториях.
- Выявлена обратная зависимость между избыточным контекстом и точностью выполнения задач (прохождение тестов).
- Установлено, что селективная подача файлов, связанных с зависимостями, эффективнее полной загрузки репозитория.
- Исследование подтверждает необходимость внедрения продвинутых методов фильтрации данных в RAG-пайплайны для кодинг-агентов.