Новое исследование показало, что современные ИИ-агенты, предназначенные для написания кода, крайне редко обращаются к документации и правилам участия в open-source проектах. В ходе тестов модели в 85% случаев игнорировали файлы CONTRIBUTING.md, что приводило к созданию патчей, не соответствующих стандартам сообществ и требованиям лицензирования, несмотря на наличие инструментов для поиска информации.
Проблема заключается в архитектурных особенностях планирования задач: агенты склонны полагаться на внутренние знания, накопленные при обучении, вместо того чтобы выполнять поиск по актуальным репозиториям. Это создает серьезные риски для автоматизации разработки, так как сгенерированный код часто требует ручной доработки или отклоняется мейнтейнерами из-за нарушения регламентов оформления или структуры проекта.
Авторы работы подчеркивают, что текущие бенчмарки для оценки навыков кодинга недостаточно сфокусированы на соблюдении процедурных правил. Без интеграции этапа обязательного анализа документации в агентный цикл, автоматизированные системы будут продолжать генерировать технически корректный, но непригодный для интеграции в реальные проекты код.
Ключевые факты
- В 85% случаев агенты не обращались к файлам CONTRIBUTING.md перед внесением изменений в репозиторий.
- Основной причиной ошибок стало предпочтение агентов использовать «заученные» паттерны вместо актуальной проектной документации.
- Исследование охватило популярные open-source проекты с жесткими требованиями к оформлению кода.
- Авторы предлагают внедрить обязательный шаг «проверки регламента» в агентные пайплайны для повышения качества pull-реквестов.