Новое исследование оценило эффективность пяти популярных LLM в задачах навигации и модификации кода в сложных проектах на Ruby on Rails. Несмотря на способность моделей генерировать корректный синтаксис Ruby, они демонстрируют низкую точность при поиске зависимостей и понимании архитектуры крупных кодовых баз, что ограничивает их применимость в реальной разработке без участия человека.
Бенчмарк охватил 13 различных кодовых баз, проверяя способность моделей находить нужные файлы, корректно импортировать модули и соблюдать конвенции фреймворка. Результаты показывают, что текущие модели часто «галлюцинируют» пути к файлам или неверно интерпретируют структуру проекта, даже если сам код внутри функций написан грамотно. Это подчеркивает разрыв между генерацией изолированных фрагментов кода и полноценным агентным управлением проектом.
Авторы исследования отмечают, что проблема заключается не в знании языка программирования, а в контекстном понимании файловой системы и связей между компонентами приложения. Для решения этой задачи требуется улучшение инструментов индексации и методов передачи контекста, чтобы агент мог «видеть» архитектуру системы целиком, а не только текущий открытый файл.
Ключевые факты
- В тестировании участвовали 5 моделей, включая топовые проприетарные и открытые решения.
- Исследование сфокусировано на 13 реальных кодовых базах Ruby on Rails, что имитирует типичные задачи промышленной разработки.
- Основной барьер для ИИ — навигация по файловой структуре и понимание неявных связей в коде, а не написание синтаксических конструкций.
- Результаты бенчмарка указывают на необходимость специализированных инструментов для RAG-систем, работающих с кодом, чтобы повысить точность агентных действий в сложных проектах.