Databricks представила результаты тестирования современных ИИ-агентов на своей масштабной кодовой базе, насчитывающей миллионы строк. Исследование фокусируется на способности моделей решать сложные инженерные задачи в реальных условиях разработки, где требуется понимание контекста огромных репозиториев. Результаты показывают текущие возможности и ограничения автономных систем при работе с корпоративным кодом, требующим высокой точности и соблюдения архитектурных стандартов.
Для оценки эффективности агентов компания использовала специализированный набор задач, имитирующий повседневную работу инженеров: от исправления багов до реализации новых функциональных возможностей. В отличие от стандартных бенчмарков вроде HumanEval, данный подход учитывает необходимость навигации по сложным зависимостям и работу с многоуровневой структурой проекта, что является критическим фактором для внедрения ИИ в промышленную разработку.
Анализ подчеркивает, что успех агента зависит не только от архитектуры модели, но и от качества инструментов поиска и индексации кода, предоставляемых в контекстном окне. Исследование демонстрирует, что даже продвинутые модели сталкиваются с трудностями при работе с глубоко вложенными зависимостями, что указывает на необходимость развития специализированных RAG-систем для кодовых баз.
Ключевые факты
- Кодовая база Databricks содержит миллионы строк кода, что делает её репрезентативной для крупных корпоративных проектов.
- Тестирование проводилось для оценки способности агентов выполнять задачи в условиях реального продакшн-окружения.
- Основным критерием успеха стала точность выполнения задач без нарушения целостности существующей архитектуры.
- Исследование выявило критическую зависимость производительности агентов от качества инструментов контекстного поиска.
- Результаты бенчмарка указывают на разрыв между способностью моделей решать изолированные задачи и их эффективностью в комплексных репозиториях.