Исследование Hexmos выявило критические недостатки в популярных бенчмарках для оценки ИИ-ассистентов в написании кода. Анализ показал, что существующие наборы данных часто оценивают лишь поверхностное соответствие синтаксису, игнорируя реальную функциональность и качество архитектурных решений. В результате модели, демонстрирующие высокие показатели в тестах, на практике совершают ошибки, которые делают код непригодным для промышленного использования.
Основная проблема заключается в методологии «точного совпадения» (exact match), которая поощряет модели за генерацию кода, идентичного эталонному, даже если он содержит логические уязвимости или неоптимальные алгоритмы. Авторы исследования подчеркивают, что текущие метрики не учитывают контекст проекта, зависимости и специфические требования безопасности, что создает иллюзию прогресса при отсутствии реального улучшения качества генерации.
Для разработчиков и компаний это означает, что полагаться исключительно на метрики бенчмарков при выборе LLM для автоматизации code review опасно. Инструменты, показывающие отличные результаты в синтетических тестах, могут не справляться с реальными задачами, требующими глубокого понимания бизнес-логики и соблюдения стандартов кодирования конкретной организации.
Ключевые факты
- Бенчмарки часто используют метрику «точности совпадения», которая не учитывает семантическую корректность кода.
- Исследование показало, что модели могут проходить тесты, генерируя код с критическими логическими ошибками.
- Автоматизированные тесты не способны оценить архитектурную чистоту и поддерживаемость кода в долгосрочной перспективе.
- Разработчикам рекомендуется дополнять стандартные бенчмарки собственными наборами тестов, отражающими реальные рабочие процессы.