Исследователи проанализировали более 21,6 млн строк кода, созданного с помощью ИИ, чтобы оценить его техническое состояние. Результаты показали, что на каждые 62 строки приходится в среднем одна критическая ошибка или нарушение стандартов безопасности. Это подчеркивает необходимость внедрения строгих процессов автоматизированного контроля качества при интеграции генеративных моделей в процессы разработки программного обеспечения.
Масштабное исследование охватило широкий спектр репозиториев, где ИИ-инструменты использовались для написания функциональных блоков и целых модулей. Основные проблемы включают не только синтаксические неточности, но и уязвимости в безопасности, а также архитектурные антипаттерны, которые могут привести к накоплению технического долга. Данные указывают на то, что автоматическая генерация кода требует обязательного этапа верификации, так как текущие модели склонны к воспроизведению небезопасных практик программирования.
Результаты исследования ставят под сомнение эффективность использования ИИ без участия человека-ревьюера в критически важных проектах. Высокая плотность ошибок требует пересмотра подходов к CI/CD пайплайнам, где инструменты статического анализа должны стать обязательным звеном для фильтрации сгенерированного контента до его попадания в основную кодовую базу.
Ключевые факты
- Проанализировано 21,6 миллиона строк кода, сгенерированного нейросетями.
- Средняя частота возникновения ошибок составляет 1 на каждые 62 строки.
- Выявленные дефекты включают критические уязвимости безопасности и нарушение стандартов чистого кода.
- Исследование подчеркивает критическую важность автоматизированного тестирования и ревью для ИИ-кода.