Исследование качества кода, созданного с помощью ИИ, показало значительные пробелы в готовности к эксплуатации. Проанализировав 1868 приложений, авторы выявили критические недостатки в безопасности, архитектуре и поддержке. Большинство проектов, написанных ИИ, требуют серьезной доработки перед запуском, так как часто содержат уязвимости, неоптимальные зависимости и отсутствие документации, необходимой для долгосрочного сопровождения в реальных бизнес-условиях.
Основная проблема заключается в том, что инструменты генерации кода часто игнорируют стандарты безопасности и лучшие практики разработки. В ходе аудита выяснилось, что многие приложения, созданные «под ключ» с помощью LLM, не проходят базовые проверки на соответствие требованиям безопасности. Это создает иллюзию быстрого запуска, которая оборачивается высокими техническими долгами и необходимостью полного переписывания модулей на этапе масштабирования.
Авторы исследования также провели аудит собственного сканера, чтобы подтвердить точность методологии оценки. Результаты подчеркивают разрыв между возможностями генеративных моделей по написанию отдельных функций и способностью создавать целостные, надежные программные продукты. Для бизнеса это означает, что автоматизация разработки требует обязательного внедрения строгих процессов контроля качества и человеческого надзора на каждом этапе жизненного цикла ПО.
Ключевые факты
- Проанализировано 1868 приложений, полностью или частично созданных с помощью ИИ.
- Выявлен высокий уровень критических уязвимостей в коде, сгенерированном без участия опытных разработчиков.
- Основные претензии к коду: отсутствие обработки ошибок, избыточные зависимости и несоблюдение стандартов безопасности.
- Исследование подтвердило необходимость автоматизированного аудита кода как обязательного этапа при использовании ИИ-ассистентов в разработке.
- Методология сканирования прошла внутренний аудит для верификации точности обнаружения багов и уязвимостей.