Новое исследование оценило эффективность LLM при устранении программных уязвимостей. Несмотря на способность моделей ускорять процесс написания патчей, их использование несет серьезные риски безопасности. В ходе эксперимента с участием разработчиков выяснилось, что автоматизированные подсказки часто приводят к внедрению новых ошибок или неполному исправлению критических брешей, требуя от специалистов тщательной проверки каждого предложенного решения.
Авторы работы проанализировали когнитивную нагрузку и качество кода, созданного при поддержке ИИ-инструментов. Основная проблема заключается в «галлюцинациях» моделей, которые могут предлагать синтаксически корректные, но логически уязвимые конструкции. В условиях нехватки экспертов по кибербезопасности среди рядовых разработчиков, слепое доверие к ИИ-ассистентам может привести к снижению общего уровня защищенности программных продуктов.
Исследование подчеркивает разрыв между скоростью генерации кода и его надежностью. Хотя LLM успешно справляются с рутинными задачами, их применение в критических узлах безопасности требует внедрения многоуровневых систем верификации. Полученные данные ставят под сомнение возможность полной автоматизации процесса исправления уязвимостей без участия квалифицированных инженеров по безопасности.
Ключевые факты
- Исследование сфокусировано на сравнении производительности и безопасности при использовании LLM для патчинга кода.
- Выявлена прямая корреляция между использованием ИИ-ассистентов и риском внесения скрытых уязвимостей в исправляемый код.
- Установлено, что разработчики склонны переоценивать точность предложений ИИ, что снижает бдительность при проведении ревью.
- Результаты указывают на необходимость разработки специализированных инструментов верификации, интегрированных в процесс ИИ-генерации патчей.