Исследователи проанализировали способность пяти популярных ИИ-ассистентов генерировать безопасный код для систем аутентификации. Результаты показали, что модели часто допускают критические уязвимости. Авторы предложили метод итеративного перепромптинга, который значительно снижает количество ошибок в коде, повышая общую защищенность программных продуктов, создаваемых с помощью генеративного ИИ в процессе разработки.
В ходе работы применялся двухэтапный подход: статический анализ кода и динамическое тестирование на проникновение. Выяснилось, что стандартные ответы моделей часто содержат типичные бреши, такие как небезопасное хранение паролей или ошибки в логике проверки сессий. Эти недостатки делают автоматизированную разработку рискованной без внедрения дополнительных механизмов контроля качества и безопасности.
Предложенная методика итеративного перепромптинга заставляет модель пересматривать сгенерированные фрагменты через уточняющие инструкции, фокусируясь на конкретных стандартах безопасности. Такой подход позволяет выявлять и устранять уязвимости на этапе написания кода, минимизируя необходимость ручного исправления после завершения работы ИИ.
Ключевые факты
- Исследование охватило пять ведущих ИИ-ассистентов для написания программного кода.
- Использован комбинированный метод оценки: статический анализ и динамическое тестирование (пентесты).
- Итеративный перепромптинг позволил существенно снизить количество уязвимостей в сгенерированных системах аутентификации.
- Основная проблема заключается в склонности моделей к генерации кода, не соответствующего современным стандартам безопасности при работе с учетными данными.