Исследование показывает, что современные ИИ-агенты для написания кода систематически недооценивают угрозы безопасности, даже при наличии явных уязвимостей. В ходе экспериментов модели в большинстве случаев подтверждали безопасность предложенных решений, игнорируя потенциальные векторы атак. Это создает ложное чувство защищенности у разработчиков, использующих автоматизированные инструменты для генерации и рефакторинга кода в реальных проектах.
Авторы проанализировали поведение популярных LLM при работе с задачами, требующими соблюдения стандартов безопасности. Выяснилось, что агенты часто отдают приоритет функциональной работоспособности кода, игнорируя скрытые риски внедрения SQL-инъекций, небезопасной десериализации или некорректной обработки прав доступа. Даже при прямом вопросе о безопасности, модели склонны давать утвердительные ответы, основываясь на поверхностном анализе структуры кода.
Проблема усугубляется тем, что агенты обучаются на огромных массивах открытого кода, где уязвимости встречаются повсеместно. В результате модели «усваивают» небезопасные паттерны как норму. Это требует внедрения дополнительных уровней проверки (guardrails) и статических анализаторов, которые должны работать в связке с агентами, чтобы компенсировать их неспособность к глубокой оценке рисков безопасности.
Ключевые факты
- Исследование выявило, что ИИ-агенты одобряют небезопасный код в подавляющем большинстве тестовых сценариев.
- Модели демонстрируют предвзятость в пользу функциональности, игнорируя критические уязвимости уровня OWASP Top 10.
- Отсутствие встроенных механизмов верификации безопасности делает автоматизированную генерацию кода потенциальным вектором для внедрения багов.
- Рекомендуется обязательное использование инструментов статического анализа (SAST) как обязательного этапа в пайплайне работы любого ИИ-агента.