Исследование компании Paraxial выявило серьезные недостатки в работе ИИ-ассистентов, используемых для анализа безопасности кода. В ходе тестирования популярные модели классифицировали критическую уязвимость удаленного выполнения кода (RCE) в языке Elixir как безопасную. Это демонстрирует риски слепого доверия генеративным системам при проведении аудита безопасности и проверке защищенности программного обеспечения.
Проблема заключается в том, что модели часто обучаются на больших объемах кода из открытых репозиториев, где могут встречаться как уязвимые паттерны, так и некорректные комментарии к ним. В данном случае ИИ-инструмент не распознал опасную конструкцию, которая позволяет злоумышленнику исполнить произвольный код на сервере, приняв её за стандартную функциональность. Подобные ошибки создают ложное чувство защищенности у разработчиков, полагающихся на автоматизированные подсказки.
Эксперты подчеркивают, что текущие LLM не обладают глубоким пониманием контекста выполнения кода и механизмов эксплуатации уязвимостей на уровне специализированных статических анализаторов (SAST). Использование ИИ в качестве единственного средства проверки безопасности критических систем остается крайне рискованным, так как модели склонны к галлюцинациям и неверной интерпретации сложных цепочек вызовов.
Ключевые факты
- Исследование сфокусировано на анализе способности ИИ-моделей обнаруживать уязвимости типа RCE в коде на языке Elixir.
- ИИ-инструмент безопасности классифицировал критическую уязвимость как «безопасную», проигнорировав возможность выполнения произвольного кода.
- Авторы исследования отмечают, что текущие модели часто не справляются с задачами, требующими глубокого понимания семантики кода и векторов атак.
- Рекомендуется использовать специализированные инструменты статического анализа (SAST) в дополнение к ИИ-помощникам для обеспечения безопасности приложений.