Исследователь безопасности обнаружил критическую уязвимость типа RCE в коде, предложенном двумя популярными ИИ-моделями для решения одной и той же задачи. Ситуация подчеркивает отсутствие надежных механизмов проверки безопасности для ИИ-генераций, где модели могут предлагать опасные паттерны, которые выглядят корректно, но открывают векторы для удаленного выполнения кода в продакшн-средах.
В ходе эксперимента автор запросил у моделей реализацию стандартного функционала, который требовал обработки пользовательского ввода. Обе модели предложили решения, содержащие классические ошибки безопасности, позволяющие злоумышленнику выполнить произвольный код на сервере. Проблема усугубляется тем, что разработчики часто доверяют выводу ИИ без должного аудита, полагаясь на «авторитетность» ответов нейросетей.
Этот случай иллюстрирует фундаментальный разрыв между способностью моделей писать синтаксически верный код и их неспособностью учитывать контекст безопасности. В условиях, когда ИИ-ассистенты становятся частью CI/CD пайплайнов, отсутствие автоматизированных инструментов для статического анализа сгенерированного кода создает серьезные риски для инфраструктуры компаний.
Ключевые факты
- Обнаружена уязвимость RCE (Remote Code Execution) в коде, созданном двумя разными ИИ-моделями.
- Модели предложили небезопасные реализации, которые при внедрении в систему позволяют злоумышленникам удаленно исполнять команды.
- Основная проблема заключается в отсутствии инструментов для автоматической верификации безопасности кода, генерируемого нейросетями.
- Кейс демонстрирует, что даже при решении тривиальных задач модели могут игнорировать базовые принципы безопасной разработки (Secure Coding Practices).