Исследователи AI Now Institute выявили критические уязвимости в архитектуре защитных ИИ-агентов, используемых для кибербезопасности. Эксперты продемонстрировали, как злоумышленники могут манипулировать входными данными агента, чтобы добиться удаленного выполнения кода (RCE) в инфраструктуре организации. Это ставит под угрозу концепцию автономных систем защиты, превращая их в потенциальный вектор атаки на корпоративные сети.
Основная проблема заключается в доверии агентов к неструктурированным данным, поступающим из внешних источников, таких как логи сетевого трафика или отчеты об инцидентах. Если агент обладает правами на выполнение системных команд для автоматического реагирования, инъекция специально подготовленного вредоносного запроса позволяет обойти ограничения безопасности. В результате система, предназначенная для обнаружения угроз, начинает исполнять инструкции атакующего с привилегиями администратора.
Авторы исследования подчеркивают, что текущие методы «песочниц» и фильтрации промптов недостаточно эффективны против атак, использующих логику взаимодействия агента с API и системными инструментами. Для минимизации рисков предлагается пересмотреть модель доступа агентов к критическим функциям ОС и внедрить строгую верификацию всех действий, инициируемых ИИ, прежде чем они будут применены к реальной инфраструктуре.
Ключевые факты
- Исследование проведено организацией AI Now Institute и сфокусировано на рисках «дружественного огня» в ИИ-системах.
- Основной вектор атаки — RCE (Remote Code Execution), позволяющий получить контроль над хостом через манипуляцию данными агента.
- Уязвимость возникает из-за избыточных прав доступа ИИ-агентов к системным инструментам и API.
- Рекомендуется внедрение принципа минимальных привилегий и обязательное подтверждение действий агента человеком в критических узлах сети.