Исследователи предложили пересмотреть методологию тестирования на проникновение для систем с ИИ. Традиционный фокус на взломе инфраструктуры дополняется анализом нарушений поведенческих целей. Теперь критически важно оценивать, как злоумышленники могут манипулировать промптами, данными RAG-систем, сенсорными входами и обучающими выборками, чтобы заставить модель действовать вопреки заданным бизнес-логикам и этическим ограничениям.
Современные ИИ-системы расширяют поверхность атаки за пределы классических уязвимостей ПО. В отличие от традиционных систем, где целью является несанкционированный доступ к ресурсам, в ИИ-среде основной угрозой становится «поведенческое отклонение». Это ситуация, при которой модель, оставаясь технически исправной, начинает выполнять вредоносные действия или выдавать скомпрометированные результаты из-за манипуляции контекстом или входными данными.
Авторы статьи подчеркивают, что существующие стандарты безопасности (например, OWASP Top 10 для LLM) необходимо дополнить фреймворками, которые учитывают логику принятия решений агентами. Тестирование должно включать симуляцию атак на «память» агента и цепочки рассуждений, чтобы выявить сценарии, в которых модель игнорирует системные инструкции под воздействием специально подготовленных внешних стимулов.
Ключевые факты
- Традиционный пентест сфокусирован на компрометации ресурсов, тогда как новый подход акцентирует внимание на нарушении поведенческих целей ИИ.
- Основными векторами атак для ИИ-систем признаны манипуляции промптами, данными из RAG-баз, обучающими выборками и сенсорными данными.
- Исследование предлагает сместить фокус с поиска ошибок в коде на оценку устойчивости логики принятия решений агентами.
- Методология направлена на предотвращение сценариев, где модель сохраняет работоспособность, но выполняет действия, противоречащие заданным целям.