Исследователи представили анализ нового вектора угроз для автономных ИИ-систем — атак через внедрение данных (Data Injection Attacks). В отличие от классических атак на промпты, этот метод эксплуатирует доверие агентов к внешним источникам информации, таким как веб-страницы, базы данных или API, позволяя злоумышленникам скрыто манипулировать поведением агента и его решениями.
Основная проблема заключается в том, что современные агенты активно используют RAG-системы и инструменты для поиска данных в реальном времени. Если злоумышленник контролирует контент, который индексируется или считывается агентом, он может внедрить вредоносные инструкции, которые будут восприняты как легитимные данные. Это приводит к несанкционированному выполнению действий, утечке конфиденциальной информации или изменению логики принятия решений без ведома пользователя.
Авторы работы подчеркивают, что существующие механизмы защиты, такие как фильтрация промптов, оказываются неэффективными против атак на уровне данных. Поскольку агент воспринимает внедренную информацию как контекст для выполнения задачи, он не классифицирует её как попытку взлома. Исследование предлагает новые подходы к верификации источников данных и внедрению многоуровневой проверки контента перед его подачей в рабочую память модели.
Ключевые факты
- Атаки через внедрение данных позволяют обходить стандартные фильтры безопасности, так как вредоносный код маскируется под обычный контент из внешних источников.
- Уязвимость критична для систем, использующих RAG (Retrieval-Augmented Generation) и автономные инструменты для поиска информации в интернете.
- Исследователи классифицировали методы манипуляции, при которых агент выполняет действия, противоречащие его исходным инструкциям, опираясь на скомпрометированные данные.
- Предложены методы защиты, основанные на строгой изоляции контекста и проверке достоверности данных, поступающих из неконтролируемых внешних систем.