Исследование описывает новый класс атак на системы RAG (Retrieval-Augmented Generation), в ходе которых злоумышленники манипулируют базой знаний для внедрения вредоносных инструкций. В отличие от классических атак на промпты, этот метод использует уязвимости в процессе извлечения данных, заставляя модель игнорировать системные установки и выполнять команды, скрытые в индексированных документах или внешних источниках данных.
Основная проблема заключается в доверии системы к извлекаемому контексту. Когда LLM получает данные из векторной базы, она воспринимает их как достоверный источник информации. Если в индексируемых документах содержатся специально подготовленные фрагменты текста, они могут перехватить управление логикой агента, даже если сам системный промпт защищен от прямого вмешательства. Это создает серьезные риски для корпоративных систем, использующих RAG для обработки неструктурированных данных из интернета или пользовательских загрузок.
Авторы подчеркивают, что традиционные методы фильтрации входящих запросов оказываются неэффективными, так как «отравленный» контент попадает в модель уже на этапе формирования контекста. Для защиты предлагается внедрение многоуровневой проверки извлекаемых данных и использование механизмов изоляции, которые позволяют модели различать инструкции от пользователя и данные из внешних хранилищ.
Ключевые факты
- Атака эксплуатирует доверие модели к контексту, полученному из векторных баз данных.
- Вредоносные инструкции внедряются непосредственно в документы, которые индексируются системой RAG.
- Метод позволяет обходить стандартные ограничения системного промпта, перехватывая управление агентом.
- Защита требует внедрения строгой валидации извлекаемых данных и разделения контекста на «инструктивный» и «информационный» уровни.