Исследователи продемонстрировали практический сценарий непрямой промпт-инъекции в RAG-конвейерах. Атака заключается в размещении вредоносного контента на внешних ресурсах, которые индексируются системой. В результате ИИ-агент, извлекая данные из скомпрометированного источника, перехватывает управление и выполняет несанкционированные действия, игнорируя системные инструкции и подвергая риску целостность бизнес-процессов, автоматизированных с помощью LLM.
Суть проблемы заключается в доверии модели к извлекаемым данным как к «доверенному контексту». В ходе эксперимента атакующий внедрял скрытые команды в веб-страницу, которую затем сканировал поисковый индекс RAG-системы. При запросе пользователя модель считывала эти инструкции и начинала следовать им, что позволяет злоумышленникам манипулировать поведением агента, похищать данные или инициировать нежелательные транзакции.
Этот кейс подчеркивает критическую необходимость внедрения многоуровневой фильтрации входящих данных и строгой изоляции контекста. Разработчикам рекомендуется рассматривать любые внешние источники, попадающие в векторную базу данных, как потенциально враждебные, и внедрять механизмы верификации контента до его попадания в операционную память агента.
Ключевые факты
- Атака основана на внедрении скрытых инструкций в текстовый контент, индексируемый поисковыми системами.
- RAG-система воспринимает вредоносный текст как часть пользовательского запроса или контекста, что приводит к выполнению команд атакующего.
- Уязвимость позволяет обходить системные промпты, заданные разработчиками для ограничения функциональности модели.
- Основной вектор защиты требует внедрения этапа очистки данных (sanitization) и проверки источников перед их векторизацией.