Исследователи представили новый класс атак на ИИ-агентов под названием HalluSquatting. Метод использует уязвимости в механизмах поиска и RAG-системах, заставляя модели обращаться к вредоносным ресурсам вместо легитимных. Злоумышленники регистрируют домены, которые ИИ-модели ошибочно считают авторитетными источниками, что позволяет внедрять нежелательный контент или перехватывать управление агентными цепочками без прямого таргетирования.
Суть атаки заключается в эксплуатации склонности LLM к «галлюцинациям» при поиске информации в интернете или корпоративных базах данных. Агенты, настроенные на автоматический поиск ответов, могут быть направлены на специально подготовленные страницы, имитирующие структуру документации или API-интерфейсов. Это создает угрозу для систем, где агенты имеют доступ к выполнению кода или взаимодействию с внешними сервисами.
Авторы исследования подчеркивают, что текущие методы защиты, такие как фильтрация промптов, оказываются неэффективными против атак на уровне инфраструктуры поиска. Проблема становится критической для автономных систем, которые полагаются на динамические данные из сети, так как злоумышленники могут масштабировать подобные «отравленные» ресурсы для массового воздействия на различные агентные платформы.
Ключевые факты
- Метод HalluSquatting эксплуатирует доверие ИИ-моделей к результатам поисковой выдачи и RAG-индексам.
- Атаки позволяют злоумышленникам незаметно внедрять вредоносные инструкции в рабочие процессы агентов.
- Исследование демонстрирует возможность создания масштабируемых «агентных ботнетов» через манипуляцию источниками данных.
- Уязвимость актуальна для всех систем, использующих инструменты поиска в реальном времени для принятия решений.
- Атака не требует прямого доступа к промптам пользователя, воздействуя на этап сбора контекста.