Исследователи представили Prismata — систему защиты веб-агентов от атак типа Cross-Site Prompt Injection (CSPI). Решение изолирует контекст взаимодействия агента с внешними веб-страницами, предотвращая выполнение вредоносных инструкций, скрытых в контенте сайтов. Это критически важный механизм для безопасной автоматизации действий агентов в неконтролируемой среде интернета, где злоумышленники могут внедрять скрытые команды в HTML-разметку.
Основная проблема, которую решает Prismata, заключается в уязвимости LLM-агентов к «отравленному» контенту. Когда агент посещает веб-страницу, он считывает её содержимое для выполнения задачи. Если страница содержит скрытые инструкции, направленные на перехват управления или кражу данных, агент может исполнить их, приняв за часть пользовательского запроса. Система внедряет строгие границы между доверенным контекстом пользователя и недоверенными данными из сети.
Метод использует механизмы динамического анализа и фильтрации, которые позволяют агенту различать функциональные элементы страницы и потенциально опасные промпты. В ходе тестирования на популярных сценариях веб-автоматизации Prismata продемонстрировала высокую эффективность в блокировке атак, сохраняя при этом работоспособность агентов при выполнении легитимных задач. Это значимый шаг в сторону создания защищенных агентных систем, способных безопасно взаимодействовать с внешними ресурсами.
Ключевые факты
- Prismata предотвращает выполнение вредоносных инструкций, внедренных в HTML-контент веб-страниц.
- Система использует изоляцию контекста для отделения пользовательских задач от внешних данных.
- Метод ориентирован на защиту автономных веб-агентов, использующих LLM для навигации и взаимодействия с сайтами.
- Исследование подтверждает эффективность защиты против атак типа Cross-Site Prompt Injection (CSPI) в реальных сценариях.