Исследователи представили новый подход к обеспечению безопасности веб-агентов, направленный на предотвращение промпт-инъекций. Метод основан на строгом разделении доверенных инструкций и внешних данных, поступающих из веб-среды. Технология позволяет агентам взаимодействовать с сайтами, минимизируя риск выполнения вредоносного кода, скрытого в контенте страниц, что критически важно для безопасной автоматизации действий в браузере.
Основная сложность при работе агентов с веб-интерфейсами заключается в том, что HTML-код страниц объединяет структуру, логику и пользовательские данные. В отличие от API, где границы между системными инструкциями и данными четко определены, веб-страницы часто содержат неструктурированный контент, который может быть использован для манипуляции поведением модели. Новый метод маскирования изолирует потенциально опасные элементы, не нарушая при этом функциональность агента.
Предложенная архитектура вводит слой абстракции, который фильтрует входящий поток данных до того, как он попадет в контекстное окно LLM. Это позволяет системе сохранять работоспособность при выполнении сложных задач, таких как навигация по сайтам или заполнение форм, обеспечивая при этом математически обоснованные гарантии безопасности против атак типа «инъекция промпта».
Ключевые факты
- Метод решает проблему смешивания доверенных инструкций и недоверенных данных в веб-среде.
- Технология обеспечивает формальные гарантии безопасности, предотвращая выполнение вредоносных команд, внедренных в HTML-контент.
- Подход позволяет агентам сохранять контекст и функциональность при работе с динамическими веб-страницами.
- Разработка направлена на устранение фундаментального уязвимого места в текущих архитектурах автономных веб-агентов.