Исследователи представили метод защиты ИИ-агентов от вредоносных инструкций, внедряемых через внешние данные, так называемых «контекстных бомб». Техника заключается в размещении специальных триггеров в системных промптах, которые при обнаружении попыток манипуляции или несанкционированного доступа принудительно прерывают выполнение задачи, предотвращая выполнение опасных команд и утечку данных из памяти агента.
Агентные системы, активно использующие RAG и доступ к внешним API, уязвимы к инъекциям через документы, электронные письма или веб-страницы. Злоумышленники могут внедрять скрытые инструкции, которые заставляют модель игнорировать исходные правила безопасности. Предложенный подход позволяет разработчикам встраивать «защитные слои» непосредственно в контекстное окно, которые срабатывают как сигнальные системы при попытке агента выйти за рамки заданных полномочий.
В отличие от традиционных фильтров на входе, этот метод работает на уровне исполнения, анализируя поведение агента в процессе обработки данных. Это критически важно для систем, где агент имеет право на автономное выполнение действий, таких как отправка сообщений или изменение конфигураций. Использование таких «бомб» позволяет создавать эшелонированную защиту, где даже при успешном обходе первичных фильтров агент сохраняет способность к самодиагностике и блокировке вредоносного сценария.
Ключевые факты
- Метод «контекстных бомб» направлен на предотвращение атак типа prompt injection в автономных агентных системах.
- Защита активируется при обнаружении специфических паттернов поведения, указывающих на попытку перехвата управления агентом.
- Техника позволяет принудительно завершать сессию или ограничивать доступ к API при срабатывании триггера безопасности.
- Подход ориентирован на интеграцию в архитектуры, где агенты работают с неструктурированными данными из внешних источников.