Исследователи представили комплексный анализ безопасности автономных ИИ-агентов, утверждая, что защита таких систем требует перехода от анализа отдельных моделей к изучению всей архитектуры взаимодействия. Авторы доказывают, что уязвимости возникают на стыке планирования, доступа к внешним инструментам и управления памятью, что делает традиционные методы фильтрации промптов недостаточными для предотвращения несанкционированных действий.

В работе подчеркивается, что агентные системы обладают уникальным вектором атак, связанным с манипуляцией цепочками рассуждений (Chain-of-Thought). Злоумышленники могут внедрять вредоносные инструкции в контекстное окно, которые агент воспринимает как легитимные команды для выполнения системных операций. Это создает риски при интеграции агентов с API, базами данных и файловыми системами, где модель получает возможность совершать действия от имени пользователя.

Для решения проблемы предлагается внедрение многоуровневого контроля доступа и механизмов изоляции сред выполнения. Авторы настаивают на необходимости создания «песочниц» для каждого этапа агентного цикла, чтобы ограничить область поражения в случае компрометации модели. Такой подход смещает фокус с попыток сделать модель «безопасной по своей природе» на создание устойчивой инфраструктуры, способной блокировать опасные паттерны поведения на уровне оркестрации.

Ключевые факты

  • Безопасность агентов классифицирована как системная проблема, требующая защиты инфраструктуры, а не только весов модели.
  • Основной вектор атак связан с манипуляцией процессами планирования и доступа к внешним инструментам.
  • Предложен переход к архитектурам с изоляцией сред выполнения для предотвращения несанкционированного доступа к API.
  • Традиционные методы фильтрации промптов признаны неэффективными против атак, использующих цепочки рассуждений агента.