Исследователи представили анализ уязвимостей, возникающих при интеграции ИИ-агентов в рабочие процессы. Основная проблема заключается в расширении прав доступа моделей к личным данным пользователей, почтовым клиентам и внутренним корпоративным системам. В ходе экспериментов удалось продемонстрировать сценарии, при которых агент, выполняя задачу по автоматизации, непреднамеренно передает конфиденциальную информацию сторонним сервисам или сохраняет её в незащищенных логах.
Ключевой вектор атаки связан с механизмом «промпт-инъекций», когда вредоносные инструкции, скрытые в письмах или документах, заставляют агента игнорировать политики безопасности. В таких случаях модель может отправить содержимое закрытых файлов на внешний сервер или изменить настройки доступа к данным, действуя от имени пользователя. Исследование подчеркивает, что текущие методы ограничения прав (sandbox) часто оказываются недостаточными, так как агенты обладают высокой степенью автономности при взаимодействии с API.
Авторы работы предлагают внедрить многоуровневую систему контроля, включающую обязательную верификацию действий агента человеком при доступе к критически важным данным. Также рекомендуется использовать изолированные среды выполнения с жесткими лимитами на исходящий сетевой трафик и внедрить протоколы логирования, которые позволяют отслеживать цепочку принятия решений моделью. Эти меры направлены на минимизацию рисков утечки данных в условиях, когда агенты становятся полноценными участниками бизнес-процессов.