Исследователи проанализировали новые векторы атак на автономные ИИ-агенты, использующие методы социальной инженерии. В отличие от классических атак на чат-ботов, эти угрозы нацелены на манипуляцию агентными системами, имеющими доступ к внешним инструментам и API. Эксперты классифицировали основные приемы обмана и предложили стратегии защиты для предотвращения несанкционированных действий агентов в реальных бизнес-процессах.
Атаки типа «SociaLLM Engineering» эксплуатируют доверие агента к входящим данным из внешних источников, таких как электронная почта, веб-страницы или сообщения в мессенджерах. Злоумышленники используют психологические триггеры, чтобы заставить систему выполнить нежелательные действия: от передачи конфиденциальных данных до совершения финансовых транзакций. Проблема усугубляется тем, что агенты часто работают в автоматическом режиме с минимальным контролем со стороны человека.
Для минимизации рисков предлагается внедрение многоуровневой системы верификации действий агента. Это включает в себя строгую изоляцию сред исполнения, ограничение прав доступа к критическим API и использование механизмов «человека в контуре» для подтверждения высокорисковых операций. Разработчикам рекомендуется пересмотреть подходы к промпт-инжинирингу, чтобы сделать системы более устойчивыми к попыткам манипуляции контекстом и инструкциями.
Ключевые факты
- Атаки направлены на эксплуатацию агентных систем, интегрированных с внешними инструментами и API.
- Основной вектор угрозы — внедрение вредоносных инструкций через неконтролируемые внешние данные.
- Рекомендуется использование принципа минимальных привилегий для доступа агентов к системным ресурсам.
- Внедрение обязательного подтверждения человеком (Human-in-the-loop) является критическим требованием для защиты финансовых и административных операций.