Google предупреждает о рисках безопасности для автономных ИИ-агентов, способных управлять компьютером и взаимодействовать с открытым вебом. Злоумышленники используют скрытые элементы на веб-страницах, чтобы манипулировать действиями моделей, таких как Gemini. Эти атаки направлены на обход инструкций безопасности и выполнение несанкционированных команд, что создает серьезные угрозы для пользователей, делегирующих агентам управление браузером и локальными файлами.
Основная проблема заключается в том, что агенты воспринимают визуальную и текстовую информацию на сайтах как доверенную. Хакеры внедряют невидимые для человека, но распознаваемые ИИ инструкции, которые заставляют модель выполнять действия, противоречащие её базовым настройкам. Это могут быть скрытые кнопки, команды в метаданных или специфическая разметка, провоцирующая агента на передачу данных или выполнение вредоносных скриптов.
Разработчики систем, использующих агентные возможности, сталкиваются с необходимостью внедрения новых уровней фильтрации контента. Традиционные методы защиты, основанные на проверке кода, оказываются недостаточными, так как атаки эксплуатируют именно логику принятия решений ИИ-моделью. Эксперты подчеркивают, что по мере расширения доступа агентов к операционным системам, подобные векторы атак будут становиться более изощренными и массовыми.
Ключевые факты
- Google официально подтвердила наличие векторов атак, использующих скрытые веб-элементы для манипуляции ИИ-агентами.
- Уязвимости позволяют злоумышленникам обходить системные промпты и заставлять агентов выполнять несанкционированные действия в браузере.
- Атаки эксплуатируют способность моделей интерпретировать визуальный контент и текстовую разметку как прямые инструкции к действию.
- Основной риск связан с предоставлением агентам прав на управление локальными файлами и учетными записями пользователей.