Исследователи безопасности обнаружили критическую уязвимость в ИИ-ассистенте Zoom, которая позволяет злоумышленникам внедрять вредоносные инструкции в контекст диалога. Используя методы «отравления» промптов, атакующий может заставить ИИ игнорировать системные настройки, похищать конфиденциальные данные из переписки или выполнять несанкционированные действия от имени пользователя, что ставит под угрозу безопасность корпоративных коммуникаций и приватность участников видеоконференций.
Проблема заключается в том, как именно модель обрабатывает входящие данные из чата и транскрипций. ИИ-ассистент воспринимает информацию, поступающую от собеседников, как доверенный контекст, что позволяет внедрять скрытые команды. В ходе эксперимента удалось продемонстрировать, как через специально подготовленное сообщение в чате можно заставить модель изменить поведение или выдать закрытую информацию, которую она получила из предыдущих этапов разговора.
Этот инцидент подчеркивает серьезные риски при интеграции LLM в бизнес-инструменты, где границы между пользовательским контентом и системными инструкциями остаются размытыми. Разработчики систем, использующих RAG или агентные цепочки, сталкиваются с необходимостью внедрения более строгих фильтров на входе, чтобы предотвратить манипуляции через инъекции промптов, которые могут привести к утечке данных или нарушению логики работы приложения.
Ключевые факты
- Уязвимость позволяет злоумышленнику внедрять инструкции, которые переопределяют системные правила ИИ-ассистента.
- Атака реализуется через манипуляцию контекстом чата, который модель считает доверенным источником данных.
- В ходе демонстрации удалось доказать возможность кражи данных из истории обсуждения и выполнения команд от имени пользователя.
- Проблема иллюстрирует критическую уязвимость «инъекций промптов» в реальных корпоративных продуктах с ИИ-функционалом.