Исследователь Аюш Пол обнаружил критическую уязвимость в инструменте web_fetch модели Claude, позволяющую обходить механизмы защиты от эксфильтрации данных. Атака использует комбинацию доступа модели к истории прошлых взаимодействий пользователя и возможности выполнения внешних сетевых запросов. Это позволяет злоумышленникам извлекать конфиденциальную информацию из «памяти» чат-бота через специально подготовленные веб-страницы, с которыми взаимодействует ИИ.
Проблема заключается в архитектурном конфликте между функциональностью инструментов и безопасностью данных. Claude имеет доступ к контексту предыдущих диалогов, что делает его «память» привлекательной целью. Когда модель использует инструмент web_fetch для посещения внешнего ресурса, атакующий может внедрить инструкции, заставляющие ИИ передать накопленные данные на сторонний сервер. Механизмы фильтрации, призванные предотвратить утечку, оказались недостаточно эффективными против методов манипуляции контекстом.
Данный инцидент подчеркивает риски, возникающие при интеграции инструментов (tool use) в агентные системы, обладающие долгосрочной памятью. Даже при наличии встроенных ограничений, возможность модели интерпретировать данные из внешних источников в сочетании с доступом к приватным логам создает вектор для атак типа «lethal trifecta». Разработчикам агентных систем рекомендуется пересмотреть политики изоляции данных и ограничить доступ моделей к чувствительной истории при выполнении внешних сетевых операций.
Ключевые факты
- Уязвимость обнаружена исследователем Аюшем Полом в инструменте web_fetch модели Claude.
- Атака эксплуатирует доступ модели к истории прошлых взаимодействий пользователя (памяти).
- Метод позволяет злоумышленникам извлекать приватные данные через специально подготовленные внешние веб-ресурсы.
- Проблема иллюстрирует риски безопасности в агентных системах, где модель имеет доступ к инструментам и конфиденциальному контексту одновременно.