Исследователи представили подход к обучению моделей, направленный на предотвращение выполнения вредоносных инструкций, поступающих через протокол Model Context Protocol (MCP). Метод фокусируется на распознавании замаскированных команд, которые могут использоваться для обхода стандартных фильтров безопасности, обеспечивая более надежную работу ИИ-агентов при взаимодействии с внешними инструментами и данными в реальных сценариях.
Протокол MCP становится стандартом для интеграции LLM с локальными и удаленными источниками данных, что создает новые векторы атак. Злоумышленники могут внедрять «отравленные» инструкции в контекст, передаваемый через серверы MCP, заставляя модель игнорировать системные ограничения. Предложенная методика обучения учит модель распознавать такие манипуляции и отказываться от выполнения подозрительных действий, даже если они выглядят как легитимные запросы к API или файловой системе.
Разработка включает в себя специализированный набор данных для дообучения моделей, который содержит примеры «скрытых» атак. Это позволяет повысить устойчивость агентов к инъекциям промптов, которые передаются не напрямую пользователем, а через промежуточные слои интеграции. Такой подход критически важен для систем, где агент имеет право на запись файлов или выполнение кода в изолированной среде.
Ключевые факты
- Метод направлен на защиту от атак через Model Context Protocol (MCP), используемый для связи LLM с внешними инструментами.
- Обучение фокусируется на распознавании замаскированных команд, которые пытаются обойти встроенные механизмы отказа (refusal mechanisms).
- Решение адресовано проблеме инъекций в контекст, поступающий от сторонних серверов интеграции.
- Подход повышает безопасность автономных агентов, имеющих доступ к выполнению операций в операционной системе или базах данных.