arXiv · 03.08.2026 ·Безопасность и алайнмент

Magnet: новый метод обнаружения злоупотреблений в агентных системах

Исследователи представили Magnet — фреймворк для выявления вредоносной активности в многоагентных системах. В отличие от традиционных методов, анализирующих отдельные запросы, Magnet отслеживает накопление «способностей» агентов на протяжении нескольких сессий. Это позволяет обнаруживать сложные сценарии злоупотреблений, когда распределенные агенты координируют действия для обхода стандартных систем безопасности и выполнения запрещенных задач.

Современные ИИ-архитектуры все чаще строятся как ансамбли специализированных агентов, делегирующих задачи друг другу. Такая структура создает новые векторы атак, которые невозможно выявить при мониторинге только одного диалогового окна. Magnet фокусируется на анализе паттернов поведения системы в целом, выявляя аномалии в цепочках вызовов и передаче контекста между компонентами, что критически важно для защиты сложных корпоративных ИИ-решений.

Метод использует графовое представление взаимодействия агентов, позволяя отслеживать эволюцию намерений системы во времени. Это помогает отличить легитимную сложную автоматизацию от попыток эксплуатации уязвимостей, направленных на достижение целей, которые выходят за рамки установленных политик безопасности. Разработка предлагает новый подход к аудиту безопасности, адаптированный под современные агентные архитектуры.

Ключевые факты

Magnet анализирует накопление возможностей агентов через границы сессий, а не только отдельные запросы.
Фреймворк разработан для борьбы с угрозами в многоагентных системах, где координация компонентов скрывает вредоносную активность.
Метод использует графовый анализ для отслеживания цепочек делегирования задач между специализированными агентами.
Исследование направлено на устранение пробелов в текущих системах мониторинга, которые не учитывают агентную природу современных ИИ-приложений.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Разработка и инструменты Agentmetry: мониторинг активности ИИ-агентов в файловой системе Agentmetry — это инструмент для отслеживания действий ИИ-агентов, работающих в среде разработки. Утилита перехватывает системные вызовы, позволяя разработчикам видеть, к каким файлам обращается агент, какие команды выполняет и куда отправляет данные. Это решение помогает выявить несанкционированный доступ к критическим файлам, таким как SSH-ключи или конфигурации, и предотвратить утечки информации при выполнении кода. Hacker News · Безопасность и алайнмент Анализ безопасности агентных фреймворков: риски деструктивных действий Разработчики представили инструмент для аудита ИИ-агентов, позволяющий выявлять потенциально опасные или необратимые действия в рамках заданных фреймворков. Исследование показало, что стандартные агентные системы часто обладают избыточными правами доступа, что создает критические уязвимости при выполнении цепочек задач. Инструмент помогает визуализировать и блокировать опасные вызовы API до их исполнения в реальной среде. Hacker News · Безопасность и алайнмент Новый метод защиты специализированных ИИ-агентов от атак через промпт-инъекции Исследователи представили новый подход к обнаружению промпт-инъекций, направленных на специализированные ИИ-агенты. Метод фокусируется на выявлении вредоносных инструкций, которые пытаются обойти системные ограничения модели. Авторы разработали систему классификации атак, позволяющую эффективно фильтровать попытки манипуляции поведением агента в реальном времени, что критически важно для безопасности корпоративных систем, использующих LLM в качестве исполнителей задач. arXiv · Безопасность и алайнмент Автоматизированный ред-тиминг для ИИ-агентов в продакшене Исследователи представили метод автоматизированного ред-тиминга для оценки безопасности ИИ-агентов, работающих с внешними файлами и командами. Система использует подход «агент против агента», где атакующий ИИ ищет уязвимости в целевой модели, анализируя рабочее пространство и контекст выполнения. Это позволяет выявлять критические сбои в безопасности, которые возникают при взаимодействии моделей с недоверенным контентом в реальных рабочих средах. Hacker News · Инфраструктура для агентов AgentPulse: инструмент для мониторинга и отладки мультиагентных систем AgentPulse — это новый инструмент для отслеживания «дрейфа» и аномалий в поведении мультиагентных систем. Решение позволяет разработчикам визуализировать взаимодействие между агентами и выявлять отклонения в логике выполнения задач, что критически важно для сложных цепочек автоматизации, где ошибки одного узла могут привести к каскадному сбою всей агентной архитектуры. arXiv · Инфраструктура для агентов Метод мониторинга и исправления ошибок ИИ-агентов в реальном времени Исследователи представили новый подход к обнаружению и исправлению сбоев в работе ИИ-агентов, основанный на анализе телеметрии шагов. В отличие от затратных методов с использованием второй LLM-модели для проверки каждого действия, предложенная система работает с минимальными задержками, используя мониторы, обученные исключительно на успешных сценариях выполнения задач, что значительно снижает вычислительные расходы. Hacker News · Безопасность и алайнмент Методология офлайн-мониторинга внутренних ИИ-агентов Исследователи представили фреймворк для оценки эффективности офлайн-мониторинга ИИ-агентов, работающих в закрытых средах. Основная задача подхода — выявление потенциально опасных действий или отклонений от заданных инструкций без необходимости постоянного онлайн-контроля. Метод опирается на анализ логов выполнения задач, позволяя компаниям внедрять системы безопасности, которые не замедляют работу агентов в реальном времени, но обеспечивают аудит их поведения. Hacker News · Безопасность и алайнмент Исследование эффективности систем защиты для ИИ-агентов Mozilla.ai представила результаты комплексного тестирования инструментов безопасности (guardrails) для ИИ-агентов. Исследование оценивает способность открытых решений предотвращать вредоносные действия, такие как инъекции промптов и несанкционированный доступ к данным. Анализ показывает, что существующие методы защиты часто уязвимы перед сложными атаками, что требует пересмотра подходов к обеспечению безопасности в агентных системах. arXiv · Безопасность и алайнмент Уязвимость распределенных бэкдоров в мультиагентных системах Исследователи выявили критическую уязвимость в системах безопасности мультиагентных ИИ-архитектур. Традиционные методы мониторинга, проверяющие каждый шаг агента или вызов инструмента по отдельности, не способны обнаружить «распределенные бэкдоры». В таких атаках вредоносная нагрузка фрагментируется между несколькими агентами, что позволяет обходить локальные проверки безопасности, несмотря на то, что итоговый результат действий системы является вредоносным. Hacker News · Безопасность и алайнмент Контрмеры против атак на ИИ-агентов через «контекстные бомбы» Исследователи представили метод защиты ИИ-агентов от вредоносных инструкций, внедряемых через внешние данные, так называемых «контекстных бомб». Техника заключается в размещении специальных триггеров в системных промптах, которые при обнаружении попыток манипуляции или несанкционированного доступа принудительно прерывают выполнение задачи, предотвращая выполнение опасных команд и утечку данных из памяти агента.

← Все материалы