Исследователи представили метод автоматизированного ред-тиминга для оценки безопасности ИИ-агентов, работающих с внешними файлами и командами. Система использует подход «агент против агента», где атакующий ИИ ищет уязвимости в целевой модели, анализируя рабочее пространство и контекст выполнения. Это позволяет выявлять критические сбои в безопасности, которые возникают при взаимодействии моделей с недоверенным контентом в реальных рабочих средах.
Современные агентные системы, такие как Claude Code, имеют доступ к файловой системе и инструментам исполнения кода, что создает новые векторы атак. Традиционные методы тестирования часто ограничиваются статичными бенчмарками, которые не учитывают динамическую природу агентных рабочих процессов. Новый подход фокусируется на генерации адаптивных сценариев атак, способных обходить стандартные фильтры безопасности и манипулировать состоянием среды агента.
Авторы подчеркивают, что автоматизация процесса поиска уязвимостей критически важна для масштабирования безопасности. Вместо ручного написания эксплойтов система самостоятельно обучается находить способы внедрения вредоносных команд или извлечения конфиденциальных данных из рабочей директории агента. Это приближает процесс тестирования к реальным условиям эксплуатации, где ИИ-агенты постоянно сталкиваются с непредсказуемыми входными данными.
Ключевые факты
- Метод ориентирован на защиту агентов, имеющих доступ к файловым системам и выполнению команд в продакшене.
- Система использует агентную архитектуру для автоматизированного поиска уязвимостей в целевых моделях.
- Подход позволяет выявлять специфические сбои, возникающие при обработке недоверенного контента в рабочей среде.
- Исследование направлено на устранение разрыва между статичными бенчмарками и динамическими угрозами в агентных системах.