Компания Perplexity выпустила Numbat — инструмент для обнаружения угроз и реагирования на инциденты в среде выполнения ИИ-агентов. Решение позволяет отслеживать подозрительную активность, контролировать выполнение кода и предотвращать несанкционированные действия агентов в реальном времени, обеспечивая необходимый уровень безопасности при интеграции LLM в рабочие процессы и инфраструктуру приложений.
Numbat фокусируется на выявлении аномалий в поведении агентов, которые могут возникать при выполнении внешних вызовов или взаимодействии с системными ресурсами. Инструмент предоставляет механизмы для анализа контекста выполнения, что помогает разработчикам оперативно реагировать на попытки эксплуатации уязвимостей, таких как инъекции промптов или неконтролируемое выполнение кода в изолированных средах.
Система спроектирована для глубокой интеграции в агентные пайплайны, позволяя администраторам устанавливать политики безопасности и отслеживать цепочки вызовов. Это критически важно для защиты инфраструктуры, где агенты имеют доступ к API, базам данных или файловым системам, минимизируя риски утечки данных или компрометации системы через манипуляцию поведением модели.
Ключевые факты
- Numbat разработан компанией Perplexity для обеспечения безопасности агентных систем.
- Инструмент предоставляет функции Runtime Detection and Response (EDR) для ИИ-агентов.
- Решение отслеживает подозрительные действия, включая несанкционированное выполнение кода и обращения к системным ресурсам.
- Проект доступен в открытом доступе на платформе GitHub для интеграции в существующие агентные архитектуры.