Команда Perplexity разработала Numbat — специализированный фреймворк для обеспечения безопасности ИИ-агентов, работающих на клиентских конечных точках. Инструмент позволяет контролировать выполнение кода и взаимодействие агентов с внешними API, предотвращая несанкционированный доступ и утечки данных. Решение фокусируется на изоляции процессов и проверке прав доступа в динамических средах, где агенты выполняют сложные цепочки действий.
В основе Numbat лежит архитектура, которая ограничивает возможности агентов на уровне исполнения, не снижая при этом их функциональность. Система анализирует контекст запросов и ограничивает область видимости инструментов, к которым агент может обращаться в процессе решения задачи. Это критически важно для защиты пользовательских данных при использовании LLM, которые имеют доступ к браузеру или локальным файловым системам.
Внедрение подобных механизмов безопасности становится стандартом для компаний, развивающих агентные платформы. Numbat позволяет разработчикам определять политики доступа, которые автоматически применяются при каждом вызове функции агентом. Такой подход минимизирует риски «инъекций промптов» и неконтролируемого выполнения кода, обеспечивая предсказуемое поведение системы в условиях высокой автономности ИИ-агентов.
Ключевые факты
- Numbat разработан для защиты агентных систем от несанкционированного выполнения кода и API-вызовов.
- Фреймворк обеспечивает изоляцию процессов на клиентских конечных точках, предотвращая доступ к конфиденциальным данным.
- Система поддерживает динамическое управление политиками доступа для различных инструментов агента.
- Решение направлено на снижение рисков безопасности, связанных с автономными действиями ИИ в браузерной среде.