Исследователи представили PiSAs — первый бенчмарк для оценки целостности контекста в многопользовательских агентных системах. Инструмент выявляет риски утечки конфиденциальной информации между пользователями, возникающие при использовании общей памяти и обмене сообщениями между агентами. Это критически важно для корпоративных сред, где существующие методы оценки безопасности не учитывают специфику взаимодействия нескольких агентов внутри одной инфраструктуры.
По мере перехода от персональных помощников к сложным агентным системам, используемым целыми организациями, возникают новые векторы угроз. Конфиденциальные данные могут непреднамеренно передаваться между агентами или становиться доступными пользователям, не имеющим соответствующих прав доступа. Традиционные бенчмарки фокусируются на безопасности ответов для внешних получателей, однако PiSAs закрывает пробел в анализе внутренних коммуникаций и разделяемых ресурсов.
Бенчмарк позволяет количественно измерить вероятность «перелива» данных в агентных архитектурах. Он моделирует сценарии, в которых агенты, обладающие доступом к общей базе знаний или истории диалогов, могут скомпрометировать приватность, объединяя контексты разных пользователей. Использование PiSAs помогает разработчикам проектировать более защищенные системы с учетом принципов контекстуальной целостности.
Ключевые факты
- PiSAs оценивает риски утечки данных в системах с общим доступом к памяти и меж-агентным обменом сообщениями.
- Исследование фокусируется на проблеме «перелива» контекста, которую не охватывают стандартные тесты безопасности LLM.
- Методология бенчмарка базируется на принципах контекстуальной целостности, адаптированных для многопользовательских ИИ-инфраструктур.
- Инструмент предназначен для выявления уязвимостей в корпоративных агентных средах, где агенты работают с данными разных пользователей одновременно.