NextKick Labs представили «Agentic AI Security Reference» — открытое руководство по защите агентных систем от специфических угроз. Материал систематизирует векторы атак на LLM-агентов, включая манипуляции с инструментами, инъекции промптов и уязвимости в цепочках принятия решений, предоставляя архитектурные рекомендации для разработчиков, внедряющих автономные системы в бизнес-процессы.
Документ охватывает полный жизненный цикл агентной системы: от этапа проектирования до эксплуатации и мониторинга. Авторы фокусируются на практических методах защиты, которые помогают минимизировать риски при интеграции агентов с внешними API, базами данных и внутренними корпоративными системами. Справочник распространяется под лицензией CC BY-NC-ND 4.0, что позволяет использовать его в образовательных и исследовательских целях.
Основная ценность работы заключается в классификации рисков, характерных именно для агентной архитектуры, где модель имеет право на выполнение действий (tool use). В отличие от стандартных руководств по безопасности чат-ботов, здесь подробно разбираются сценарии «отравления» контекста и несанкционированного доступа к инструментам оркестрации, что критически важно для построения надежной инфраструктуры.
Ключевые факты
- Справочник охватывает специфические угрозы для агентных систем, такие как несанкционированное использование инструментов и манипуляции с памятью агента.
- Материал включает рекомендации по защите цепочек вызовов (chain-of-thought) и предотвращению эскалации привилегий при работе с внешними API.
- Руководство доступно бесплатно под лицензией Creative Commons (CC BY-NC-ND 4.0).
- Основной акцент сделан на архитектурных паттернах безопасности, применимых к современным фреймворкам для оркестрации ИИ-агентов.