Представлен движок для обеспечения безопасности и соблюдения правил (norms) в работе ИИ-агентов, построенный на базе протокола MCP (Model Context Protocol). Система использует подход «fail-closed», блокируя любые действия агента, которые не могут быть подтверждены имеющимися доказательствами или не соответствуют заданным политикам, что критически важно для предотвращения несанкционированных операций в корпоративных средах.
Инструмент позволяет разработчикам формализовать правила поведения агентов, превращая их в проверяемые условия. Вместо того чтобы полагаться исключительно на вероятностную природу LLM, система требует наличия верифицируемых данных для каждого шага выполнения задачи. Если агент пытается выполнить действие, выходящее за рамки установленных норм или не имеющее подтверждающего контекста, движок принудительно прерывает процесс.
Такой подход решает проблему «галлюцинаций» в контексте выполнения бизнес-логики, где точность и соответствие регламентам важнее креативности. Реализация через MCP обеспечивает совместимость с широким спектром существующих агентных фреймворков и сред исполнения, позволяя внедрять слой контроля без глубокой переработки архитектуры самих агентов.
Ключевые факты
- Реализация выполнена в виде MCP-сервера, что обеспечивает интеграцию с любыми клиентами, поддерживающими данный протокол.
- Архитектура «fail-closed» гарантирует, что при отсутствии доказательств или нарушении норм агент переходит в состояние блокировки.
- Система ориентирована на создание проверяемых цепочек действий, где каждое решение агента подкрепляется внешними данными.
- Инструмент предназначен для снижения рисков при автоматизации процессов, требующих строгого соблюдения корпоративных политик и комплаенса.