Исследователи представили новый метод верификации, позволяющий контролировать поведение ИИ-агентов в сложных цифровых средах с учетом вероятностных факторов. Ранее существующие системы мониторинга в реальном времени опирались на детерминированные политики, выраженные на языке Datalog, что ограничивало их применение в условиях неопределенности. Новый подход расширяет возможности формальной верификации, позволяя задавать правила безопасности для сценариев, где действия агента могут приводить к различным исходам с разной степенью вероятности.
Механизм работает как слой контроля, который анализирует цепочки действий агента на соответствие заданным ограничениям до того, как они будут выполнены. Использование вероятностных моделей позволяет системе эффективно выявлять потенциально опасные траектории развития событий, не блокируя при этом работу агента в штатных ситуациях. Это критически важно для автономных систем, работающих в динамических средах, где жесткие детерминированные правила часто оказываются либо слишком ограничивающими, либо недостаточно гибкими для предотвращения рисков.
Разработанный алгоритм обеспечивает баланс между вычислительной эффективностью и надежностью проверки. В ходе тестирования метод показал способность поддерживать строгие гарантии безопасности при минимальных задержках в процессе принятия решений. Данное решение может быть интегрировано в архитектуры агентных систем для автоматического соблюдения политик безопасности, минимизируя вероятность нежелательных действий в сложных программных окружениях.