Мартин Одерски предложил новый подход к безопасности ИИ-агентов, основанный на строгом отслеживании их функциональных возможностей. Вместо попыток ограничить поведение модели через общие инструкции, предлагается система, где агенты получают доступ к инструментам и API только при наличии явных разрешений, что позволяет контролировать их действия на уровне архитектуры и типов данных.
Основная идея заключается в создании системы типов, которая формально описывает, какие действия может совершать агент. Если агент пытается выйти за рамки своих полномочий — например, выполнить запись в базу данных или отправить сетевой запрос без соответствующего разрешения — система блокирует выполнение на этапе компиляции или исполнения. Это превращает безопасность из абстрактной задачи в техническую проблему контроля доступа.
Такой подход позволяет разработчикам создавать «песочницы» для агентов, где каждое взаимодействие с внешней средой строго типизировано. Это снижает риски непредсказуемого поведения, так как агент физически не может вызвать функцию, которая не была явно разрешена в его текущем контексте исполнения. Метод опирается на принципы функционального программирования и статического анализа, что делает его применимым в сложных агентных системах.
Ключевые факты
- Автор концепции — Мартин Одерски, создатель языка программирования Scala.
- Безопасность обеспечивается через строгую типизацию прав доступа агента к внешним инструментам.
- Система блокирует несанкционированные действия агента на уровне исполнения, предотвращая выход за рамки заданных полномочий.
- Подход направлен на минимизацию рисков при использовании LLM в критически важных бизнес-процессах.
- Метод предлагает альтернативу «мягким» ограничениям через промпт-инжиниринг, заменяя их жесткими программными контрактами.