Компания Mythos, занимающаяся безопасностью ИИ, выпустила исследование, в котором утверждается, что традиционные подходы к обеспечению безопасности ИИ, основанные на встраивании механизмов безопасности непосредственно в модели, неэффективны. Исследователи приходят к выводу, что безопасность ИИ должна быть вынесена за пределы моделей и рассматриваться как отдельный слой инфраструктуры.
В исследовании подчёркивается, что современные модели ИИ, особенно крупные языковые модели, обладают высокой степенью сложности и непредсказуемостью. Встраивание механизмов безопасности в такие модели не только не гарантирует их эффективность, но и может привести к нежелательным побочным эффектам, таким как снижение производительности или искажение результатов.
Mythos предлагает альтернативный подход, при котором безопасность ИИ обеспечивается через отдельные модули и системы, которые работают параллельно с моделями. Это позволяет более гибко и эффективно управлять рисками, связанными с использованием ИИ, и обеспечивает дополнительный уровень контроля над поведением моделей.
Для разработчиков ИИ-агентов этот подход может быть особенно полезен, так как он позволяет интегрировать механизмы безопасности на уровне инфраструктуры, обеспечивая более надёжную и предсказуемую работу агентов. Это особенно актуально в контексте разработки автономных систем, где безопасность является критически важным аспектом.