Исследователи представили масштабный обзор уязвимостей в современных LLM-системах, которые вышли за рамки простых текстовых генераторов. Авторы анализируют риски на всех этапах жизненного цикла моделей: от подготовки данных до интеграции в автономные агентные среды. Работа систематизирует векторы атак, методы защиты и открытые проблемы безопасности, возникающие при использовании ИИ в критически важных корпоративных и инфраструктурных процессах.
Современные модели все чаще внедряются в RAG-пайплайны, системы управления кодом, робототехнику и рабочие процессы безопасности. Такая интеграция наделяет ИИ доступом к приватным данным, возможностью вызова внешних инструментов, записи файлов и выполнения кода. Это радикально меняет ландшафт угроз: риски перестают быть чисто лингвистическими и становятся системными, затрагивая целостность данных и безопасность всей ИТ-инфраструктуры организации.
В исследовании подчеркивается, что традиционные методы защиты, ориентированные на фильтрацию промптов, недостаточны для защиты агентных систем. Авторы предлагают классификацию уязвимостей, учитывающую взаимодействие модели с внешними API и средами исполнения. Особое внимание уделяется рискам «отравления» контекста, манипуляции вызовами инструментов и несанкционированному доступу к данным через цепочки рассуждений агента.
Ключевые факты
- Исследование охватывает полный стек: от обучения моделей до их развертывания в автономных агентных системах.
- Основной фокус сделан на рисках, возникающих при доступе ИИ к приватным данным и возможности выполнения кода в корпоративных средах.
- Систематизированы новые векторы атак, связанные с RAG-системами и цепочками вызовов внешних инструментов.
- Предложена классификация защитных механизмов, адаптированных для предотвращения атак на уровне инфраструктуры, а не только на уровне текстового ввода.