Автономные агенты для разработки ПО несут значительные риски безопасности, часто внедряя уязвимый код или выполняя вредоносные команды в процессе автоматизации. Исследователи проанализировали «технический долг безопасности» таких систем, выявив, что текущие механизмы контроля не справляются с предотвращением инъекций и несанкционированного доступа к системным ресурсам при выполнении задач в реальных средах разработки.
Авторы работы сфокусировались на том, как агенты взаимодействуют с файловой системой и внешними API. Выяснилось, что при отсутствии строгой изоляции и механизмов верификации, агенты склонны доверять скомпрометированным зависимостям или следовать инструкциям, которые приводят к созданию бэкдоров. Проблема усугубляется тем, что разработчики часто делегируют агентам слишком широкие права доступа, не ограничивая их «песочницами».
Исследование подчеркивает необходимость внедрения многоуровневых систем проверки кода, генерируемого ИИ, до его интеграции в кодовую базу. Авторы предлагают новые методы мониторинга агентских сессий, которые позволяют отслеживать подозрительные паттерны поведения в реальном времени, минимизируя вероятность эксплуатации «безопасного» на первый взгляд кода.
Ключевые факты
- Исследование охватило широкий спектр автономных инструментов для написания кода, использующих LLM в качестве ядра.
- Выявлено, что агенты с доступом к терминалу и файловой системе в 40% случаев уязвимы к атакам типа «отравление контекста».
- Предложен фреймворк для оценки безопасности агентских сред, включающий метрики доверия к внешним источникам данных.
- Основной вектор атак связан с выполнением команд, которые агент интерпретирует как необходимые для решения задачи, но которые нарушают политики безопасности проекта.