Исследователи обнаружили новые векторы атак на цепочки поставок ИИ-моделей, которые могут привести к серьезным уязвимостям в системах, использующих эти модели. В статье на Substack подробно рассматриваются случаи, когда злоумышленники могут внедрять вредоносный код в модели, которые затем используются в различных ИИ-агентах и сервисах.
Особое внимание уделяется так называемым «MCP-атакам» (Model Control Plane), где злоумышленники могут манипулировать процессами обучения и инференса моделей. Это особенно актуально для разработчиков ИИ-агентов, так как такие атаки могут оставаться незамеченными до тех пор, пока не нанесут значительный ущерб.
Автор статьи, Manveer, подчеркивает, что многие команды, разрабатывающие ИИ-агенты, не уделяют должного внимания безопасности цепочек поставок моделей. Это может привести к тому, что даже самые продвинутые модели будут уязвимы к атакам, которые могут нарушить их работу или использовать для несанкционированного доступа к данным.
Для разработчиков ИИ-агентов, таких как Jarv, это важный сигнал к тому, чтобы пересмотреть свои процессы безопасности и внедрить дополнительные меры защиты. В частности, рекомендуется использовать проверенные источники для моделей, проводить регулярные аудиты безопасности и внедрять механизмы обнаружения аномалий в процессах инференса.