Исследователи проанализировали уязвимости ИИ-приложений, использующих предобученные модели из популярных хабов. Основная угроза заключается в возможности внедрения вредоносного кода в веса моделей, что позволяет злоумышленникам обходить системы защиты, красть данные или выполнять несанкционированные команды в инфраструктуре пользователя. Работа систематизирует векторы атак на цепочку поставок ИИ-решений и предлагает методы их минимизации.
Авторы работы подробно рассматривают сценарии, при которых скомпрометированная модель, загруженная из открытого источника, становится точкой входа для атаки. В отличие от традиционного программного обеспечения, где вредоносный код часто очевиден, в нейронных сетях «отравление» весов может быть скрыто внутри сложных математических структур, что делает обнаружение угрозы крайне затруднительным для стандартных антивирусных систем.
В исследовании подчеркивается, что текущие механизмы проверки целостности моделей в крупных репозиториях недостаточны для защиты от целенаправленных атак. Предложенная классификация рисков включает манипуляции с архитектурой слоев, внедрение бэкдоров через специфические паттерны активации и использование уязвимостей в библиотеках для десериализации весов. Авторы призывают к внедрению строгих протоколов верификации и аудита моделей перед их интеграцией в производственные среды.
Ключевые факты
- Исследование классифицирует угрозы безопасности в цепочке поставок ИИ, фокусируясь на предобученных моделях из открытых хабов.
- Основной вектор атаки — внедрение вредоносных весов, которые активируются при выполнении специфических задач или обработке определенных входных данных.
- Выявлены критические уязвимости в процессах десериализации, позволяющие исполнять произвольный код на стороне клиента при загрузке модели.
- Предложены рекомендации по усилению безопасности, включая использование криптографической подписи моделей и изолированных сред для инференса.