OpenAI и Hugging Face опубликовали отчет о недавнем инциденте безопасности, произошедшем в процессе оценки моделей. Злоумышленники использовали продвинутые методы для компрометации инфраструктуры, что позволило компаниям выявить критические уязвимости в пайплайнах тестирования. Полученные данные подчеркивают необходимость усиления защиты сред, где происходит взаимодействие с внешними данными и кодом в процессе обучения и валидации ИИ.
Инцидент продемонстрировал, что этапы оценки моделей, которые часто считаются изолированными, могут стать вектором атаки. В ходе анализа выяснилось, что атакующие применяли сложные техники обхода стандартных фильтров безопасности, нацеливаясь на специфические инструменты, используемые исследователями для запуска и тестирования весов моделей. Это привело к пересмотру протоколов доступа к вычислительным ресурсам и усилению контроля над исполнением кода в песочницах.
Компании подчеркивают, что подобные угрозы становятся все более изощренными, требуя от разработчиков ИИ-систем внедрения многоуровневой защиты. Основной фокус смещается на мониторинг аномалий в поведении инструментов автоматизации и ограничение прав доступа для процессов, работающих с непроверенными или внешними данными. Этот опыт послужит основой для разработки новых стандартов безопасности при работе с открытыми и проприетарными моделями в индустрии.
Ключевые факты
- Инцидент произошел во время выполнения стандартных процедур оценки безопасности и производительности ИИ-моделей.
- Атака затронула инфраструктуру, используемую для запуска и тестирования моделей, выявив уязвимости в методах обработки внешнего кода.
- OpenAI и Hugging Face объединили усилия для анализа векторов атаки и разработки рекомендаций по защите сред разработки.
- Основным выводом стала необходимость внедрения более строгой изоляции процессов при выполнении кода в ходе оценки моделей.
- Компании внедрили дополнительные уровни мониторинга для предотвращения несанкционированного доступа к вычислительным мощностям.