Microsoft опубликовала обновленную стратегию защиты корпоративных систем, адаптированную под риски использования генеративного ИИ. Компания делает ставку на автоматизацию реагирования на угрозы и внедрение принципов «безопасности по умолчанию» для всех ИИ-сервисов. Основное внимание уделяется защите цепочек поставок данных и предотвращению атак типа «отравление» моделей, которые становятся критически важными для защиты корпоративной инфраструктуры.
Новый подход компании подразумевает интеграцию ИИ-инструментов непосредственно в процессы мониторинга безопасности. Это позволяет анализировать терабайты логов в реальном времени, выявляя аномалии, которые невозможно заметить вручную. Особое внимание уделяется управлению доступом к данным, на которых обучаются или дообучаются модели, чтобы исключить утечки конфиденциальной информации через промпты сотрудников.
Стратегия также затрагивает вопросы устойчивости ИИ-систем к состязательным атакам. Microsoft внедряет многоуровневую фильтрацию входящих запросов и выходных данных моделей, чтобы минимизировать риски генерации вредоносного кода или обхода политик безопасности. Эти меры направлены на создание доверенной среды для развертывания агентных систем в крупных организациях.
Ключевые факты
- Внедрение автоматизированных систем реагирования на инциденты с использованием ИИ для сокращения времени обнаружения угроз.
- Усиление контроля за данными, используемыми в RAG-системах, для предотвращения несанкционированного доступа к чувствительной информации.
- Разработка протоколов защиты от состязательных атак (adversarial attacks), направленных на манипуляцию поведением моделей.
- Переход к модели «безопасности по умолчанию» для всех облачных ИИ-сервисов, исключающей ручную настройку базовых параметров защиты.