Уязвимость медицинских ИИ-моделей: утечка данных через атаки на обучение

Исследователи обнаружили критическую уязвимость в медицинских диагностических моделях, позволяющую злоумышленникам извлекать информацию о пациентах из обучающих выборок. С помощью атак типа «инверсия модели» и «извлечение данных» ИИ можно принудить раскрыть конфиденциальные записи, которые использовались при его создании. Это ставит под угрозу приватность данных в здравоохранении и требует пересмотра подходов к защите моделей.

Проблема заключается в том, что нейросети склонны «запоминать» специфические детали обучающих наборов, особенно если они содержат редкие медицинские случаи. Злоумышленники могут отправлять специально сформированные запросы к API модели, анализируя ответы на предмет статистических закономерностей, которые указывают на наличие конкретных данных в базе. В медицинском контексте это означает риск деанонимизации пациентов, чьи диагнозы или генетические профили могли быть включены в тренировочный сет.

Эксперты подчеркивают, что текущие методы анонимизации данных часто оказываются недостаточными против современных методов восстановления информации. Обычное удаление имен или идентификаторов не спасает от атак, использующих корреляцию между входными данными и весами модели. Разработчикам предлагается внедрять методы дифференциальной приватности и более строгий контроль доступа к весам моделей, чтобы предотвратить несанкционированное извлечение чувствительной информации.

Ключевые факты

• Исследование показало, что медицинские ИИ-системы уязвимы для атак, восстанавливающих данные из обучающих выборок.
• Атаки позволяют злоумышленникам идентифицировать конкретных пациентов, чьи данные использовались для обучения нейросети.
• Основным вектором атаки является анализ ответов модели на специально подготовленные запросы, выявляющие «запомненные» фрагменты данных.
• Традиционные методы анонимизации, такие как удаление персональных идентификаторов, не обеспечивают защиты от современных методов инверсии моделей.
• Рекомендуемыми мерами защиты являются внедрение дифференциальной приватности и ограничение доступа к весам моделей для сторонних пользователей.