Исследователи MIT разработали метод обнаружения моделей, которые обучались на изображениях жестокого обращения с детьми (CASM), не требуя при этом генерации самого контента. Технология анализирует веса нейросети и выявляет специфические паттерны, оставшиеся после обучения на нелегальных датасетах, что позволяет проверять безопасность ИИ-моделей до их публичного развертывания.
Традиционные подходы к безопасности ИИ часто полагаются на фильтрацию выходных данных или проверку обучающих выборок, что не всегда эффективно, если данные были удалены или скрыты. Новый метод, получивший название «детектор следов обучения», работает на уровне архитектуры модели. Он позволяет аудиторам идентифицировать «отравленные» модели, даже если разработчики скрывают состав обучающей выборки или используют синтетические данные для маскировки.
Разработка направлена на повышение прозрачности в цепочке поставок ИИ. Возможность верификации состава датасетов без доступа к исходным данным критически важна для соблюдения этических норм и правовых требований. Метод открывает путь к созданию стандартизированных протоколов сертификации моделей, которые смогут гарантировать отсутствие нелегального контента в процессе их подготовки.
Ключевые факты
- Метод MIT позволяет выявлять использование запрещенных изображений в обучающих выборках без необходимости генерации контента моделью.
- Технология анализирует внутренние веса нейронной сети, где сохраняются статистические следы данных, использованных при тренировке.
- Разработка решает проблему «черного ящика», когда разработчики скрывают состав датасетов, на которых обучались их системы.
- Метод может быть интегрирован в процессы аудита безопасности для сертификации моделей перед их выпуском на рынок.