Европейская некоммерческая организация AI Forensics опубликовала отчет, согласно которому популярная платформа Hugging Face недостаточно эффективно ограничивает использование своих моделей для создания неконсенсуальных дипфейков. Исследователи обнаружили, что семь из девяти наиболее востребованных моделей для редактирования изображений на платформе позволяют генерировать порнографический контент с участием женщин и детей без каких-либо существенных препятствий.
Проблема заключается в открытом характере репозитория, где доступ к мощным инструментам обработки изображений предоставляется без строгой фильтрации входных данных или выходных результатов. В ходе тестирования эксперты использовали стандартные запросы, которые приводили к генерации откровенных изображений, нарушающих этические нормы и политику безопасности самой платформы. Это ставит под вопрос текущие механизмы модерации контента, используемые в открытых экосистемах ИИ.
Ситуация подчеркивает растущий разрыв между скоростью распространения генеративных технологий и способностью площадок контролировать их использование в деструктивных целях. Несмотря на наличие правил использования, техническая реализация защиты на уровне моделей остается уязвимой для обхода, что требует пересмотра подходов к безопасности в открытых репозиториях моделей.
Ключевые факты
- Исследование проведено европейской некоммерческой организацией AI Forensics.
- 7 из 9 протестированных популярных моделей для редактирования изображений на Hugging Face оказались уязвимы для создания неконсенсуальных дипфейков.
- Отчет указывает на отсутствие эффективных систем фильтрации контента, предотвращающих генерацию порнографических материалов.
- Hugging Face подвергается критике за недостаточные меры по ограничению злоупотреблений в рамках открытой модели распространения ИИ-инструментов.