Платформа Hugging Face столкнулась с критикой из-за распространения неконсенсуальных дипфейков, созданных с помощью размещенных на сайте моделей. Исследователи обнаружили тысячи изображений, генерирующих порнографический контент без согласия лиц, что ставит под вопрос эффективность текущих механизмов модерации и политики безопасности крупнейшего репозитория моделей с открытым исходным кодом.
Ситуация обнажает системную проблему ответственности площадок, предоставляющих доступ к мощным инструментам генерации изображений. Несмотря на наличие правил использования, запрещающих создание вредоносного контента, техническая природа открытых моделей позволяет пользователям обходить фильтры, запуская их локально или через сторонние интерфейсы. Это создает серьезные риски для приватности и безопасности пользователей, чьи изображения используются для обучения или генерации без их ведома.
Руководство платформы признает наличие проблемы и заявляет о работе над улучшением инструментов обнаружения нарушений и усилении контроля за загружаемыми моделями. Однако эксперты отмечают, что при текущих темпах роста экосистемы открытого ИИ, ручная модерация становится неэффективной, требуя внедрения более совершенных автоматизированных систем фильтрации на уровне самих моделей.
Ключевые факты
- Исследователи выявили тысячи примеров неконсенсуального порнографического контента, созданного с использованием моделей, доступных на Hugging Face.
- Платформа является крупнейшим хабом для open-source ИИ-моделей, что затрудняет централизованный контроль за их использованием.
- Основная сложность заключается в том, что модели можно скачать и запустить локально, полностью исключая возможность модерации со стороны хостинг-провайдера.
- Hugging Face планирует расширить использование алгоритмических инструментов для выявления и удаления нарушающего правила контента.