Компания Meta (признана экстремистской организацией, деятельность запрещена в РФ) временно ограничила работу функции «Imagine» в своих социальных сетях. Решение принято после массовой критики пользователей, столкнувшихся с генерацией неуместного, расистского и сексуализированного контента. Инструмент, запущенный для создания изображений по текстовым запросам, продемонстрировал уязвимости в системах фильтрации и безопасности контента.
Инцидент стал следствием широкого распространения функции в рамках обновления интерфейсов Instagram (принадлежит Meta, признанной экстремистской и запрещённой в РФ) и Facebook. Пользователи активно делились скриншотами, на которых модель генерировала изображения, нарушающие внутренние политики безопасности компании, включая создание дипфейков с участием публичных личностей и провокационные визуальные образы. В ответ на это разработчики начали процесс пересмотра алгоритмов модерации.
Данная ситуация подчеркивает сложности, с которыми сталкиваются крупные технологические игроки при внедрении генеративных моделей в массовые продукты. Несмотря на наличие встроенных систем защиты, автоматизированные фильтры оказались неспособны предотвратить генерацию вредоносного контента на этапе активного пользовательского тестирования. Сейчас компания фокусируется на доработке механизмов безопасности перед повторным расширением функционала.
Ключевые факты
- Функция «Imagine» была запущена для широкого круга пользователей в США и ряде других регионов.
- Основной причиной отзыва стали жалобы на генерацию расистских, оскорбительных и сексуализированных изображений.
- Модель продемонстрировала неспособность эффективно блокировать запросы, нарушающие политику безопасности в отношении публичных лиц.
- Компания признала наличие проблем с фильтрацией контента и заявила о необходимости доработки систем безопасности.
- Инцидент вызвал дискуссию о готовности генеративных инструментов к интеграции в социальные платформы с миллиардной аудиторией.