Discord признал наличие критической ошибки в системе автоматической модерации контента, которая привела к необоснованной блокировке более 8000 аккаунтов за последние два месяца. Алгоритмы ошибочно классифицировали безобидные изображения, включая скриншоты таблиц, шахматные доски и игровые текстуры, как вредоносный контент, что вызвало массовые жалобы пользователей и вынудило компанию пересмотреть работу своих фильтров.
Проблема затрагивала пользователей с мая текущего года. Система модерации, основанная на компьютерном зрении, демонстрировала аномально высокую чувствительность к изображениям с белым или серым фоном, а также к графическим файлам с прозрачностью. В результате ИИ-модель помечала эти данные как нарушение правил платформы, что автоматически приводило к применению санкций к владельцам аккаунтов без участия человека.
Компания заявила, что уже начала процесс восстановления доступа для всех пострадавших пользователей. Этот инцидент подчеркивает риски полной автоматизации процессов модерации в крупных социальных сервисах, где отсутствие «человека в контуре» (human-in-the-loop) при принятии решений о блокировке может приводить к масштабным сбоям и нарушению пользовательского опыта.
Ключевые факты
- Ошибочные блокировки затронули более 8000 учетных записей пользователей.
- Инцидент продолжался в течение двух месяцев, начиная с мая.
- Причиной сбоя стали ложные срабатывания ИИ на безобидные изображения: таблицы, шахматные доски и игровые текстуры.
- Discord подтвердил, что все ошибочно заблокированные аккаунты подлежат восстановлению.