Исследователи проанализировали склонность современных языковых моделей к воспроизведению социальных стереотипов. В ходе экспериментов выяснилось, что даже при нейтральных запросах нейросети демонстрируют устойчивые паттерны предвзятости, основанные на демографических и культурных данных. Работа подчеркивает сложность достижения объективности в генеративных системах, так как модели обучаются на массивах данных, содержащих исторические и общественные предубеждения.

Авторы работы детально изучили, как именно архитектурные особенности и методы обучения влияют на формирование «стереотипного профиля» модели. Оказалось, что стандартные методы дообучения с подкреплением на основе отзывов людей (RLHF) не всегда устраняют скрытые ассоциации, а иногда даже усиливают их, делая ответы более «уверенными» в своих предвзятых суждениях. Это создает дополнительные риски при использовании ИИ в задачах, требующих нейтральности, таких как HR-фильтрация, юридическая аналитика или образовательный контент.

Проблема усугубляется тем, что предвзятость проявляется не только в прямых ответах, но и в косвенных логических цепочках, которые модель выстраивает при решении многошаговых задач. Исследователи предлагают новые метрики для оценки «когнитивной чистоты» моделей, которые позволяют выявлять скрытые корреляции между понятиями, невидимые при обычном тестировании на токсичность.

Ключевые факты

  • Исследование подтвердило, что модели склонны связывать определенные профессии и черты характера с демографическими группами в 70% случаев при отсутствии контекста.
  • Методы RLHF часто приводят к «выравниванию» ответов под усредненные социальные ожидания, что парадоксальным образом закрепляет стереотипы вместо их нейтрализации.
  • Предложен новый набор бенчмарков для измерения «стереотипного дрейфа», который позволяет отслеживать изменение предвзятости после каждой итерации дообучения.
  • Выявлена прямая корреляция между объемом обучающей выборки из социальных сетей и интенсивностью воспроизведения стереотипов в ответах модели.