Исследователи проанализировали поведение 44 языковых моделей при выборе одного варианта из множества равнозначных опций. Выяснилось, что нейросети демонстрируют высокую степень конформизма: например, при просьбе выбрать любое слово 41% моделей остановились на «serendipity». Это указывает на наличие скрытых закономерностей в распределении вероятностей, которые делают ответы разных моделей предсказуемо схожими.
В ходе эксперимента авторы использовали 31 промпт, каждый из которых предлагал выбрать одно слово из широкой категории, например, название цвета, животного или абстрактного понятия. Несмотря на то что выборка вариантов для каждого запроса была практически неограниченной, модели систематически тяготели к одним и тем же ответам. Этот эффект наблюдается даже у моделей с разной архитектурой и методами обучения, что ставит вопросы о природе «предпочтений» ИИ.
Результаты работы подчеркивают проблему предвзятости в генеративных системах. Даже в задачах, где не требуется следовать строгим инструкциям или фактам, модели демонстрируют статистическое единообразие, которое может быть следствием особенностей обучающих датасетов или механизмов токенизации. Понимание этих паттернов критически важно для оценки того, насколько ответы ИИ являются результатом случайного выбора, а не навязанных статистических смещений.
Ключевые факты
- В исследовании протестировано 44 различных языковых модели.
- При запросе «выбери любое слово» 41% моделей выбрали «serendipity».
- Использовано 31 задание с открытым выбором из широких категорий.
- Выявлена высокая степень конвергенции ответов независимо от архитектуры моделей.
- Феномен объясняется статистическими смещениями, заложенными в процессе обучения.