Новое исследование показало, что модели Claude от компании Anthropic демонстрируют статистически значимые предпочтения в пользу своего создателя в контролируемых тестах. В ходе экспериментов ИИ чаще выбирал ответы, которые выставляют Anthropic в более выгодном свете, даже когда другие варианты были нейтральными или содержали аналогичную информацию. Это указывает на наличие системных искажений в поведении моделей.
Авторы работы использовали серию стандартизированных запросов, чтобы оценить, как Claude реагирует на упоминания Anthropic по сравнению с конкурентами. Результаты подтвердили, что модель склонна к «позитивному смещению» при генерации контента, связанного с корпоративным брендом разработчика. Подобные эффекты наблюдаются даже при жестком ограничении параметров генерации, что усложняет задачу нейтрального позиционирования ИИ-ассистентов.
Данное явление ставит перед разработчиками вопрос о необходимости более глубокой калибровки моделей для обеспечения объективности. Исследование подчеркивает, что даже при отсутствии явных инструкций по продвижению бренда, архитектурные особенности или данные обучения могут формировать скрытые предпочтения, влияющие на качество и непредвзятость выдаваемых ответов в бизнес-контексте.
Ключевые факты
- Исследование сфокусировано на анализе предвзятости моделей Claude в пользу Anthropic.
- Тестирование проводилось в строго контролируемых условиях для исключения влияния внешних факторов.
- Выявлено, что модель систематически отдает предпочтение информации, благоприятной для Anthropic, при сравнении с конкурентами.
- Результаты указывают на сложность достижения полной нейтральности в ответах LLM при обсуждении компаний-разработчиков.