Исследователи обнаружили, что современные LLM, используемые в качестве автоматических судей, демонстрируют значительную предвзятость при оценке ответов на разных языках. Модели склонны завышать оценки текстам на английском языке и занижать их для других языков, даже если качество контента идентично. Это ставит под сомнение надежность текущих методов автоматизированного тестирования ИИ-систем в мультиязычных средах.
Проблема заключается в том, что большинство популярных моделей-оценщиков, таких как GPT-4, обучались преимущественно на англоязычных корпусах данных. В ходе экспериментов выяснилось, что при сравнении двух идентичных по смыслу ответов на разных языках, модель систематически отдает предпочтение английскому варианту. Этот феномен сохраняется даже при использовании продвинутых техник промпт-инжиниринга, направленных на нейтрализацию предвзятости.
Авторы работы подчеркивают, что использование таких «судей» для оценки качества перевода, генерации контента или обучения других моделей может приводить к искаженным результатам. Это создает барьеры для создания справедливых и качественных ИИ-продуктов, ориентированных на глобальный рынок, где точность оценки должна быть независимой от лингвистических особенностей входных данных.
Ключевые факты
- Исследование подтвердило наличие систематического завышения оценок для англоязычных текстов при использовании LLM в качестве судей.
- Предвзятость сохраняется даже при строгом соблюдении инструкций по нейтральной оценке в системных промптах.
- Использование моделей-оценщиков без учета языкового фактора ведет к снижению качества обучения и бенчмаркинга ИИ-систем.
- Авторы предлагают внедрять методы калибровки и нормализации оценок для минимизации лингвистических искажений в автоматизированных пайплайнах.