Исследователи проанализировали надежность использования LLM в качестве судей для оценки ответов других моделей в задачах без эталонного решения. Выяснилось, что такие «судьи» часто демонстрируют предвзятость и склонны к необоснованному завышению баллов. Это ставит под сомнение точность автоматизированных систем оценки, которые всё чаще применяются для тестирования качества генеративных моделей в условиях отсутствия ground-truth данных.
В рамках работы авторы предложили двухэтапный конвейер для проверки компетенции судей. Первый этап включает калибровочные эксперименты, которые определяют, насколько сама модель-судья понимает специфику задачи, которую она оценивает. Если модель не обладает достаточными знаниями в предметной области, её вердикт становится непредсказуемым или систематически смещенным в сторону одобрения любого связного текста.
Проблема «щедрости» судей особенно остро проявляется в открытых задачах, где нет четких критериев правильности. Без наличия референсного ответа LLM-судьи склонны игнорировать фактические ошибки, фокусируясь на стилевой подаче или длине ответа. Это создает риск ложного ощущения высокого качества моделей при их автоматическом тестировании, что требует разработки более строгих протоколов валидации для систем оценки на базе ИИ.
Ключевые факты
- Исследование выявило систематическую склонность LLM-судей к завышению оценок при отсутствии эталонных ответов.
- Предложен двухэтапный метод калибровки, проверяющий экспертные знания модели-судьи перед началом оценки.
- Установлено, что модели часто подменяют оценку фактической точности оценкой поверхностных характеристик текста.
- Результаты подчеркивают необходимость внедрения контрольных проверок для автоматизированных систем оценки качества LLM.