Исследователи выявили критический изъян в оценке LLM через бенчмарки с множественным выбором. Ранжирование ответов по условной логарифмической вероятности создает систематическую ошибку длины: модели штрафуют длинные ответы, так как вероятности суммируются по токенам. Стандартная нормализация по длине часто приводит к чрезмерной коррекции, искажая реальные показатели точности и надежности тестируемых моделей.
Авторы работы доказывают, что текущие эвристики нормализации не обеспечивают объективности при сравнении производительности нейросетей. Проблема становится особенно острой при оценке моделей на задачах с ответами разной сложности и объема. Использование стандартных метрик в таких условиях приводит к тому, что бенчмарки могут завышать или занижать способности моделей, не отражая их истинные когнитивные возможности.
В качестве решения предложен байесовский подход к оценке, который позволяет нивелировать влияние длины ответа без потери точности. Этот метод учитывает априорные распределения вероятностей и позволяет более корректно сравнивать модели разной архитектуры и размера. Внедрение подобных подходов необходимо для создания более устойчивых и воспроизводимых стандартов тестирования в индустрии.
Ключевые факты
- Логарифмическая вероятность при суммировании по токенам создает естественный штраф для длинных последовательностей.
- Стандартная нормализация по длине ответа часто приводит к «перекоррекции», отдавая предпочтение неоправданно коротким вариантам.
- Предложенный байесовский метод оценки позволяет устранить систематическую ошибку длины, сохраняя при этом точность ранжирования.
- Исследование подчеркивает необходимость пересмотра методологии оценки в популярных бенчмарках с множественным выбором для повышения их надежности.