Публичные бенчмарки для больших языковых моделей часто не отражают реальную производительность при решении прикладных задач. Анализ показывает, что популярные тесты, такие как MMLU или GSM8K, подвержены проблеме «загрязнения» данных, когда тестовые вопросы попадают в обучающую выборку. Это приводит к завышенным результатам, которые не коррелируют с качеством работы моделей в реальных бизнес-сценариях.
Основная проблема заключается в том, что стандартные метрики измеряют способность модели «вспоминать» ответы, а не рассуждать или следовать сложным инструкциям. Разработчики часто оптимизируют модели под конкретные наборы тестов, что создает иллюзию прогресса. В результате метрики, которые должны были служить ориентиром для выбора модели, становятся маркетинговым инструментом, скрывающим реальные ограничения архитектур.
Для объективной оценки авторы предлагают переходить к созданию закрытых, динамически обновляемых наборов данных, которые невозможно заучить. Также подчеркивается необходимость использования «слепых» тестов, где эксперты оценивают качество ответов без знания того, какая модель их сгенерировала. Такой подход позволяет выявить истинные возможности LLM в контексте программирования, анализа данных и логического вывода.
Ключевые факты
- Публичные бенчмарки страдают от «загрязнения» данных, при котором тестовые вопросы становятся частью обучающей выборки.
- Стандартные метрики часто показывают высокую точность на задачах с множественным выбором, но не гарантируют качество при выполнении сложных инструкций.
- Оптимизация моделей под конкретные тесты искажает реальные показатели производительности в реальных задачах.
- Рекомендуется внедрение динамических и закрытых наборов тестов для предотвращения подгонки результатов.
- Экспертная оценка ответов в «слепом» режиме признана более надежным способом определения эффективности моделей, чем автоматизированные бенчмарки.