Разработчики Poetiq заявили об отказе от использования стандартных публичных бенчмарков при оценке своих ИИ-систем. По мнению авторов, общепринятые тесты стали нерелевантными из-за «загрязнения» обучающих данных и переобучения моделей под конкретные метрики. Вместо них компания переходит к методологии оценки на основе специфических бизнес-задач и пользовательских сценариев, которые лучше отражают реальную производительность в продакшене.
Основная проблема существующих бенчмарков заключается в том, что модели «учат» ответы на тестовые вопросы, что создает иллюзию прогресса. В условиях, когда LLM становятся сложнее, метрики вроде MMLU или GSM8K теряют предсказательную силу для прикладных задач. Разработчики подчеркивают, что для бизнеса критически важно оценивать не абстрактную эрудицию модели, а её способность следовать сложным инструкциям в рамках конкретных рабочих процессов.
Новый подход к оценке базируется на создании закрытых тестовых наборов данных, которые максимально приближены к реальным запросам клиентов. Такой метод позволяет отслеживать деградацию или улучшение качества ответов при обновлении моделей, исключая влияние публичных датасетов. Это смещает фокус с погони за лидерством в рейтингах на достижение измеримых результатов в автоматизации конкретных бизнес-процессов.
Ключевые факты
- Публичные бенчмарки подвержены «загрязнению» (data contamination), так как тестовые вопросы часто попадают в обучающие выборки.
- Переход от общих метрик к кастомным наборам данных позволяет точнее оценивать поведение модели в узкоспециализированных задачах.
- Стандартные тесты не учитывают контекстную сложность и специфические требования к формату вывода, критичные для агентных систем.
- Оценка на основе реальных бизнес-кейсов обеспечивает более высокую корреляцию с пользовательским опытом и ROI внедрения ИИ.