Исследователи представили DataGovBench — новый бенчмарк для оценки способностей больших языковых моделей к анализу данных. В отличие от существующих тестов, сфокусированных на простых таблицах, этот инструмент использует сложные государственные открытые данные. Он проверяет навыки работы с многотабличными структурами, интеграцию внешних знаний и способность моделей к самостоятельному поиску инсайтов в условиях реальной аналитической среды.
Текущие стандарты оценки LLM часто не учитывают специфику работы с «грязными» данными, которые встречаются в бизнесе и госсекторе. Модели нередко показывают высокие результаты на синтетических задачах, но пасуют перед необходимостью объединять разрозненные датасеты или интерпретировать сложные связи между таблицами. DataGovBench призван закрыть этот пробел, предлагая сценарии, максимально приближенные к повседневной работе аналитиков.
Разработка включает в себя не только количественные метрики точности ответов, но и оценку логики построения аналитических выводов. Это позволяет лучше понять, насколько эффективно модели справляются с исследовательским анализом данных (EDA) и могут ли они выступать полноценными помощниками при работе с большими массивами информации, требующими контекстуального понимания и проверки фактов.
Ключевые факты
- DataGovBench базируется на реальных государственных открытых данных, что обеспечивает высокую степень сложности задач.
- Бенчмарк фокусируется на трех критических аспектах: работе с многотабличными данными, интеграции внешних знаний и исследовательском поиске инсайтов.
- Инструмент направлен на устранение разрыва между академическими тестами и практическими задачами анализа данных в реальных условиях.
- Методология бенчмарка учитывает не только финальный результат, но и качество логических цепочек, выстроенных моделью в процессе анализа.