Исследователи представили специализированный бенчмарк для оценки способности мультимодальных больших языковых моделей (MLLM) интерпретировать научную визуализацию. В отличие от существующих тестов, сфокусированных на простых графиках, этот набор данных проверяет понимание сложных научных визуальных представлений. Тестирование шести актуальных моделей показало их текущие ограничения в анализе специализированных данных, критически важных для научной работы.
Научная визуализация требует не только распознавания визуальных элементов, но и понимания контекста, специфических доменных знаний и сложных пространственных отношений, которые часто отсутствуют в стандартных наборах данных для обучения ИИ. Авторы работы подчеркивают, что текущие модели демонстрируют разный уровень компетенции при работе с визуальными данными из областей физики, биологии и геофизики, что ограничивает их применение в качестве полноценных ассистентов для исследователей.
Результаты тестирования указывают на необходимость развития специализированных методов обучения моделей, способных корректно интерпретировать научные данные. Бенчмарк включает 49 заданий, основанных на 18 различных типах научных визуализаций, что позволяет детально проанализировать слабые места современных архитектур в задачах визуальной грамотности и анализа данных.
Ключевые факты
- Бенчмарк включает 49 тестовых заданий, охватывающих 18 типов научных визуализаций.
- В исследовании проведена оценка шести актуальных мультимодальных больших языковых моделей (MLLM).
- Основное внимание уделено проверке навыков интерпретации данных, выходящих за рамки стандартных бизнес-графиков.
- Тест направлен на выявление пробелов в понимании пространственных и контекстуальных связей в научной графике.