Hacker News · 16.07.2026 ·Оценка и бенчмарки

CharXiv: новый бенчмарк для оценки понимания графиков мультимодальными моделями

Исследователи представили CharXiv — специализированный бенчмарк для оценки способности мультимодальных LLM интерпретировать сложные научные графики. Анализ показал, что даже передовые модели часто ошибаются при извлечении данных из визуализаций, демонстрируя разрыв между общим пониманием изображений и точностью работы с количественной информацией, что критически важно для автоматизации анализа научных данных и отчетов.

Авторы работы проанализировали производительность популярных моделей, включая GPT-4o и Claude 3.5 Sonnet, на наборе данных, состоящем из тысяч графиков с соответствующими аннотациями. Выяснилось, что текущие архитектуры сталкиваются с трудностями при интерпретации осей, легенд и специфических типов визуализаций, таких как логарифмические шкалы или сложные диаграммы рассеяния. Это указывает на необходимость улучшения механизмов визуального кодирования и логического вывода в задачах, требующих высокой точности данных.

Результаты исследования подчеркивают, что существующие мультимодальные системы пока не готовы к полноценной замене человека в задачах анализа научной графики. Разрыв в точности между простыми вопросами о содержании графика и задачами на извлечение конкретных значений остается значительным, что требует разработки новых методов обучения моделей, ориентированных на работу с табличными и графическими данными.

Ключевые факты

CharXiv содержит более 100 000 пар «график-вопрос-ответ», собранных из научных публикаций на платформе arXiv.
Бенчмарк охватывает 12 различных категорий графиков, включая диаграммы рассеяния, гистограммы, линейные графики и тепловые карты.
Исследование выявило, что точность моделей падает на 30–50% при переходе от описательных вопросов к задачам, требующим точного считывания численных значений.
В работе протестированы ведущие проприетарные модели, которые показали нестабильные результаты при интерпретации сложных легенд и пересекающихся линий.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Оценка и бенчмарки LLM достигли предела в интерпретации контринтуитивных графиков Исследователи проанализировали способности современных языковых моделей в интерпретации визуальных данных с помощью бенчмарка Bluffbench. Тестирование показало, что топовые модели достигли уровня насыщения: они успешно распознают закономерности даже на контринтуитивных графиках, где визуальное представление данных противоречит логическим выводам. Это означает, что текущие архитектуры практически полностью освоили базовые навыки визуальной аналитики, заложенные в этот набор тестов. arXiv · Исследования и наука Исследование методов оценки графовых фундаментальных моделей Исследователи представили комплексный анализ производительности графовых фундаментальных моделей (GFM), сфокусировавшись на задачах прогнозирования свойств узлов. Работа выявляет критические недостатки в текущих подходах к тестированию, предлагая стандартизированную методологию для объективного сравнения архитектур. Авторы демонстрируют, что многие современные модели показывают нестабильные результаты при смене наборов данных, что требует пересмотра подходов к их обучению и валидации. arXiv · Оценка и бенчмарки Исследование чувствительности мультимодальных моделей к порядку данных Исследователи представили инструмент Facet-Probe для аудита мультимодальных LLM, выявляющий критическую проблему: модели часто меняют ответы при простом изменении порядка входных данных. Стандартные бенчмарки игнорируют этот фактор, что ставит под сомнение надежность систем в реальных сценариях, где порядок предоставления информации не должен влиять на итоговый результат или логические выводы нейросети. arXiv · Оценка и бенчмарки TriViewBench: новый бенчмарк для оценки пространственного мышления мультимодальных моделей Исследователи представили TriViewBench — новый бенчмарк для оценки способности мультимодальных моделей (MLLM) к пространственному мышлению. В отличие от стандартных тестов, TriViewBench использует синтетические 3D-сцены с контролируемыми параметрами сложности, такими как количество объектов и степень их перекрытия. Это позволяет точно измерить, как именно архитектура модели справляется с интерпретацией сложных визуальных структур с разных ракурсов. arXiv · Оценка и бенчмарки Исследование эволюции ошибок в мультимодальных моделях за последнее десятилетие Исследователи проанализировали прогресс Vision-Language моделей (VLM) за последние десять лет, выявив критические недостатки в существующих методах оценки. Традиционные бенчмарки, такие как MS-COCO, опираются на простые визуальные сцены и не учитывают сложные социальные взаимодействия. Авторы представили новый набор данных Complex Social Behavior (CSB), предназначенный для глубокого анализа визуально-когнитивных ошибок ИИ в реальных сценариях. arXiv · Исследования и наука Почему мультимодальные модели ошибаются в подсчете объектов Исследователи проанализировали причины, по которым современные мультимодальные модели (VLM) часто допускают ошибки при подсчете объектов на изображениях. Выяснилось, что проблема заключается не в отсутствии знаний у модели, а в неэффективном преобразовании внутренних представлений в текстовый ответ. Использование нелинейных зондов позволило успешно извлечь точную информацию о количестве объектов из скрытых состояний нейросетей. arXiv · Оценка и бенчмарки Иллюзия устойчивости LLM: как нерелевантный контекст скрывает ошибки моделей Исследователи обнаружили, что современные LLM демонстрируют обманчивую стабильность при работе с нерелевантным контекстом. Хотя общая точность ответов на бенчмарках почти не меняется, детальный анализ показывает массовые «перевороты» предсказаний: модель меняет правильные ответы на неверные и наоборот. Это создает ложное ощущение надежности систем, скрывая их уязвимость к шуму в реальных рабочих сценариях. arXiv · Оценка и бенчмарки Complexity Ceiling Benchmark: как глубина рассуждений влияет на точность LLM Исследователи представили Complexity Ceiling Benchmark (CCB) — новый инструмент для оценки способности языковых моделей к последовательным рассуждениям. В отличие от стандартных тестов, CCB фиксирует семантическое содержание задачи и варьирует только глубину логической цепочки от 5 до 50 шагов. Это позволяет точно определить «потолок сложности», при достижении которого качество ответов моделей начинает стремительно деградировать. arXiv · Оценка и бенчмарки Анализ возможностей модели Claude Fable 5 в биомедицинских задачах Исследователи провели комплексную оценку модели Claude Fable 5 от Anthropic на восьми специализированных биомедицинских бенчмарках. В отличие от стандартных подходов, где ответы оцениваются другими LLM, в данном исследовании применялись детерминированные методы проверки. Это позволило избежать предвзятости и насыщения метрик, характерных для устаревших тестов, и получить объективные данные о способности модели решать сложные медицинские задачи. Hacker News · Оценка и бенчмарки Проблема доверия к количественным метрикам в эпоху LLM Современные бенчмарки для оценки больших языковых моделей часто вводят в заблуждение из-за утечек данных, некачественной разметки и отсутствия репрезентативности. Авторы анализа указывают, что высокие показатели на тестах не гарантируют реальной производительности в задачах, так как модели склонны «зазубривать» ответы, а сами метрики не учитывают контекстуальную сложность и логические ошибки ИИ.

← Все материалы