arXiv · 16.07.2026 ·Оценка и бенчмарки

MM-IssueLoc: новый бенчмарк для оценки визуальных данных в задачах отладки кода

Исследователи представили MM-IssueLoc — специализированный бенчмарк для оценки способности мультимодальных моделей локализовать ошибки в репозиториях на основе визуальных доказательств. В отличие от существующих тестов, фокусирующихся только на тексте или сквозном исправлении кода, новый инструмент изолирует этап поиска проблемы, позволяя точно измерить вклад скриншотов, логов и UI-состояний в процесс отладки ПО.

Большинство современных систем разработки ИИ-агентов для программирования опираются на текстовые описания задач, игнорируя визуальный контекст, который часто критически важен для воспроизведения багов. Разработчики MM-IssueLoc подчеркивают, что текущие мультимодальные бенчмарки смешивают этапы локализации ошибки и генерации патча. Это не позволяет понять, действительно ли модель использует визуальную информацию или игнорирует её, полагаясь исключительно на текстовые логи.

Новый бенчмарк предлагает контролируемую среду, где визуальные данные являются ключевым фактором для успешной идентификации проблемного участка кода. Это помогает разработчикам инструментов автоматизации программирования лучше понимать ограничения моделей при работе с графическими интерфейсами и сложными логами, что необходимо для создания более надежных систем автодополнения и автоматической отладки.

Ключевые факты

MM-IssueLoc фокусируется на локализации ошибок на уровне репозитория с использованием мультимодальных входных данных.
Бенчмарк разделяет задачи поиска ошибки и написания кода, чтобы исключить влияние качества генерации патчей на оценку.
В набор данных включены скриншоты, сообщения об ошибках, визуализации состояний UI и логи, типичные для реальных задач разработки.
Инструмент позволяет количественно оценить, как именно визуальные доказательства влияют на точность локализации багов в сравнении с чисто текстовыми методами.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Оценка и бенчмарки MM-ToolSandBox: новый фреймворк для оценки мультимодальных агентных систем Представлен MM-ToolSandBox — специализированный фреймворк для тестирования мультимодальных ИИ-агентов, работающих с визуальными данными и внешними инструментами. Система позволяет оценивать способность моделей корректно интерпретировать изображения в динамических диалогах и преобразовывать их в вызовы API. Бенчмарк включает более 500 инструментов из 16 различных доменов, обеспечивая комплексную проверку агентных навыков в условиях многоходовых задач. arXiv · Память и RAG QIMG-7: новый бенчмарк для оценки надежности мультимодальных RAG-систем Исследователи представили QIMG-7 — специализированный бенчмарк для тестирования мультимодальных RAG-систем в условиях «загрязненных» данных. В отличие от стандартных тестов, использующих очищенные наборы, QIMG-7 проверяет устойчивость моделей к поисковой выдаче, содержащей искаженные метаданные, вредоносные визуальные патчи, семантические подмены и другие типы контента, которые могут скомпрометировать точность генерации ответов. Hacker News · Оценка и бенчмарки Обновление CursorBench 3.1 для оценки ИИ-кодинга Команда Cursor представила обновленный бенчмарк CursorBench 3.1, предназначенный для оценки эффективности LLM в задачах написания и редактирования кода. Инструмент фокусируется на реальных сценариях разработки, измеряя способность моделей справляться с многофайловыми изменениями и сложными рефакторингами, что позволяет точнее прогнозировать качество работы ИИ-ассистентов в профессиональной среде программирования. Hacker News · Оценка и бенчмарки Бенчмарк для анализа ошибок памяти ИИ-агентов Исследователи представили специализированный бенчмарк для тестирования механизмов памяти в ИИ-агентах. Инструмент позволяет систематически оценивать, как системы хранения данных справляются с критическими сбоями при извлечении контекста, долгосрочном удержании информации и разрешении конфликтов в памяти. Это помогает разработчикам выявлять слабые места в архитектурах RAG и агентных системах, влияющие на точность принятия решений. arXiv · Оценка и бенчмарки Новый бенчмарк для оценки навыков MLLM в научной визуализации Исследователи представили специализированный бенчмарк для оценки способности мультимодальных больших языковых моделей (MLLM) интерпретировать научную визуализацию. В отличие от существующих тестов, сфокусированных на простых графиках, этот набор данных проверяет понимание сложных научных визуальных представлений. Тестирование шести актуальных моделей показало их текущие ограничения в анализе специализированных данных, критически важных для научной работы. Hacker News · Оценка и бенчмарки Бенчмарк для оценки эффективности ИИ-агентов при навигации по кодовой базе Проект «Is grep enough?» представляет собой открытый бенчмарк для оценки способности ИИ-агентов ориентироваться в сложных репозиториях. Исследование сравнивает эффективность простых инструментов поиска, таких как grep, с продвинутыми агентными методами навигации. Цель проекта — определить, насколько современные LLM способны самостоятельно находить нужные фрагменты кода для решения задач, не полагаясь на избыточные контекстные данные. arXiv · Оценка и бенчмарки Новый бенчмарк Adversarial Pragmatics для оценки безопасности LLM Исследователи представили бенчмарк Adversarial Pragmatics, предназначенный для глубокого анализа безопасности языковых моделей. В отличие от традиционных тестов, которые сводят результаты к бинарным оценкам «прошел/не прошел», этот инструмент фокусируется на сложных лингвистических сценариях: конфликтах инструкций, скрытых командах и двусмысленности политик безопасности. Это позволяет точнее выявлять причины сбоев в поведении моделей при выполнении агентных задач. arXiv · Оценка и бенчмарки MedFailBench: новый подход к оценке безопасности медицинских ИИ-систем Исследователи представили MedFailBench — открытый бенчмарк для анализа критических ошибок медицинских ИИ-моделей. В отличие от стандартных тестов на точность ответов, этот инструмент фокусируется на выявлении границ безопасности. Набор данных, созданный практикующими врачами, классифицирует ошибки по уровням тяжести и типам нарушений, помогая разработчикам понять, в каких именно клинических сценариях модель ведет себя небезопасно. Hacker News · Оценка и бенчмарки Метод Лос-Аламосской лаборатории для выявления галлюцинаций в мультимодальных моделях Исследователи из Лос-Аламосской национальной лаборатории представили новый подход к диагностике ошибок в работе мультимодальных моделей, объединяющих зрение и язык. Основная проблема таких систем заключается в склонности к «галлюцинациям» — генерации описаний объектов или событий, которых нет на исходном изображении. Разработанный метод позволяет более точно отслеживать соответствие между визуальными данными и текстовым выводом модели. Hacker News · Оценка и бенчмарки Анализ эффективности LLM в задачах программирования и проблемы существующих бенчмарков Дэн Лу опубликовал глубокий разбор применимости современных LLM в реальной разработке ПО. Автор критикует текущие бенчмарки за оторванность от реальных рабочих процессов, указывая, что высокие показатели в тестах не гарантируют продуктивности инженера. Исследование подчеркивает необходимость перехода от простых задач к оценке агентных систем, способных поддерживать контекст и исправлять ошибки в сложных кодовых базах.

← Все материалы