arXiv · 21.07.2026 ·Оценка и бенчмарки

GAMUT: новый бенчмарк для оценки полноты фактов в генеративных моделях

Исследователи представили GAMUT — бенчмарк для оценки полноты фактической информации в длинных текстах, генерируемых LLM. В отличие от существующих методов, сфокусированных на точности утверждений (precision), GAMUT измеряет, насколько полно модель охватывает все необходимые аспекты запроса. Это позволяет выявить пробелы в знаниях и отсутствие ключевых данных, которые часто игнорируются при стандартной проверке галлюцинаций.

Современные системы оценки часто опираются на пайплайны типа «декомпозиция-поиск-верификация», которые эффективно находят ложные утверждения, но не оценивают отсутствие важной информации. Разработчики GAMUT предложили двухуровневую мета-рубрику, которая систематизирует требования к полноте ответа. Такой подход помогает лучше понимать, насколько модель способна предоставлять исчерпывающие ответы в сложных задачах, требующих глубокой проработки темы.

Внедрение подобных метрик критически важно для систем, где пропуск информации так же опасен, как и фактическая ошибка. Использование GAMUT позволяет разработчикам точнее настраивать модели для работы с RAG-системами и сложными аналитическими запросами, где полнота контекста определяет ценность ответа для конечного пользователя.

Ключевые факты

GAMUT фокусируется на измерении «фактической полноты» (factual completeness), дополняя существующие метрики точности.
Метод использует двухуровневую систему мета-рубрик для оценки охвата информации в ответах моделей.
Бенчмарк позволяет выявлять пропуски данных, которые не фиксируются стандартными алгоритмами верификации утверждений.
Исследование направлено на решение проблемы неполноты ответов в задачах с открытым концом (open-ended generation).

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Разработка и инструменты Verbatimeter: инструмент для проверки фактологической точности RAG-систем Verbatimeter — это новый инструмент для оценки качества RAG-систем, который измеряет «буквальную обоснованность» ответов модели. Библиотека сопоставляет сгенерированный текст с исходными документами, выявляя, насколько точно агент опирается на предоставленный контекст. Это помогает разработчикам автоматизировать проверку галлюцинаций и контролировать соответствие ответов ИИ-агента предоставленным данным в реальных проектах. Hacker News · Разработка и инструменты Инструмент для детерминированной проверки цитат в ответах LLM Разработчик представил Verbatimeter — инструмент для верификации точности цитирования в ответах языковых моделей. Решение использует детерминированный подход для выявления галлюцинаций, сравнивая сгенерированный текст с исходными источниками. Это позволяет автоматизировать контроль качества контента и минимизировать риск появления вымышленных высказываний, что критически важно для систем, работающих с фактологическими данными и документацией. arXiv · Оценка и бенчмарки Новые метрики для оценки абстрактивности суммаризации текста Исследователи представили набор метрик для оценки качества суммаризации, выходящий за рамки стандартных показателей вроде ROUGE. Новые инструменты — Reference Abstraction, Summary Abstraction и Abstraction Ratio — позволяют количественно измерить степень «абстрактивности» текста, определяя, насколько сгенерированный результат отклоняется от простого копирования фрагментов исходного материала, используя гармоническое среднее для более точного анализа. arXiv · Память и RAG QIMG-7: новый бенчмарк для оценки надежности мультимодальных RAG-систем Исследователи представили QIMG-7 — специализированный бенчмарк для тестирования мультимодальных RAG-систем в условиях «загрязненных» данных. В отличие от стандартных тестов, использующих очищенные наборы, QIMG-7 проверяет устойчивость моделей к поисковой выдаче, содержащей искаженные метаданные, вредоносные визуальные патчи, семантические подмены и другие типы контента, которые могут скомпрометировать точность генерации ответов. arXiv · Машинное обучение Метод FACTOR для адаптивной проверки фактов в генерации текста Исследователи представили метод FACTOR, направленный на повышение достоверности длинных текстов, создаваемых языковыми моделями. Основная проблема современных LLM заключается в склонности к генерации неподтвержденных утверждений, которые часто остаются незамеченными стандартными инструментами верификации. В отличие от существующих подходов, которые применяют одинаковые правила проверки ко всем частям текста, новая методика учитывает разную степень риска возникновения галлюцинаций для различных типов утверждений. Hacker News · Оценка и бенчмарки LLM Margin Lab: инструмент для анализа надежности ответов LLM LLM Margin Lab — это инструмент для оценки надежности ответов больших языковых моделей через анализ «маржи» уверенности. Проект позволяет разработчикам визуализировать, насколько модель уверена в своих генерациях, выявляя потенциальные галлюцинации и слабые места в логических цепочках. Это помогает точнее настраивать параметры инференса и фильтровать ответы, требующие дополнительной проверки или участия человека. Hacker News · Оценка и бенчмарки Почему стандартные бенчмарки перестали отражать реальную эффективность моделей Разработчики Poetiq заявили об отказе от использования стандартных публичных бенчмарков при оценке своих ИИ-систем. По мнению авторов, общепринятые тесты стали нерелевантными из-за «загрязнения» обучающих данных и переобучения моделей под конкретные метрики. Вместо них компания переходит к методологии оценки на основе специфических бизнес-задач и пользовательских сценариев, которые лучше отражают реальную производительность в продакшене. Hacker News · Оценка и бенчмарки Проблема доверия к количественным метрикам в эпоху LLM Современные бенчмарки для оценки больших языковых моделей часто вводят в заблуждение из-за утечек данных, некачественной разметки и отсутствия репрезентативности. Авторы анализа указывают, что высокие показатели на тестах не гарантируют реальной производительности в задачах, так как модели склонны «зазубривать» ответы, а сами метрики не учитывают контекстуальную сложность и логические ошибки ИИ. arXiv · Оценка и бенчмарки EvalSafetyGap: новый фреймворк для анализа разрыва в безопасности LLM Исследователи представили EvalSafetyGap — концептуальный фреймворк для оценки безопасности больших языковых моделей, решающий проблему несоответствия между высокими баллами в бенчмарках и реальной уязвимостью систем. Авторы объединили систематический обзор литературы с анализом «серых» данных, чтобы выявить, почему метрики безопасности часто не отражают скрытые свойства моделей, оставаясь недостаточно надежными инструментами для верификации поведения ИИ в критических условиях. arXiv · Оценка и бенчмарки Новый подход к оценке качества ответов LLM в задачах с открытым финалом Исследователи представили RECOM (Reddit Evaluation for Correspondence of Models) — новый метод оценки качества генеративных моделей, предназначенный для задач, где ответы носят субъективный или дискуссионный характер. Авторы работы указывают на фундаментальное противоречие в существующих автоматических метриках, которые одновременно пытаются оценить содержательную точность (валидность) и способность системы ранжировать модели по уровню их эффективности (дискриминационная способность).

← Все материалы