arXiv · 09.07.2026 ·Оценка и бенчмарки

Исследование: насколько мощные модели нужны для проверки цитирования в RAG-системах

Исследователи проанализировали, требуется ли использование передовых «фронтирных» моделей для оценки качества цитирования в системах глубокого поиска. В работе оценивается надежность LLM-судей, которые выступают в роли моделей вознаграждения при обучении с подкреплением. Результаты показывают, как уровень «интеллекта» судьи влияет на точность атрибуции источников и какие искажения возникают при автоматизированной проверке утверждений в RAG-системах.

В современных агентных системах, основанных на поиске, модель должна подтверждать каждое утверждение ссылкой на источник. Авторы статьи изучили, можно ли заменить дорогостоящие флагманские модели на более компактные и дешевые аналоги при выполнении функции верификатора. Исследование фокусируется на калибровке оценок и выявлении систематических ошибок, которые могут привести к ложноположительным или ложноотрицательным результатам при проверке фактов.

Работа подчеркивает критическую важность выбора правильного «судьи» для обучения систем с подкреплением (RLHF). Если модель-судья предвзята или недостаточно способна к логическому выводу, это искажает процесс обучения основной модели, снижая качество генерации ответов. Авторы предлагают методологию оценки таких судей, позволяющую оптимизировать затраты на инфраструктуру без потери качества верификации данных.

Ключевые факты

Исследование сфокусировано на задаче атрибуции источников в системах глубокого поиска (deep-research).
Проанализирована зависимость между мощностью модели-судьи и точностью оценки качества цитирования.
Выявлены риски предвзятости LLM при использовании их в качестве reward-моделей для обучения с подкреплением.
Предложен подход к калибровке оценок для повышения надежности RAG-систем.
Работа затрагивает проблему баланса между стоимостью инференса и качеством верификации данных в агентных архитектурах.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Оценка и бенчмарки Новые методы повышения точности LLM как судей в оценке моделей Исследователи представили усовершенствованные подходы к использованию LLM в качестве «судей» для автоматизированной оценки качества ответов других моделей. Авторы статьи систематизировали методы минимизации предвзятости и повышения корреляции оценок ИИ с человеческими предпочтениями, предложив новые стратегии промптинга и калибровки, которые позволяют значительно точнее определять качество генерации в сложных задачах без привлечения экспертов-людей. arXiv · Оценка и бенчмарки Проблемы использования LLM в качестве судей для мультиязычных задач Исследователи проанализировали ограничения парадигмы LLM-as-a-Judge при работе с многоязычными данными и редкими языками. Хотя использование нейросетей для оценки качества генерации стало стандартом, их эффективность резко падает за пределами английского языка. Авторы работы предлагают рекомендации по адаптации таких систем, чтобы минимизировать предвзятость и повысить точность оценки в условиях нехватки данных для обучения моделей-судей. Hacker News · Оценка и бенчмарки Проблемы использования LLM в качестве судей для оценки ИИ-агентов Современные подходы к тестированию ИИ-агентов все чаще полагаются на автоматизированную оценку с помощью других языковых моделей, так называемых «LLM-as-a-judge». Однако практика показывает, что такие судьи склонны к предвзятости и поверхностному анализу. В ходе экспериментов исследователи обнаружили, что модели-судьи могут выставлять высокие баллы ответам агентов, даже если те не выполнили ключевые действия — например, не открыли необходимый для решения задачи файл. Hacker News · Оценка и бенчмарки Оценка уверенности LLM-судей эффективнее простого сравнения ответов Исследователи предложили новый подход к оценке качества работы LLM-судей, которые используются для автоматического тестирования других моделей. Традиционная методика опирается на «согласие» (agreement) — совпадение оценок ИИ с мнением человека или другой эталонной модели. Однако этот показатель часто оказывается обманчивым, так как модели могут давать одинаковые ответы по разным причинам, включая случайные ошибки или предвзятость к определенным формулировкам. Hacker News · Обучение и дообучение Практические уроки дообучения моделей с помощью обучения с подкреплением Исследователи опубликовали детальный разбор экспериментов по пост-тренировке языковых моделей с использованием обучения с подкреплением (RL). В работе проанализированы ключевые факторы, влияющие на стабильность процесса и итоговое качество ответов, включая выбор стратегий оптимизации, подбор параметров вознаграждения и методы предотвращения деградации модели при интенсивном обучении на предпочтениях пользователей. arXiv · Машинное обучение Сравнение методов дообучения и RAG для юридических задач Исследователи проанализировали эффективность различных подходов к работе с узкоспециализированными правовыми документами на примере закона Онтарио о жилой аренде (RTA). В рамках эксперимента сравнивались четыре стратегии: чистое дообучение (fine-tuning) моделей, использование систем поиска информации (RAG), комбинация этих методов и базовые модели без дополнительной подготовки. Целью работы было определить наиболее надежный способ получения точных ссылок на законодательные акты для арендаторов и арендодателей. arXiv · Оценка и бенчмарки Исследование: проблема избыточных отказов малых LLM в юридической сфере Исследователи проанализировали поведение компактных локальных языковых моделей при работе с юридическими запросами. Выяснилось, что небольшие модели склонны к «избыточным отказам» (overrefusal) в контексте уголовного права, даже когда запрос не нарушает этических норм. Это создает риски для профессионалов, использующих ИИ для рутинных задач, таких как перевод или переформулирование документов, из-за непредсказуемой избирательности систем. arXiv · Оценка и бенчмарки Новый метод борьбы с предвзятостью LLM-судей при оценке качества ответов Исследователи представили новый подход к оценке больших языковых моделей, использующих другие LLM в качестве «судей». Текущие системы автоматической оценки часто страдают от систематических искажений, не связанных с качеством контента. Наиболее выраженной проблемой является «предвзятость к многословию»: модели склонны завышать оценки длинным ответам, даже если они менее точны или информативны, чем краткие варианты. arXiv · Память и RAG Байесовская оценка неопределенности для агентских RAG-систем Исследователи представили фреймворк для агентских RAG-систем, позволяющий оценивать вероятность ошибок в многошаговых цепочках рассуждений. Система использует байесовское распространение неопределенности на этапах планирования, оценки и генерации, опираясь на семантическую дивергенцию и механизмы саморефлексии моделей. Это решение повышает надежность автономных агентов при выполнении сложных задач, требующих многократного обращения к внешним источникам данных. arXiv · Исследования и наука Новый подход к редакционному контролю в LLM-системах Исследователи представили концепцию «редакционного алайнмента» (Editorial Alignment), направленную на сохранение экспертного контроля над распространением знаний в эпоху LLM. Авторы работы анализируют проблему, при которой предобученные модели навязывают собственные ценности и алгоритмы фильтрации, фактически подменяя собой традиционные институты проверки информации. Это создает риски для качества контента и снижает авторитетность специализированных источников, чьи редакционные стандарты игнорируются в процессе генерации ответов.

← Все материалы