arXiv · 23.06.2026 ·Исследования и наука

Метод SIFT повышает точность фактчекинга в LLM через проверку обоснованности доказательств

Исследователи представили метод SIFT (Claim-Conditioned Re-scoring), решающий проблему «разрыва обоснований» (Warrant Gap) в ИИ-системах проверки фактов. Хотя современные LLM показывают высокую точность на бенчмарках, они часто подтверждают утверждения, используя нерелевантные доказательства. Новый подход переоценивает извлеченные данные с учетом контекста исходного утверждения, что позволяет выявлять логические несоответствия между фактом и цитируемым источником.

Традиционные системы фактчекинга часто полагаются на жесткие протоколы извлечения данных, которые при декомпозиции утверждений теряют критически важный контекст. Это приводит к тому, что модель классифицирует утверждение как подтвержденное, даже если найденные фрагменты текста не содержат прямого логического обоснования для вывода. SIFT вводит этап условного переранжирования, который анализирует связь между конкретными аспектами утверждения и найденными доказательствами.

Применение SIFT позволяет более эффективно фильтровать галлюцинации и ошибки логического вывода в RAG-системах. Метод фокусируется не просто на поиске релевантных документов, а на верификации того, что найденный фрагмент действительно является достаточным основанием для признания утверждения истинным. Это повышает надежность автоматизированных систем проверки информации в задачах, требующих высокой точности цитирования.

Ключевые факты

SIFT (Claim-Conditioned Re-scoring) устраняет проблему «разрыва обоснований», при которой LLM выдает вердикт «подтверждено» без логической связи с доказательствами.
Метод использует контекстно-зависимую переоценку извлеченных фрагментов текста для проверки их соответствия конкретным частям утверждения.
Исследование направлено на решение фундаментальной проблемы RAG-систем: неспособности моделей различать релевантность документа и его доказательную силу.
Подход позволяет избежать потери контекста, характерной для жестких протоколов структурированной декомпозиции утверждений.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Машинное обучение Метод FACTOR для адаптивной проверки фактов в генерации текста Исследователи представили метод FACTOR, направленный на повышение достоверности длинных текстов, создаваемых языковыми моделями. Основная проблема современных LLM заключается в склонности к генерации неподтвержденных утверждений, которые часто остаются незамеченными стандартными инструментами верификации. В отличие от существующих подходов, которые применяют одинаковые правила проверки ко всем частям текста, новая методика учитывает разную степень риска возникновения галлюцинаций для различных типов утверждений. arXiv · Исследования и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности. arXiv · Исследования и наука Метод разрешения конфликтов знаний в LLM при работе с внешними данными Исследователи представили новый подход к решению проблемы противоречий между внутренними параметрическими знаниями языковых моделей и информацией, поступающей из внешнего контекста. В современных системах, использующих RAG или длинные промпты, модель часто сталкивается с ситуацией, когда данные в запросе пользователя противоречат тому, что было «выучено» моделью в процессе обучения. Это приводит к галлюцинациям или снижению точности ответов, так как модель не может эффективно приоритизировать источники данных. arXiv · Исследования и наука Новый подход к редакционному контролю в LLM-системах Исследователи представили концепцию «редакционного алайнмента» (Editorial Alignment), направленную на сохранение экспертного контроля над распространением знаний в эпоху LLM. Авторы работы анализируют проблему, при которой предобученные модели навязывают собственные ценности и алгоритмы фильтрации, фактически подменяя собой традиционные институты проверки информации. Это создает риски для качества контента и снижает авторитетность специализированных источников, чьи редакционные стандарты игнорируются в процессе генерации ответов. Hacker News · Оценка и бенчмарки Оценка уверенности LLM-судей эффективнее простого сравнения ответов Исследователи предложили новый подход к оценке качества работы LLM-судей, которые используются для автоматического тестирования других моделей. Традиционная методика опирается на «согласие» (agreement) — совпадение оценок ИИ с мнением человека или другой эталонной модели. Однако этот показатель часто оказывается обманчивым, так как модели могут давать одинаковые ответы по разным причинам, включая случайные ошибки или предвзятость к определенным формулировкам. Hacker News · Оценка и бенчмарки Использование LLM для оценки качества поисковой выдачи через метрику NDCG Для оценки качества поисковых систем теперь применяют LLM в качестве судей, автоматизирующих расчет метрики NDCG (Normalized Discounted Cumulative Gain). Этот подход позволяет заменить дорогостоящую ручную разметку релевантности документов, используя возможности больших языковых моделей для анализа соответствия результатов поискового запроса намерениям пользователя, что значительно ускоряет итерации при настройке алгоритмов поиска. Hacker News · Оценка и бенчмарки Как оценивают LLM-судей с помощью возмущающих тестов Компания Forus представила метод оценки LLM-судей на основе возмущающих тестов. Подход позволяет проверять устойчивость моделей к различным типам искажений и ошибок, что критично для их использования в агентных системах. Hacker News · Оценка и бенчмарки Проблемы использования LLM в качестве судей для оценки ИИ-агентов Современные подходы к тестированию ИИ-агентов все чаще полагаются на автоматизированную оценку с помощью других языковых моделей, так называемых «LLM-as-a-judge». Однако практика показывает, что такие судьи склонны к предвзятости и поверхностному анализу. В ходе экспериментов исследователи обнаружили, что модели-судьи могут выставлять высокие баллы ответам агентов, даже если те не выполнили ключевые действия — например, не открыли необходимый для решения задачи файл. arXiv · Оценка и бенчмарки Новый метод борьбы с предвзятостью LLM-судей при оценке качества ответов Исследователи представили новый подход к оценке больших языковых моделей, использующих другие LLM в качестве «судей». Текущие системы автоматической оценки часто страдают от систематических искажений, не связанных с качеством контента. Наиболее выраженной проблемой является «предвзятость к многословию»: модели склонны завышать оценки длинным ответам, даже если они менее точны или информативны, чем краткие варианты.

← Все материалы