arXiv · 18.06.2026 ·Исследования и наука

Метод разрешения конфликтов знаний в LLM при работе с внешними данными

Исследователи представили новый подход к решению проблемы противоречий между внутренними параметрическими знаниями языковых моделей и информацией, поступающей из внешнего контекста. В современных системах, использующих RAG или длинные промпты, модель часто сталкивается с ситуацией, когда данные в запросе пользователя противоречат тому, что было «выучено» моделью в процессе обучения. Это приводит к галлюцинациям или снижению точности ответов, так как модель не может эффективно приоритизировать источники данных.

Предложенный метод позволяет модели явно оценивать надежность каждого источника информации в процессе инференса. Вместо того чтобы полагаться на вероятностное усреднение, система анализирует степень достоверности параметрических знаний и контекстных данных, выстраивая иерархию доверия. Это помогает модели выбирать наиболее актуальный факт, даже если он противоречит её базовой подготовке, что критически важно для корпоративных систем, работающих с постоянно обновляемыми базами данных.

Авторы работы протестировали алгоритм на различных задачах, требующих точного извлечения фактов. Результаты показали значительное снижение количества ошибок, связанных с дезинформацией или устаревшими данными, которые модель могла «вспомнить» из своего весового пространства. Данный подход открывает путь к созданию более предсказуемых и надежных ИИ-ассистентов, способных корректно работать с динамической информацией без необходимости постоянного переобучения всей модели.

Источник: arXiv

Похожие материалы

arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. Hacker News · Исследования и наука Исследование: насколько можно доверять LLM при анализе данных (EDA) Исследователи проанализировали применимость больших языковых моделей для проведения разведочного анализа данных (EDA). В работе оценивается способность ИИ-агентов самостоятельно выполнять стандартные этапы работы с датасетами: от первичной очистки и выявления пропусков до построения статистических гипотез и визуализации распределений. Авторы статьи сфокусировались на том, насколько точно модели интерпретируют структуру табличных данных и избегают галлюцинаций при генерации кода для анализа. arXiv · Исследования и наука Новый подход к редакционному контролю в LLM-системах Исследователи представили концепцию «редакционного алайнмента» (Editorial Alignment), направленную на сохранение экспертного контроля над распространением знаний в эпоху LLM. Авторы работы анализируют проблему, при которой предобученные модели навязывают собственные ценности и алгоритмы фильтрации, фактически подменяя собой традиционные институты проверки информации. Это создает риски для качества контента и снижает авторитетность специализированных источников, чьи редакционные стандарты игнорируются в процессе генерации ответов. arXiv · Исследования и наука Исследование: как языковые модели теряют логику при замене переменных Учёные из MIT и других институтов обнаружили любопытный феномен в языковых моделях: при замене переменных в задачах на каузальное рассуждение на нейтральные маркеры (например, «X» вместо «Джон») модели начинают давать разные ответы, хотя структура вопроса и правильный ответ остаются неизменными. Это указывает на то, что модели либо теряют часть информации при такой замене, либо не могут корректно интерпретировать сохранённую информацию. Hacker News · Исследования и наука Мелани Митчелл о непредсказуемости современных LLM Профессор Мелани Митчелл в своей статье для Yale Review анализирует феномен «зубчатого интеллекта» (jagged intelligence) у современных языковых моделей. Автор отмечает, что ИИ демонстрирует крайне неравномерные способности: системы могут блестяще справляться со сложными логическими задачами или написанием кода, но при этом совершать элементарные ошибки в простых вопросах, требующих здравого смысла или понимания физического мира. Hacker News · Исследования и наука Математическое доказательство и логические ограничения LLM Исследователи представили работу, посвященную применению принципа открытой индукции для анализа логических возможностей больших языковых моделей. Авторы статьи исследуют, как формальные методы доказательства соотносятся с архитектурными особенностями нейросетей, работающих на основе предсказания следующего токена. В центре внимания — вопрос о том, способны ли современные модели к полноценному дедуктивному выводу или их логика ограничена вероятностным распределением данных. Hacker News · Оценка и бенчмарки Метод Лос-Аламосской лаборатории для выявления галлюцинаций в мультимодальных моделях Исследователи из Лос-Аламосской национальной лаборатории представили новый подход к диагностике ошибок в работе мультимодальных моделей, объединяющих зрение и язык. Основная проблема таких систем заключается в склонности к «галлюцинациям» — генерации описаний объектов или событий, которых нет на исходном изображении. Разработанный метод позволяет более точно отслеживать соответствие между визуальными данными и текстовым выводом модели. arXiv · Оценка и бенчмарки Новый метод борьбы с предвзятостью LLM-судей при оценке качества ответов Исследователи представили новый подход к оценке больших языковых моделей, использующих другие LLM в качестве «судей». Текущие системы автоматической оценки часто страдают от систематических искажений, не связанных с качеством контента. Наиболее выраженной проблемой является «предвзятость к многословию»: модели склонны завышать оценки длинным ответам, даже если они менее точны или информативны, чем краткие варианты. arXiv · Машинное обучение Улучшение многоязычного логического вывода через управляемое слияние моделей Исследователи представили новый метод объединения нейросетевых архитектур, направленный на повышение качества логического вывода в многоязычных задачах. Техника слияния моделей позволяет эффективно комбинировать способности специализированных систем, отвечающих за глубокое рассуждение, с возможностями моделей, обученных на широком спектре языков. Основная сложность подобных подходов заключается в конфликтах между весами исходных моделей, которые часто приводят к снижению точности итогового решения. arXiv · Память и RAG Как RAG помогает бороться с галлюцинациями в мультимодальных моделях Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности.

← Все материалы