Hacker News · 19.06.2026 ·Оркестрация агентов

Система консенсуса из 11 LLM для борьбы с галлюцинациями

Разработан новый подход к верификации ответов языковых моделей, основанный на архитектуре консенсуса. Система задействует одновременно 11 различных LLM для обработки одного и того же запроса, после чего проводит сравнительный анализ полученных результатов. Такой метод позволяет выявлять противоречия и фактические ошибки, которые могут возникать при работе одиночных моделей.

В основе решения лежит механизм сопоставления ответов, где каждая модель выступает в роли независимого эксперта. Если большинство моделей приходят к схожим выводам, ответ считается достоверным. В случаях, когда ответы существенно различаются, система помечает информацию как потенциально недостоверную, что значительно снижает вероятность генерации галлюцинаций в критически важных задачах.

Данная архитектура ориентирована на интеграцию в агентные системы, где точность данных имеет приоритетное значение. Использование ансамбля моделей позволяет нивелировать недостатки отдельных архитектур и повысить общую надежность автоматизированных процессов принятия решений без необходимости дообучения базовых моделей.

Источник: Hacker News

Похожие материалы

arXiv · Исследования и наука Метод разрешения конфликтов знаний в LLM при работе с внешними данными Исследователи представили новый подход к решению проблемы противоречий между внутренними параметрическими знаниями языковых моделей и информацией, поступающей из внешнего контекста. В современных системах, использующих RAG или длинные промпты, модель часто сталкивается с ситуацией, когда данные в запросе пользователя противоречат тому, что было «выучено» моделью в процессе обучения. Это приводит к галлюцинациям или снижению точности ответов, так как модель не может эффективно приоритизировать источники данных. Hacker News · Оценка и бенчмарки Метод Лос-Аламосской лаборатории для выявления галлюцинаций в мультимодальных моделях Исследователи из Лос-Аламосской национальной лаборатории представили новый подход к диагностике ошибок в работе мультимодальных моделей, объединяющих зрение и язык. Основная проблема таких систем заключается в склонности к «галлюцинациям» — генерации описаний объектов или событий, которых нет на исходном изображении. Разработанный метод позволяет более точно отслеживать соответствие между визуальными данными и текстовым выводом модели. arXiv · Оценка и бенчмарки Новый метод борьбы с предвзятостью LLM-судей при оценке качества ответов Исследователи представили новый подход к оценке больших языковых моделей, использующих другие LLM в качестве «судей». Текущие системы автоматической оценки часто страдают от систематических искажений, не связанных с качеством контента. Наиболее выраженной проблемой является «предвзятость к многословию»: модели склонны завышать оценки длинным ответам, даже если они менее точны или информативны, чем краткие варианты. arXiv · Память и RAG Как RAG помогает бороться с галлюцинациями в мультимодальных моделях Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. Hacker News · Инфраструктура для агентов Автоматическая маршрутизация запросов для оптимизации стоимости и скорости LLM Компания Factory представила инструмент для автоматической маршрутизации запросов между различными языковыми моделями. Система в режиме реального времени анализирует входящие задачи и перенаправляет их на наиболее подходящую модель, исходя из заданных параметров стоимости и времени отклика. Такой подход позволяет компаниям снизить расходы на API, не жертвуя качеством ответов в критически важных сценариях. Hacker News · Инфраструктура для агентов Методы управления поведением LLM в агентных системах Эффективная работа с большими языковыми моделями в рамках автоматизированных систем требует перехода от простых текстовых запросов к структурированным методам управления. Основная проблема заключается в непредсказуемости ответов модели, что затрудняет интеграцию ИИ в программные пайплайны. Для решения этой задачи используются подходы, позволяющие жестко ограничивать формат вывода и логику принятия решений. arXiv · Исследования и наука Новый подход к редакционному контролю в LLM-системах Исследователи представили концепцию «редакционного алайнмента» (Editorial Alignment), направленную на сохранение экспертного контроля над распространением знаний в эпоху LLM. Авторы работы анализируют проблему, при которой предобученные модели навязывают собственные ценности и алгоритмы фильтрации, фактически подменяя собой традиционные институты проверки информации. Это создает риски для качества контента и снижает авторитетность специализированных источников, чьи редакционные стандарты игнорируются в процессе генерации ответов. Hacker News · Оценка и бенчмарки Методы мониторинга качества ответов LLM в продакшене Разработчики систем на базе больших языковых моделей сталкиваются с проблемой деградации качества ответов API. В отличие от традиционного программного обеспечения, где ошибки имеют бинарный характер, поведение LLM меняется постепенно и часто непредсказуемо. Основные подходы к решению этой задачи включают внедрение автоматизированных систем оценки, которые сравнивают текущие ответы модели с эталонными наборами данных или используют более мощные модели для оценки качества работы менее производительных систем. arXiv · Исследования и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности.

← Все материалы