arXiv · 30.07.2026 ·Память и RAG

DualG-MRAG: новый подход к мультимодальному RAG через разделение рассуждений и поиска

Исследователи представили DualG-MRAG — архитектуру для мультимодального RAG, которая разделяет макро-рассуждения и микро-сопоставление данных. Метод решает проблему неэффективности существующих систем при выполнении сложных многоходовых задач, где стандартные подходы не справляются с установлением связей между различными модальностями и документами. Новая архитектура позволяет точнее обрабатывать контекст и повышает качество ответов в мультимодальных сценариях.

Традиционные системы RAG часто фокусируются на сопоставлении отдельных фрагментов данных, что приводит к потере глобальной структуры информации. DualG-MRAG вводит механизм графового моделирования, который отделяет высокоуровневое логическое планирование от процесса поиска конкретных визуальных или текстовых соответствий. Это позволяет модели сначала выстроить логическую цепочку рассуждений, а затем точечно извлекать необходимые данные из базы.

Такой подход значительно улучшает производительность в задачах, требующих анализа нескольких источников информации разного типа. Разделение процессов снижает вычислительную нагрузку на этапе сопоставления и минимизирует ошибки, возникающие при попытке одновременного анализа структуры и содержания. Метод демонстрирует более высокую точность в сложных бенчмарках, где требуется синтез знаний из разнородных мультимодальных документов.

Ключевые факты

DualG-MRAG разделяет процесс на макро-рассуждения (логическая структура) и микро-сопоставление (поиск данных).
Метод направлен на решение проблем многоходового (multi-hop) рассуждения в мультимодальных системах.
Архитектура устраняет ограничения графовых методов, возникавшие при попытке объединить структурное моделирование и поиск.
Подход повышает эффективность извлечения информации из документов, содержащих как текст, так и визуальные элементы.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Память и RAG MothRAG: фреймворк для многошагового RAG без графовых баз данных MothRAG — это новый подход к реализации многошагового (multi-hop) поиска в RAG-системах, который позволяет извлекать сложные логические связи из данных без необходимости построения и поддержки графовых структур. Решение ориентировано на снижение затрат и упрощение архитектуры, исключая дорогостоящие этапы переиндексации, характерные для классических графовых RAG-решений. Hacker News · Память и RAG Альтернатива GraphRAG: упрощенный подход к структурированию знаний Автор анализирует причины низкой эффективности сложных систем GraphRAG при построении корпоративных баз знаний. Вместо создания громоздких графов знаний, предлагается архитектура на основе иерархических метаданных и семантического поиска. Такой подход позволяет достичь высокой точности ответов ИИ-агентов, избегая избыточной сложности, вычислительных затрат и проблем с масштабируемостью, характерных для классических графовых методов. arXiv · Память и RAG DynaKRAG: новый фреймворк для адаптивного многошагового RAG Исследователи представили DynaKRAG — унифицированный фреймворк для многошагового RAG, который динамически управляет процессом поиска доказательств. В отличие от жестких алгоритмов, система обучается контролировать этапы извлечения данных, переформулирования запросов и оценки достаточности информации. Это позволяет модели гибко реагировать на сложные вопросы, требующие последовательного сбора фактов и устранения пробелов в знаниях для формирования точных ответов. arXiv · Память и RAG Как RAG помогает бороться с галлюцинациями в мультимодальных моделях Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности. arXiv · Память и RAG GeoRAG: новый подход к оптимизации контекста в RAG-системах Исследователи представили GeoRAG — метод оптимизации выбора контекста для RAG-систем, решающий проблему неполного охвата информации при сложных запросах. Вместо стандартного ранжирования чанков по близости к одному эмбеддингу, система переосмысливает поиск как задачу покрытия информационных потребностей. Это позволяет эффективно обрабатывать многоходовые и неоднозначные вопросы, избегая избыточности и потери важных деталей. arXiv · Исследования и наука Новый подход к решению задач ARC-AGI-2 через поиск по модальностям Исследователи представили новый метод решения задач из бенчмарка ARC-AGI-2, фокусирующийся на отборе правильных цепочек рассуждений вместо простого их генерирования. Алгоритм использует «целостное суждение о следах» (holistic trace judging), рассматривая различные модальности рассуждений как операторы поиска. Это позволяет эффективно фильтровать ошибочные, но логически связные ответы, которые часто выдают современные языковые модели. arXiv · Машинное обучение Новый метод RAG для разрешения конфликтов знаний Исследователи представили метод Regime-Aware Peer Specialization (RAPS), повышающий устойчивость RAG-систем при работе с противоречивыми данными. Алгоритм классифицирует конфликты между внешним контекстом и параметрическими знаниями модели, адаптируя стратегию генерации в зависимости от степени надежности найденных источников. Это позволяет минимизировать галлюцинации и повысить точность ответов в условиях неоднородных и потенциально вредоносных данных. Hacker News · Память и RAG Оптимизация RAG: как отсеивать 68% лишнего контекста с помощью компактной LLM Команда Kapa.ai разработала метод фильтрации контекста для RAG-систем, позволяющий отсеивать до 68% нерелевантных данных перед подачей в основную модель. Использование компактной LLM для предварительной оценки фрагментов позволяет снизить затраты на токены и повысить точность ответов, исключая «шум» из поисковой выдачи векторных баз данных без потери качества генерации. arXiv · Память и RAG Как RAG помогает ИИ-агентам решать сложные задачи через аналогии Исследователи из MIT и Google Research предложили новый подход к улучшению способности языковых моделей решать сложные задачи через аналогии. В работе, опубликованной на arXiv, они демонстрируют, как Retrieval-Augmented Generation (RAG) может быть адаптирован для более эффективного решения задач, требующих нестандартного мышления. arXiv · Оркестрация агентов Adaptive Goal-aware Attention: новый подход к оркестрации мультиагентных систем Исследователи представили метод адаптивной оркестрации внимания для мультиагентных графовых систем. В отличие от стандартных подходов, где ресурсы распределяются равномерно, новая архитектура динамически перенаправляет вычислительные мощности на наиболее критичные узлы графа в зависимости от поставленной цели. Это позволяет значительно повысить эффективность выполнения сложных многошаговых задач и снизить избыточное потребление токенов при работе с LLM.

← Все материалы