arXiv · 16.07.2026 ·Память и RAG

Статические метрики RAG не отражают эффективность в агентных системах

Исследователи выявили фундаментальный разрыв между оценкой RAG-систем и их реальной пользой для ИИ-агентов. Традиционные методы оценивают документы статически, проверяя их прямое влияние на ответ. Однако в многошаговых агентных сценариях документ может быть полезен не для ответа, а как «мостик» для формирования последующих поисковых запросов, что игнорируется текущими бенчмарками.

В современных агентных архитектурах модель совершает серию итераций, уточняя контекст через цепочку запросов. Документ, который кажется бесполезным при однократном чтении, может содержать ключевую информацию для навигации по графу знаний или уточнения стратегии поиска. Игнорирование этой «причинно-следственной полезности» приводит к тому, что системы поиска обучаются на нерелевантных для агентов данных, снижая общую точность сложных рассуждений.

Авторы работы предлагают пересмотреть подходы к обучению ретриверов, сместив фокус с оценки «полезности для ответа» на оценку «полезности для процесса поиска». Это требует внедрения новых метрик, учитывающих вклад документа в успешность всей цепочки рассуждений агента, а не только в финальный результат конкретного шага.

Ключевые факты

Статические метрики оценки RAG не коррелируют с производительностью агентов в многошаговых задачах.
Документы с низкой «статической полезностью» могут критически влиять на успех агента, выступая в роли промежуточного звена для уточнения запросов.
Текущие системы поиска оптимизируются под одношаговые ответы, что ограничивает возможности моделей при работе с длинными цепочками рассуждений.
Исследование подчеркивает необходимость перехода к оценке «причинно-следственной полезности» (causal utility) в агентных поисковых системах.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Память и RAG Проблема деградации контекста и памяти в ИИ-агентах Исследователи выявили критическую уязвимость в архитектурах ИИ-агентов: системы часто не способны распознать момент, когда их долгосрочная память или контекстное окно переполняются или искажаются. Это приводит к «галлюцинациям забывания», когда агент продолжает генерировать ответы, основываясь на устаревших или неполных данных, не уведомляя пользователя о потере доступа к важной информации из истории взаимодействия. Hacker News · Память и RAG Почему RAG-системы ошибаются: проблема поиска, а не генерации Часто ошибки RAG-систем ошибочно списывают на галлюцинации языковых моделей, однако корень проблемы кроется в неэффективном поиске контекста. Если система не находит релевантных данных в базе, модель вынуждена либо признать незнание, либо пытаться заполнить пробелы, что приводит к фактическим неточностям. Качество ответов напрямую зависит от точности извлечения информации, а не от способности LLM к генерации. Hacker News · Память и RAG Почему одной памяти недостаточно: управление контекстом в ИИ-агентах Для создания эффективных ИИ-агентов простой реализации памяти недостаточно. Разработчики сталкиваются с проблемой «зашумления» контекста, когда избыточная информация снижает точность ответов модели. Статья объясняет, почему управление контекстом — фильтрация, приоритизация и структурирование данных — становится критическим этапом в архитектуре агентных систем, позволяя моделям фокусироваться на актуальных задачах и избегать галлюцинаций при работе с большими массивами данных. arXiv · Память и RAG Эволюция систем памяти для ИИ-агентов: от RAG к управлению данными Исследователи проанализировали текущее состояние систем памяти для LLM-агентов, отмечая переход от простых RAG-механизмов к полноценным системам управления данными. Современная агентная память требует поддержки жизненного цикла информации: от персистентного хранения и обновления до консолидации знаний. Авторы подчеркивают недостаточность существующих метрик, которые оценивают лишь конечный результат выполнения задачи, игнорируя качество работы самой памяти. arXiv · Исследования и наука Новый подход к оценке интеллекта ИИ-агентов через теорию сжатия данных Исследователи представили аналитическую модель оценки интеллекта агентных систем, основанную на принципе «интеллект как сжатие». Авторы предлагают измерять эффективность агентов через объем информации, необходимый для выполнения конкретных задач в заданных условиях. Этот подход позволяет количественно сравнивать способности моделей к использованию инструментов, поиску данных и многошаговому взаимодействию с внешней средой, переводя качественные характеристики агентов в измеримые биты. Hacker News · Память и RAG Проблема «долга поиска» в агентных системах Разработчики агентных систем столкнулись с концепцией «долга поиска» (retrieval debt), которая становится серьезным препятствием при масштабировании RAG-решений. По аналогии с техническим долгом в программировании, этот феномен возникает, когда качество извлечения контекста из базы знаний постепенно деградирует из-за накопления неструктурированных данных, устаревших документов или неоптимальных стратегий индексации. В результате агент начинает получать нерелевантную информацию, что ведет к галлюцинациям и снижению точности ответов, несмотря на использование современных LLM. arXiv · Оркестрация агентов Оптимизация распределения вычислительных мощностей в иерархических поисковых агентах Исследователи проанализировали эффективность иерархических архитектур, где основной агент делегирует подзадачи специализированным моделям. Выяснилось, что использование моделей одинакового размера для всех ролей избыточно. Авторы предложили стратегию распределения вычислительных мощностей, при которой сложные задачи планирования требуют более крупных моделей, тогда как выполнение конкретных поисковых запросов и синтез ответов могут быть делегированы менее ресурсоемким системам без потери качества. Hacker News · Оценка и бенчмарки Дорожная карта по оценке эффективности ИИ-агентов Оценка производительности автономных ИИ-агентов становится критическим этапом разработки, так как традиционные метрики для простых LLM-запросов здесь оказываются недостаточно эффективными. В отличие от статических моделей, агенты совершают последовательные действия, взаимодействуют с внешними инструментами и меняют состояние среды, что требует комплексного подхода к тестированию. AI | VentureBeat · ИИ в бизнесе Проблема доверия в корпоративном ИИ: почему RAG-системы не справляются с бизнес-контекстом Исследование 101 крупной компании показало, что основной барьер для внедрения ИИ-агентов в корпоративную среду сместился с технической реализации поиска данных на проблему доверия к результатам. Несмотря на повсеместное использование RAG, организации сталкиваются с «галлюцинациями» и неточностями, так как инфраструктура для обработки бизнес-контекста развивается быстрее, чем механизмы проверки достоверности и контроля качества ответов моделей. arXiv · Память и RAG Байесовская оценка неопределенности для агентских RAG-систем Исследователи представили фреймворк для агентских RAG-систем, позволяющий оценивать вероятность ошибок в многошаговых цепочках рассуждений. Система использует байесовское распространение неопределенности на этапах планирования, оценки и генерации, опираясь на семантическую дивергенцию и механизмы саморефлексии моделей. Это решение повышает надежность автономных агентов при выполнении сложных задач, требующих многократного обращения к внешним источникам данных.

← Все материалы