Hacker News · 22.07.2026 ·Данные и инжиниринг

Аудит RAG-систем: почему 62% извлеченных данных оказались некачественными

Анализ работы RAG-системы, извлекающей «важные события» из неструктурированных данных, показал критически низкую точность: 62% сгенерированных записей оказались бесполезными или ошибочными. Исследование 1751 «вехи отношений» выявило, что стандартные методы извлечения данных часто не справляются с контекстом, требуя более глубокой настройки пайплайнов и верификации результатов для обеспечения качества бизнес-данных.

Проблема заключается в том, что модели часто интерпретируют шум как значимые события, что приводит к засорению баз данных «мусорными» записями. В ходе аудита выяснилось, что автоматизированные системы извлечения данных склонны к галлюцинациям при работе с личными или слабоструктурированными текстами, где отсутствует четкая семантическая разметка. Это ставит под сомнение надежность RAG-решений, работающих без многоступенчатой проверки и фильтрации на этапе пост-процессинга.

Для повышения качества извлечения авторы исследования предлагают внедрить дополнительные уровни валидации, которые проверяют логическую связность и соответствие извлеченных фактов исходному контексту. Без внедрения таких механизмов контроля RAG-системы могут приносить больше вреда, чем пользы, создавая иллюзию автоматизации при фактическом накоплении неверных данных в корпоративных хранилищах.

Ключевые факты

Общий объем проанализированных данных составил 1751 запись, классифицированную как «вехи отношений».
Уровень брака (junk data) в извлеченных данных достиг 62%.
Основной причиной ошибок стала неспособность модели корректно интерпретировать контекст и отделять значимые события от шума.
Исследование подчеркивает необходимость внедрения строгих этапов верификации и фильтрации в RAG-пайплайны для предотвращения деградации качества данных.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Память и RAG Почему RAG-системы ошибаются: проблема поиска, а не генерации Часто ошибки RAG-систем ошибочно списывают на галлюцинации языковых моделей, однако корень проблемы кроется в неэффективном поиске контекста. Если система не находит релевантных данных в базе, модель вынуждена либо признать незнание, либо пытаться заполнить пробелы, что приводит к фактическим неточностям. Качество ответов напрямую зависит от точности извлечения информации, а не от способности LLM к генерации. AI | VentureBeat · ИИ в бизнесе Проблема доверия в корпоративном ИИ: почему RAG-системы не справляются с бизнес-контекстом Исследование 101 крупной компании показало, что основной барьер для внедрения ИИ-агентов в корпоративную среду сместился с технической реализации поиска данных на проблему доверия к результатам. Несмотря на повсеместное использование RAG, организации сталкиваются с «галлюцинациями» и неточностями, так как инфраструктура для обработки бизнес-контекста развивается быстрее, чем механизмы проверки достоверности и контроля качества ответов моделей. Hacker News · Память и RAG Проблема деградации контекста и памяти в ИИ-агентах Исследователи выявили критическую уязвимость в архитектурах ИИ-агентов: системы часто не способны распознать момент, когда их долгосрочная память или контекстное окно переполняются или искажаются. Это приводит к «галлюцинациям забывания», когда агент продолжает генерировать ответы, основываясь на устаревших или неполных данных, не уведомляя пользователя о потере доступа к важной информации из истории взаимодействия. Hacker News · Память и RAG Почему производительность RAG-систем деградирует со временем Системы RAG в продакшене часто сталкиваются с постепенным снижением качества ответов из-за накопления «информационного шума» и изменения контекста данных. Основная проблема заключается в отсутствии механизмов мониторинга актуальности документов и деградации векторных представлений, что приводит к выдаче устаревшей или нерелевантной информации, даже если архитектура системы изначально была настроена корректно. Hacker News · Оценка и бенчмарки Проблема галлюцинаций при атрибуции сущностей в клинических RAG-системах Исследователи выявили критическую уязвимость в RAG-системах, используемых в медицине: модели склонны к «обманчивому обоснованию» (deceptive grounding). При работе с клиническими данными ИИ часто приписывает факты неверным сущностям, даже если извлекает информацию из корректных источников. Это создает риск генерации ложных медицинских заключений, которые выглядят достоверно из-за наличия ссылок на реальные документы. Hacker News · Память и RAG Инструмент для поиска уязвимых мест в RAG-системах Разработчики представили инструмент ragProbe, предназначенный для автоматизированного тестирования систем с дополненной генерацией (RAG). Решение помогает выявлять запросы, на которых текущий пайплайн поиска и генерации выдает неточные или ошибочные ответы, еще до этапа эксплуатации продукта конечными пользователями. arXiv · Память и RAG Статические метрики RAG не отражают эффективность в агентных системах Исследователи выявили фундаментальный разрыв между оценкой RAG-систем и их реальной пользой для ИИ-агентов. Традиционные методы оценивают документы статически, проверяя их прямое влияние на ответ. Однако в многошаговых агентных сценариях документ может быть полезен не для ответа, а как «мостик» для формирования последующих поисковых запросов, что игнорируется текущими бенчмарками. Weaviate Blog · Память и RAG Как качество ретривала влияет на эффективность RAG-систем Исследователи из Weaviate (разработчики векторной БД) опубликовали анализ, посвящённый роли ретривала в RAG-системах. Они утверждают, что даже самые мощные языковые модели не смогут давать качественные ответы, если ретривал не обеспечивает актуальные и релевантные данные. Hacker News · Память и RAG Оптимизация RAG: как отсеивать 68% лишнего контекста с помощью компактной LLM Команда Kapa.ai разработала метод фильтрации контекста для RAG-систем, позволяющий отсеивать до 68% нерелевантных данных перед подачей в основную модель. Использование компактной LLM для предварительной оценки фрагментов позволяет снизить затраты на токены и повысить точность ответов, исключая «шум» из поисковой выдачи векторных баз данных без потери качества генерации. Hacker News · Оценка и бенчмарки Проблема верификации ИИ-процессов в критических системах Принцип «доверяй, но проверяй» теряет эффективность в контексте современных ИИ-систем из-за сложности интерпретации их внутренних процессов. Исследователи отмечают, что непрозрачность принятия решений моделями создает критические риски для бизнеса и безопасности. Отсутствие надежных методов верификации делает невозможным полноценный аудит результатов, что ставит под вопрос внедрение автоматизации в высокорисковых отраслях, где цена ошибки крайне высока.

← Все материалы