Исследователи выявили критическую уязвимость в RAG-системах, используемых в медицине: модели склонны к «обманчивому обоснованию» (deceptive grounding). При работе с клиническими данными ИИ часто приписывает факты неверным сущностям, даже если извлекает информацию из корректных источников. Это создает риск генерации ложных медицинских заключений, которые выглядят достоверно из-за наличия ссылок на реальные документы.

Проблема заключается в том, что современные методы RAG фокусируются на релевантности поиска, но не гарантируют точность связей между конкретным утверждением и субъектом, к которому оно относится. В клинической практике, где разница между диагнозами или дозировками для разных пациентов критична, такие ошибки атрибуции могут приводить к опасным последствиям. Авторы работы подчеркивают, что стандартные метрики оценки RAG не фиксируют подобные логические сбои.

Для решения проблемы предложен новый подход к оценке систем, который проверяет не только наличие информации в контексте, но и корректность её привязки к конкретным сущностям. Это требует перехода от простых методов поиска к более сложным графовым структурам или специализированным слоям верификации данных, способным отслеживать логические цепочки внутри медицинских записей.

Ключевые факты

  • Исследование сфокусировано на ошибках атрибуции сущностей (entity attribution failure) в клинических RAG-системах.
  • Выявлено, что модели часто путают данные разных пациентов, даже при наличии правильных документов в контекстном окне.
  • Предложенный метод оценки позволяет выявлять «обманчивое обоснование», которое пропускают стандартные метрики качества RAG.
  • Ошибки атрибуции в медицине классифицированы как критические риски, требующие внедрения графовых методов верификации данных.