arXiv · 14.06.2026 ·RAG и клинические данные

Новый бенчмарк для клинического QA с доказательствами

Исследователи представили EHRNote-ChatQA — бенчмарк для оценки систем, способных отвечать на сложные медицинские вопросы с опорой на доказательства. Он основан на выписках пациентов (discharge summaries), которые содержат ключевую информацию о госпитализации и используются врачами для принятия решений.

Основная особенность EHRNote-ChatQA — многоповоротный формат, где система должна анализировать несколько выписок, синтезировать данные и подтверждать ответы ссылками на конкретные фрагменты текста. Это критически важно для медицинских ИИ-агентов, так как врачи требуют прозрачности и обоснованности выводов.

Бенчмарк включает 10 000 вопросов, связанных с диагнозами, лечением и прогнозами. Для оценки предложены метрики, учитывающие как точность, так и качество доказательств. Исследование показывает, что современные модели, включая GPT-4, справляются с задачей не идеально, что открывает пространство для улучшений.

Для разработчиков ИИ-агентов этот бенчмарк полезен как тестовая среда для проверки RAG-систем (Retrieval-Augmented Generation) и модулей работы с длинными документами. В медицинской сфере особенно важны точность и интерпретируемость, поэтому EHRNote-ChatQA может стать стандартом для оценки клинических чат-ботов и агентов.

Источник: arXiv

Похожие материалы

Microsoft Research · Этика и эффективность ИИ-агентов SocialReasoning-Bench: как ИИ-агенты действуют в интересах пользователей Исследователи из Microsoft представили SocialReasoning-Bench — новый бенчмарк, который оценивает способность ИИ-агентов действовать в интересах пользователей. В ходе тестирования различных моделей выяснилось, что хотя агенты демонстрируют компетентность в выполнении задач, они не всегда способны улучшать положение пользователя, даже при явных инструкциях оптимизировать свои действия. Hugging Face - Blog · Оценка и улучшение ИИ-агентов VAKRA: новый бенчмарк для тестирования ИИ-агентов Исследователи из IBM Research представили VAKRA — новый бенчмарк для оценки способностей ИИ-агентов к логическому мышлению, использованию инструментов и обработке ошибок. В отличие от существующих тестов, VAKRA фокусируется на комплексных сценариях, требующих от агентов не только генерации текста, но и выполнения последовательных действий с анализом промежуточных результатов. The latest research from Google · ИИ в здравоохранении Масштабное исследование влияния ИИ на виртуальную медицину Google и партнёры запустили крупнейшее в США рандомизированное исследование, посвящённое применению генеративного ИИ в виртуальной медицине. В проекте участвуют 100 000 пациентов и 10 000 врачей, что делает его одним из самых масштабных в области ИИ и здравоохранения. Hacker News · Бенчмарки для ИИ-агентов Первые результаты Legal Agent Benchmark для оценки ИИ-агентов Команда исследователей под руководством Габриэля Перейры представила первые результаты Legal Agent Benchmark (LAB) — нового бенчмарка для оценки способностей ИИ-агентов решать юридические задачи. Бенчмарк включает в себя набор тестов, имитирующих реальные юридические сценарии, такие как анализ договоров, подготовка документов и консультирование по правовым вопросам. arXiv · Медицинские MLLM и галлюцинации ClinHallu: новый бенчмарк для диагностики галлюцинаций в медицинских MLLM Исследователи представили ClinHallu — новый бенчмарк для выявления и анализа галлюцинаций в медицинских мультимодальных языковых моделях (MLLM). Проблема галлюцинаций особенно критична в медицине, где ошибки могут привести к неверным клиническим решениям. Существующие бенчмарки фокусируются на сборе данных, но не анализируют, на каком этапе возникают галлюцинации. arXiv · Обработка длинных текстов Новый метод переранжирования ответов для NQA Исследователи предложили метод переранжирования ответов на основе самосогласованности для задачи narrative question answering (NQA). Эта задача требует от моделей понимания длинных текстов, выявления связей между событиями и генерации связных ответов. Google DeepMind News · ИИ в здравоохранении Исследование DeepMind: AI-клиницианты и будущее медицины DeepMind представил исследование о внедрении ИИ в медицинскую практику. Команда разрабатывает концепцию AI-клиницианта — виртуального помощника, который будет работать в тандеме с врачами. Основная цель — повысить эффективность диагностики и лечения, снижая нагрузку на медицинских специалистов. arXiv · Оценка ИИ-агентов AgentBeats: новый подход к оценке ИИ-агентов Исследователи из Arxiv предложили новый подход к оценке ИИ-агентов, который решает проблему фрагментированности тестирования. В статье "AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility" авторы отмечают, что существующие бенчмарки часто зависят от фиксированных, ориентированных на LLM, тестовых фреймворков. Это создает несоответствие между тестовыми и производственными условиями, а также ограничивает справедливое сравнение различных архитектур агентов. arXiv · Оценка ИИ-агентов MetaSyn: новый датасет для тестирования ИИ-агентов на мета-анализах Исследователи представили новый датасет MetaSyn, предназначенный для оценки способностей ИИ-агентов проводить мета-анализ — сложный процесс синтеза данных, включающий поиск литературы, отбор исследований и статистический анализ. Этот процесс требует системного и проверяемого подхода, что делает его идеальным для тестирования научного мышления агентов. Hacker News · ИИ в медицине Общие модели превосходят специализированные в клинической диагностике Исследование, опубликованное в журнале Nature Medicine, показало, что общие большие языковые модели (LLM) превосходят специализированные клинические ИИ-системы в диагностике заболеваний. В ходе эксперимента модели, такие как GPT-4, продемонстрировали высокую точность в интерпретации медицинских данных и постановке диагнозов, сопоставимую с экспертными системами, разработанными специально для медицинских задач.

← Все материалы