arXiv · 12.06.2026 ·Медицинские MLLM и галлюцинации

ClinHallu: новый бенчмарк для диагностики галлюцинаций в медицинских MLLM

Исследователи представили ClinHallu — новый бенчмарк для выявления и анализа галлюцинаций в медицинских мультимодальных языковых моделях (MLLM). Проблема галлюцинаций особенно критична в медицине, где ошибки могут привести к неверным клиническим решениям. Существующие бенчмарки фокусируются на сборе данных, но не анализируют, на каком этапе возникают галлюцинации.

ClinHallu предлагает диагностировать галлюцинации на разных стадиях: от визуального распознавания до медицинского анализа. Исследование показывает, что источники ошибок могут варьироваться в зависимости от конкретного случая. Например, ошибки могут возникать из-за неправильного распознавания изображений или неверного медицинского заключения.

Для разработчиков медицинских ИИ-агентов этот бенчмарк может стать важным инструментом. Он позволяет не только выявлять галлюцинации, но и понимать их причины, что помогает улучшать модели. ClinHallu может быть полезен при создании надежных систем поддержки клинических решений, где точность и достоверность критически важны.

Исследование подчеркивает необходимость более глубокого анализа ошибок в MLLM. Понимание, на каком этапе возникают галлюцинации, позволяет разрабатывать более надежные и безопасные медицинские ИИ-системы. ClinHallu — важный шаг в этом направлении, который может повлиять на будущее медицинских ИИ-агентов.

Источник: arXiv

Похожие материалы

arXiv · RAG и визуальные агенты Как RAG помогает бороться с галлюцинациями в мультимодальных моделях Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности. arXiv · Диагностика ошибок в LLM Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · RAG и клинические данные Новый бенчмарк для клинического QA с доказательствами Исследователи представили EHRNote-ChatQA — бенчмарк для оценки систем, способных отвечать на сложные медицинские вопросы с опорой на доказательства. Он основан на выписках пациентов (discharge summaries), которые содержат ключевую информацию о госпитализации и используются врачами для принятия решений. arXiv · ИИ и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности. Hacker News · Многомодальные LLM и оценка Многомодальные LLM как судьи для оценки агентов В последнее время всё больше внимания уделяется использованию LLM (Large Language Models) в качестве судей для оценки качества работы других ИИ-агентов. В статье на Substack автор Yinghong Lan рассматривает концепцию Multimodal LLM-as-a-Judge, которая позволяет оценивать не только текстовые, но и мультимодальные данные, такие как изображения и видео. Google DeepMind News · ИИ в здравоохранении Исследование DeepMind: AI-клиницианты и будущее медицины DeepMind представил исследование о внедрении ИИ в медицинскую практику. Команда разрабатывает концепцию AI-клиницианта — виртуального помощника, который будет работать в тандеме с врачами. Основная цель — повысить эффективность диагностики и лечения, снижая нагрузку на медицинских специалистов. arXiv · ИИ-агенты и пространственное мышление SpatialClaw: новый интерфейс для пространственного мышления ИИ-агентов Исследователи из MIT и других ведущих университетов представили новый подход к решению проблемы пространственного мышления в ИИ-агентах. В работе SpatialClaw они предлагают пересмотреть интерфейс действий, через который агенты взаимодействуют с инструментами для восприятия пространства. Это особенно важно для задач, требующих понимания расположения объектов, их взаимосвязей и движений в 3D-пространстве. arXiv · Многомодальные агенты и обработка данных Новый фреймворк для работы с отсутствующими модальностями в ИИ-агентах Исследователи представили новый подход к решению проблемы отсутствующих модальностей в многомодальных системах. В статье, опубликованной на arXiv, предлагается фреймворк Unsupervised Learning for Missing Modalities in Multi-Modal Learning (UL4M4), который позволяет заполнять отсутствующие данные перед выполнением предсказаний. Это особенно важно для ИИ-агентов, которые часто работают с неполными или неструктурированными данными. Hacker News · ИИ в медицине Общие модели превосходят специализированные в клинической диагностике Исследование, опубликованное в журнале Nature Medicine, показало, что общие большие языковые модели (LLM) превосходят специализированные клинические ИИ-системы в диагностике заболеваний. В ходе эксперимента модели, такие как GPT-4, продемонстрировали высокую точность в интерпретации медицинских данных и постановке диагнозов, сопоставимую с экспертными системами, разработанными специально для медицинских задач. Hacker News · Персонализация LLM для агентов Guardian Angels: персонализация LLM для повышения продуктивности и безопасности Проект Guardian Angels представляет собой фреймворк для персонализации больших языковых моделей (LLM) с целью повышения продуктивности и безопасности. Разработчики предлагают использовать индивидуальные настройки и адаптацию моделей под конкретные задачи пользователей, что может быть полезно для создания ИИ-агентов.

← Все материалы