arXiv · 07.07.2026 ·Исследования и наука

Новый фреймворк для биомедицинских QA-систем на базе LLM

Исследователи представили специализированный фреймворк для решения задач биомедицинского поиска ответов (BioASQ 14b), использующий адаптивные пайплайны на базе LLM. Вместо стандартного голосования моделей система классифицирует тип вопроса и динамически выстраивает стратегию извлечения и синтеза доказательств из научной литературы, что значительно повышает точность ответов и обоснованность выводов в узкоспециализированных медицинских доменах.

Традиционные подходы к обработке биомедицинских запросов часто сталкиваются с проблемой галлюцинаций или неполного охвата доказательной базы при работе с множественными источниками. Новый метод переходит от простого агрегирования ответов к агентному взаимодействию, где модель сначала определяет структуру запроса, а затем инициирует целевой поиск по корпусу научных статей. Это позволяет системе лучше справляться с «фактологическими» вопросами, требующими точных данных, и «обобщающими» вопросами, требующими синтеза знаний.

Архитектура решения ориентирована на повышение надежности RAG-систем в критически важных областях, где точность цитирования и верификация данных имеют решающее значение. Использование специализированных пайплайнов позволяет минимизировать шум при обработке больших объемов неструктурированного медицинского текста, обеспечивая более высокую степень соответствия ответов актуальным научным публикациям.

Ключевые факты

Фреймворк разработан специально для участия в соревновании BioASQ 14b (Task B).
Система использует классификацию типов вопросов для выбора оптимального пути обработки данных.
Метод заменяет стандартные стратегии голосования моделей на агентное сотрудничество для улучшения синтеза доказательств.
Решение направлено на повышение точности извлечения информации из специализированной научной литературы.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Оценка и бенчмарки Новый фреймворк для оценки автономного поиска моделей ИИ-агентами Исследователи представили методологию для систематической оценки того, как ИИ-агенты занимаются автономным моделированием данных. Поскольку поведение агентов стохастично и адаптивно, традиционные бенчмарки не дают полной картины. Новый подход, основанный на принципах экспериментального дизайна, позволяет количественно измерить процесс «открытия» моделей, обеспечивая более глубокое понимание того, как агенты справляются с задачами анализа данных в условиях неопределенности. arXiv · Память и RAG Байесовская оценка неопределенности для агентских RAG-систем Исследователи представили фреймворк для агентских RAG-систем, позволяющий оценивать вероятность ошибок в многошаговых цепочках рассуждений. Система использует байесовское распространение неопределенности на этапах планирования, оценки и генерации, опираясь на семантическую дивергенцию и механизмы саморефлексии моделей. Это решение повышает надежность автономных агентов при выполнении сложных задач, требующих многократного обращения к внешним источникам данных. arXiv · Оценка и бенчмарки BINEVAL: новый подход к интерпретируемой оценке LLM через бинарные вопросы Исследователи представили BINEVAL — фреймворк для оценки качества ответов LLM, который заменяет непрозрачные балльные системы на серию атомарных бинарных вопросов. Такой подход позволяет точно локализовать ошибки модели, делая процесс оценки более интерпретируемым и пригодным для автоматизированного самообучения, что решает проблему низкой корреляции традиционных метрик с человеческими суждениями при работе с открытыми генеративными задачами. arXiv · Память и RAG Новый бенчмарк для клинического QA с доказательствами Исследователи представили EHRNote-ChatQA — бенчмарк для оценки систем, способных отвечать на сложные медицинские вопросы с опорой на доказательства. Он основан на выписках пациентов (discharge summaries), которые содержат ключевую информацию о госпитализации и используются врачами для принятия решений. arXiv · Оценка и бенчмарки CLExEval: новый фреймворк для оценки клинического мышления LLM Исследователи представили CLExEval — фреймворк с участием человека (human-in-the-loop), предназначенный для качественной оценки клинического мышления больших языковых моделей. Инструмент решает проблему «иллюзии оценки», когда грамматически верные и структурированные ответы моделей создают ложное впечатление экспертной точности, скрывая фактические ошибки в медицинских диагнозах и логических цепочках рассуждений. arXiv · Память и RAG TRIAGE: методология оценки качества графовых RAG-систем Исследователи представили TRIAGE — фреймворк для комплексной оценки графовых RAG-систем, создаваемых с помощью LLM. Инструмент позволяет локализовать ошибки на этапах извлечения данных, построения графа знаний и финального инференса. Это решает проблему «черного ящика», когда сбой на раннем этапе формирования графа обнаруживается только при получении неверного ответа от модели. arXiv · Оценка и бенчмарки Ограничения LLM-судей в медицинской диагностике Исследователи представили MedQADE — первый стандартизированный бенчмарк для оценки открытых ответов медицинских ИИ-моделей на немецком языке. Работа выявила критический разрыв: автоматизированные LLM-судьи часто не способны воспроизвести клиническую осторожность и точность, свойственную врачам, что ставит под сомнение надежность текущих методов оценки ИИ в медицине при использовании LLM в качестве арбитров. arXiv · Инфраструктура для агентов Новый фреймворк для автоматизации данных и AutoML на основе LLM Исследователи представили новый фреймворк, который объединяет возможности LLM и мультиагентные системы для автоматизации полного цикла работы с данными. Платформа Big-Data-as-a-Service (BDaaS) решает задачи инжиниринга данных, AutoML и MLOps, включая мониторинг и оптимизацию моделей. Hacker News · Оценка и бенчмарки LifeSciBench: новый стандарт оценки LLM в области наук о жизни Исследователи представили LifeSciBench — специализированный бенчмарк для оценки возможностей больших языковых моделей в решении задач экспертного уровня в биологии, химии и медицине. В отличие от общих тестов, этот набор данных сфокусирован на проверке способности моделей работать с узкоспециализированной научной терминологией, анализировать молекулярные структуры и интерпретировать сложные экспериментальные данные. Hacker News · ИИ в бизнесе Применение агентного ИИ для интерпретации генома при интерстициальных заболеваниях легких Исследователи представили агентную систему на базе LLM для анализа геномных данных, продемонстрировав её эффективность на примере диагностики интерстициальных заболеваний легких. Система автоматизирует процесс интерпретации генетических вариантов, сопоставляя их с клиническими фенотипами. Использование агентного подхода позволило достичь точности, сопоставимой с экспертной оценкой, сокращая время на анализ сложных медицинских случаев и выявление патогенных мутаций.

← Все материалы