arXiv · 16.06.2026 ·Оценка и бенчмарки

Новый метод оценки персональных медицинских агентов RubricsTree

Исследователи предложили новый подход RubricsTree для масштабируемой и эволюционирующей оценки персональных медицинских агентов. Система направлена на преодоление текущих ограничений в оценке таких агентов, которые используют данные о здоровье пользователей и медицинские навыки.

Проблема заключается в том, что традиционные методы оценки, основанные на аннотациях врачей, надежны, но дороги и не масштабируемы. В то же время оценщики на основе LLM, хотя и масштабируемы, часто субъективны и неконсистентны.

RubricsTree предлагает решение, сочетая преимущества обоих подходов. Система позволяет оценивать агентов по различным критериям, включая память о здоровье пользователя и медицинские навыки, обеспечивая при этом масштабируемость и консистентность.

Исследование опубликовано на arXiv и может стать важным шагом в развитии персональных медицинских агентов, что в перспективе поможет снизить глобальные различия в доступе к медицинским услугам.

Источник: arXiv

Похожие материалы

arXiv · Оценка и бенчмарки AgentBeats: новый подход к оценке ИИ-агентов Исследователи из Arxiv предложили новый подход к оценке ИИ-агентов, который решает проблему фрагментированности тестирования. В статье "AgentBeats: Agentifying Agent Assessment for Openness, Standardization, and Reproducibility" авторы отмечают, что существующие бенчмарки часто зависят от фиксированных, ориентированных на LLM, тестовых фреймворков. Это создает несоответствие между тестовыми и производственными условиями, а также ограничивает справедливое сравнение различных архитектур агентов. arXiv · Оценка и бенчмарки Новые протоколы для оценки уверенности в многоагентных системах Исследователи из MIT и Стэнфорда предложили новый подход к оценке уверенности в многоагентных системах. В работе, опубликованной на arXiv, они демонстрируют, как агрегировать сигналы уверенности от нескольких агентов для повышения надежности и прозрачности принятия решений. arXiv · Память и RAG DEEPRUBRIC улучшает обучение ИИ-агентов через рубричное подкрепление Исследователи из MIT и других ведущих университетов представили DEEPRUBRIC — метод, который использует рубричное подкрепление для повышения эффективности обучения ИИ-агентов, специализирующихся на создании длинных отчетов. В основе метода лежит использование дерева доказательств, которое помогает агентам анализировать и синтезировать информацию из различных источников. arXiv · Память и RAG Новый бенчмарк для клинического QA с доказательствами Исследователи представили EHRNote-ChatQA — бенчмарк для оценки систем, способных отвечать на сложные медицинские вопросы с опорой на доказательства. Он основан на выписках пациентов (discharge summaries), которые содержат ключевую информацию о госпитализации и используются врачами для принятия решений. arXiv · Исследования и наука EurekAgent: как ИИ-агенты автоматизируют научные открытия Исследователи из MIT и других ведущих университетов представили EurekAgent — фреймворк, который демонстрирует, как LLM-основанные агенты могут автоматизировать научные открытия. В статье, опубликованной на arXiv, авторы показывают, что при наличии оптимизируемого метрика и подходящей среды выполнения, агенты способны предлагать, проверять и итерировать научные решения, превосходя человеческие подходы. Microsoft Research · Память и RAG SocialReasoning-Bench: как ИИ-агенты действуют в интересах пользователей Исследователи из Microsoft представили SocialReasoning-Bench — новый бенчмарк, который оценивает способность ИИ-агентов действовать в интересах пользователей. В ходе тестирования различных моделей выяснилось, что хотя агенты демонстрируют компетентность в выполнении задач, они не всегда способны улучшать положение пользователя, даже при явных инструкциях оптимизировать свои действия. arXiv · Оценка и бенчмарки Как аудит решений улучшает прозрачность оценки ИИ Исследователи из MIT и других ведущих университетов предложили новый подход к аудиту публичных оценок ИИ-моделей. В статье, опубликованной на arXiv, они утверждают, что текущие рейтинги ИИ часто воспринимаются как окончательные, но на самом деле они представляют собой выборочные временные ряды, искажённые правилами отчётности, пересмотром бенчмарков и пропусками данных. arXiv · Исследования и наука Новый метод для мультимодального разрешения кореферентности без предварительного обучения Исследователи предложили новый подход Plug-and-Adapt для мультимодального разрешения кореферентности (MCR), который не требует предварительного обучения на аннотированных данных. В статье на arXiv показано, что визуальная информация помогает устранять неоднозначности в тексте, что значительно повышает точность системы. arXiv · Оркестрация агентов OrchRM: самонастраиваемая оркестрация для ИИ-агентов Исследователи предложили OrchRM — фреймворк для самонастраиваемой оркестрации ИИ-агентов. Проблема в том, что традиционные подходы требуют ручного аннотирования и дорогостоящих вычислений. OrchRM решает это, используя самонастраиваемую модель вознаграждений, которая оценивает качество оркестрации без участия человека. Hacker News · Оценка и бенчмарки Как оценивают LLM-судей с помощью возмущающих тестов Компания Forus представила метод оценки LLM-судей на основе возмущающих тестов. Подход позволяет проверять устойчивость моделей к различным типам искажений и ошибок, что критично для их использования в агентных системах.

← Все материалы