arXiv · 04.08.2026 ·Оценка и бенчмарки

VetScore: метод оценки достоверности ответов ИИ в ветеринарной медицине

Исследователи представили VetScore — новый метод многоэтапной оценки качества ответов LLM в ветеринарии. Инструмент направлен на проверку фактической точности сгенерированного контента относительно предоставленных источников. В высокорискованных областях, таких как медицина, использование цитат не гарантирует верность утверждений, поэтому VetScore вводит систему оценки рисков, минимизирующую вероятность галлюцинаций и повышающую надежность ответов на сложные вопросы.

Методология решает проблему «верности» (faithfulness) модели исходным данным. Даже при наличии ссылок на авторитетные источники, языковые модели часто допускают логические ошибки или неверно интерпретируют контекст. VetScore разбивает процесс верификации на несколько этапов, анализируя соответствие каждого утверждения в длинном ответе конкретным фрагментам цитируемых документов. Это позволяет выявлять несоответствия, которые пропускают стандартные метрики.

Разработка особенно актуальна для автоматизированных систем поддержки принятия врачебных решений, где цена ошибки критически высока. Метод позволяет количественно измерить риск того, что модель исказила информацию из базы знаний, обеспечивая более строгий контроль качества в специализированных RAG-системах (Retrieval-Augmented Generation).

Ключевые факты

VetScore разработан для верификации длинных ответов (long-form QA) в ветеринарной медицине.
Метод использует взвешенную оценку рисков для проверки соответствия утверждений модели цитируемым источникам.
Система направлена на снижение галлюцинаций в высокорискованных доменах, где важна точность медицинской информации.
Подход позволяет автоматизировать контроль качества в RAG-системах, работающих с узкоспециализированными базами знаний.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Разработка и инструменты Инструмент для детерминированной проверки цитат в ответах LLM Разработчик представил Verbatimeter — инструмент для верификации точности цитирования в ответах языковых моделей. Решение использует детерминированный подход для выявления галлюцинаций, сравнивая сгенерированный текст с исходными источниками. Это позволяет автоматизировать контроль качества контента и минимизировать риск появления вымышленных высказываний, что критически важно для систем, работающих с фактологическими данными и документацией. arXiv · Оценка и бенчмарки EG-VQA: новый бенчмарк для проверки видео-LLM через временную привязку Исследователи представили EG-VQA — новый бенчмарк для оценки видео-LLM, который фокусируется не только на правильности ответов, но и на способности моделей находить подтверждающие фрагменты в видеоряде. В отличие от существующих тестов, EG-VQA требует от ИИ обосновывать свои выводы конкретными временными интервалами, что позволяет выявить пробелы в понимании динамических событий и причинно-следственных связей. Hacker News · Оценка и бенчмарки Инструмент для оценки ответов ИИ-агентов с помощью LLM и разметки Разработчик представил Verdict — open-source инструмент для оценки качества ответов ИИ-агентов. Решение позволяет комбинировать автоматическую проверку через LLM-судей и ручную разметку данных пользователями. Система помогает отслеживать точность выполнения задач агентами, предоставляя структурированный интерфейс для анализа результатов и сравнения эффективности различных промптов или моделей в рамках агентных пайплайнов. Hacker News · Разработка и инструменты Verbatimeter: инструмент для проверки фактологической точности RAG-систем Verbatimeter — это новый инструмент для оценки качества RAG-систем, который измеряет «буквальную обоснованность» ответов модели. Библиотека сопоставляет сгенерированный текст с исходными документами, выявляя, насколько точно агент опирается на предоставленный контекст. Это помогает разработчикам автоматизировать проверку галлюцинаций и контролировать соответствие ответов ИИ-агента предоставленным данным в реальных проектах. arXiv · Оценка и бенчмарки Новый бенчмарк для оценки коррекции заблуждений в медицинских диалогах с LLM Исследователи представили новый метод оценки способности больших языковых моделей распознавать и исправлять ложные медицинские убеждения пациентов в ходе многоходовых диалогов. Текущие системы часто игнорируют ошибочные предпосылки в запросах, что создает риски при использовании ИИ в здравоохранении. Новый подход фокусируется на безопасности коммуникации и точности корректирующей обратной связи в сложных клинических сценариях. arXiv · Машинное обучение ToolSciVer: новый подход к проверке научных утверждений с помощью мультимодальных агентов Исследователи представили ToolSciVer — систему для проверки научных гипотез, объединяющую визуальный анализ и обучение с подкреплением. Модель эффективно извлекает данные из графиков, таблиц и схем в научных статьях, решая проблему нехватки точности при интерпретации визуального контента. Метод позволяет агентам автономно находить доказательства и выстраивать логические цепочки для верификации сложных утверждений. Hacker News · Оценка и бенчмарки Проблема галлюцинаций при атрибуции сущностей в клинических RAG-системах Исследователи выявили критическую уязвимость в RAG-системах, используемых в медицине: модели склонны к «обманчивому обоснованию» (deceptive grounding). При работе с клиническими данными ИИ часто приписывает факты неверным сущностям, даже если извлекает информацию из корректных источников. Это создает риск генерации ложных медицинских заключений, которые выглядят достоверно из-за наличия ссылок на реальные документы. arXiv · Оценка и бенчмарки Масштабируемая и надежная автоматизированная оценка ответов LLM Исследователи представили новый подход к автоматизированной оценке качества и релевантности ответов больших языковых моделей. Метод решает проблему зависимости от эталонных текстов, позволяя оценивать сложные и вариативные генерации без необходимости в жестких референсах. Это открывает путь к более эффективному тестированию моделей в областях, где отсутствуют готовые объективные бенчмарки и требуется высокая точность оценки. Hacker News · Оценка и бенчмарки Почему RAG-системы требуют обязательного тестирования Разработка RAG-систем без внедрения системы оценки (evals) приводит к непредсказуемым результатам и невозможности масштабирования продукта. Автор статьи подчеркивает, что тестирование качества ответов — это не прерогатива крупных корпораций, а критический этап разработки, позволяющий объективно измерять точность поиска и генерации, а также предотвращать деградацию системы при внесении изменений в пайплайн. Hacker News · Оценка и бенчмарки PatentScore: новый метод оценки качества патентных формул от LLM Исследователи представили PatentScore — специализированный фреймворк для оценки патентных формул, созданных большими языковыми моделями. Система анализирует тексты по нескольким измерениям, включая юридическую точность, полноту описания и соответствие стандартам патентного права. Инструмент позволяет автоматизировать проверку качества генераций, снижая риски при использовании ИИ в юридической практике и интеллектуальной собственности.

← Все материалы