arXiv · 16.06.2026 ·Оценка и бенчмарки

Новый бенчмарк для оценки работы языковых моделей в диагностических диалогах

Исследователи представили DiagFlowBench — новый бенчмарк для оценки способности языковых моделей обрабатывать запросы, выходящие за рамки стандартных процедур в диагностических диалогах. Языковые модели всё чаще используются в системах поддержки технического обслуживания, где важно избежать генерации некорректной информации (hallucination). Для этого модели привязывают к официальной документации, чтобы они следовали только утверждённым шагам.

Однако на практике операторы часто задают вопросы, не связанные с текущей процедурой. В таких случаях модели должны уметь распознавать такие запросы и корректно на них реагировать. Существующие бенчмарки редко учитывают эту динамику, что ограничивает оценку реальной эффективности моделей в рабочих условиях.

DiagFlowBench направлен на заполнение этого пробела. Он включает сценарии, где операторы отклоняются от стандартных процедур, и оценивает, насколько хорошо модели справляются с такими ситуациями. Это поможет улучшить разработку систем поддержки, делая их более надёжными и адаптивными в реальных условиях эксплуатации.

Источник: arXiv

Похожие материалы

Hacker News · Оценка и бенчмарки Почему современные бенчмарки LLM теряют актуальность Существующие методы оценки больших языковых моделей все чаще подвергаются критике из-за несоответствия реальным задачам пользователей. Традиционные бенчмарки, основанные на статических наборах вопросов и ответов, перестали быть надежным индикатором качества работы ИИ. Проблема заключается в том, что модели обучаются на огромных массивах данных, которые часто включают в себя сами тестовые задания. Это приводит к «зазубриванию» ответов и завышению показателей, которые не отражают реальную способность системы к рассуждению или решению нестандартных проблем. Hacker News · Оценка и бенчмарки Представлен бенчмарк для оценки качества ИИ в теологическом консультировании Исследователи представили FMG-Bench — специализированный набор данных и методологию для оценки способности больших языковых моделей выступать в роли духовных наставников. Инструмент предназначен для проверки того, насколько корректно и этично ИИ справляется с теологическими вопросами и предоставлением пастырских рекомендаций в сложных жизненных ситуациях. Hacker News · Оценка и бенчмарки Models Pie: визуализация баланса скорости, цены и качества LLM Сервис Models Pie представил интерактивный инструмент для сравнения популярных языковых моделей на основе трех ключевых метрик: скорости генерации, стоимости токенов и качества ответов. Платформа агрегирует данные о производительности актуальных LLM, позволяя разработчикам и бизнесу подбирать оптимальное решение под конкретные задачи, где критически важен баланс между затратами на инференс и временем отклика. Hacker News · Оценка и бенчмарки RedlineBench: оценка навыков ИИ в ведении контрактных переговоров Исследователи представили RedlineBench — специализированный бенчмарк для оценки способности больших языковых моделей вести многоходовые переговоры по юридическим контрактам. В отличие от стандартных тестов на знание права, этот инструмент фокусируется на практическом применении навыков: умении аргументированно вносить правки, учитывать интересы сторон и достигать компромисса в условиях меняющихся требований. arXiv · Исследования и наука ChLogic: тестирование логического мышления моделей на китайском Исследователи представили новый бенчмарк ChLogic, который оценивает способность языковых моделей сохранять логическое мышление при работе с китайскими выражениями. В отличие от английских тестов, ChLogic проверяет, как модели справляются с логическими структурами, представленными на китайском языке. arXiv · Память и RAG Новый бенчмарк для клинического QA с доказательствами Исследователи представили EHRNote-ChatQA — бенчмарк для оценки систем, способных отвечать на сложные медицинские вопросы с опорой на доказательства. Он основан на выписках пациентов (discharge summaries), которые содержат ключевую информацию о госпитализации и используются врачами для принятия решений. Hacker News · Оценка и бенчмарки BEAVER: новый бенчмарк для оценки LLM в Text-to-SQL Исследователи представили BEAVER — новый бенчмарк для оценки способности языковых моделей (LLM) преобразовывать текстовые запросы в SQL. Это важный шаг в развитии ИИ-агентов, которые могут работать с базами данных, так как Text-to-SQL является критически важной задачей для автоматизации аналитики и управления данными. Hacker News · Модели и релизы GLM 5.2 показал высокие результаты в бенчмарках Новая версия модели GLM 5.2 продемонстрировала впечатляющие результаты в различных бенчмарках. Согласно последним тестам, модель превзошла своих предшественников по ряду ключевых метрик, включая точность и скорость обработки запросов. OpenAI News · Оценка и бенчмарки OpenAI представила LifeSciBench для оценки ИИ в науках о жизни OpenAI выпустила LifeSciBench — специализированный набор тестов для проверки способностей нейросетей в области биологии, химии и медицины. Бенчмарк был разработан и проверен экспертами, чтобы оценить, насколько эффективно модели справляются с реальными исследовательскими задачами и принятием решений в сфере наук о жизни. arXiv · Исследования и наука Исследование: как ИИ-модели теряют когнитивные способности в длительных диалогах Новое исследование на arXiv обращает внимание на проблему когнитивного увядания (cognitive atrophy) в поведении больших языковых моделей (LLM). Авторы отмечают, что существующие бенчмарки оценивают знания, безопасность и качество ответов, но не учитывают, как модели ведут себя в длительных, эмоционально насыщенных диалогах.

← Все материалы