arXiv · 17.06.2026 ·Оценка и бенчмарки

Представлен бенчмарк IndicContextEval для оценки AudioLLM

Исследователи разработали IndicContextEval — специализированный набор тестов для проверки того, как аудио-языковые модели (AudioLLM) используют предоставленный контекст при распознавании речи. Актуальность работы обусловлена тем, что современные системы часто полагаются на внутренние знания, полученные при обучении, а не на актуальные текстовые подсказки, такие как списки сущностей или описания предметных областей.

Бенчмарк охватывает восемь языков индийской языковой группы и фокусируется на способности моделей динамически адаптироваться к внешним данным. В отличие от существующих методов тестирования, которые оценивают точность транскрипции в статичных условиях, IndicContextEval требует от модели доказательств того, что она действительно учитывает специфический контекст, предоставленный пользователем в промпте.

Результаты тестирования показывают, что многие современные модели демонстрируют ограниченную эффективность в использовании контекстуальных подсказок, предпочитая опираться на вероятностные закономерности языка. Новый инструмент позволяет разработчикам более точно измерять качество работы систем распознавания речи в сценариях, требующих высокой точности передачи терминологии и специфических лексических единиц.

Источник: arXiv

Похожие материалы

arXiv · Память и RAG ContextRL: контекст-осознанное обучение для улучшения работы ИИ-агентов Исследователи из MIT и других ведущих университетов представили новый метод ContextRL, который улучшает способность языковых моделей (LLM) работать с длинными и сложными контекстами. Проблема заключается в том, что традиционные LLM часто не могут выделить ключевые детали в объемных данных, будь то строка в логах или мелкий элемент на изображении. ContextRL использует методы подкрепляющего обучения (RL), чтобы улучшить долгосрочное рассуждение и работу с мультимодальными данными. arXiv · Оценка и бенчмарки Новый метод борьбы с предвзятостью LLM-судей при оценке качества ответов Исследователи представили новый подход к оценке больших языковых моделей, использующих другие LLM в качестве «судей». Текущие системы автоматической оценки часто страдают от систематических искажений, не связанных с качеством контента. Наиболее выраженной проблемой является «предвзятость к многословию»: модели склонны завышать оценки длинным ответам, даже если они менее точны или информативны, чем краткие варианты. Hacker News · Оценка и бенчмарки Почему современные бенчмарки LLM теряют актуальность Существующие методы оценки больших языковых моделей все чаще подвергаются критике из-за несоответствия реальным задачам пользователей. Традиционные бенчмарки, основанные на статических наборах вопросов и ответов, перестали быть надежным индикатором качества работы ИИ. Проблема заключается в том, что модели обучаются на огромных массивах данных, которые часто включают в себя сами тестовые задания. Это приводит к «зазубриванию» ответов и завышению показателей, которые не отражают реальную способность системы к рассуждению или решению нестандартных проблем. arXiv · Оценка и бенчмарки Новый бенчмарк для оценки работы языковых моделей в диагностических диалогах Исследователи представили DiagFlowBench — новый бенчмарк для оценки способности языковых моделей обрабатывать запросы, выходящие за рамки стандартных процедур в диагностических диалогах. Языковые модели всё чаще используются в системах поддержки технического обслуживания, где важно избежать генерации некорректной информации (hallucination). Для этого модели привязывают к официальной документации, чтобы они следовали только утверждённым шагам. Hacker News · Машинное обучение Почему стандартная метрика WER не подходит для языков Индии Разработчики систем распознавания речи (ASR) столкнулись с ограничением стандартной метрики Word Error Rate (WER) при работе с индийскими языками. Традиционный подход, основанный на подсчете ошибок в словах, не учитывает лингвистические особенности региона, где структура предложений, морфология и использование заимствований из английского языка создают специфические сложности для алгоритмов. Hacker News · Оценка и бенчмарки Представлен бенчмарк для оценки качества ИИ в теологическом консультировании Исследователи представили FMG-Bench — специализированный набор данных и методологию для оценки способности больших языковых моделей выступать в роли духовных наставников. Инструмент предназначен для проверки того, насколько корректно и этично ИИ справляется с теологическими вопросами и предоставлением пастырских рекомендаций в сложных жизненных ситуациях. Hacker News · Оценка и бенчмарки BEAVER: новый бенчмарк для оценки LLM в Text-to-SQL Исследователи представили BEAVER — новый бенчмарк для оценки способности языковых моделей (LLM) преобразовывать текстовые запросы в SQL. Это важный шаг в развитии ИИ-агентов, которые могут работать с базами данных, так как Text-to-SQL является критически важной задачей для автоматизации аналитики и управления данными. arXiv · Исследования и наука ChLogic: тестирование логического мышления моделей на китайском Исследователи представили новый бенчмарк ChLogic, который оценивает способность языковых моделей сохранять логическое мышление при работе с китайскими выражениями. В отличие от английских тестов, ChLogic проверяет, как модели справляются с логическими структурами, представленными на китайском языке. arXiv · Исследования и наука Исследование: как ИИ-модели теряют когнитивные способности в длительных диалогах Новое исследование на arXiv обращает внимание на проблему когнитивного увядания (cognitive atrophy) в поведении больших языковых моделей (LLM). Авторы отмечают, что существующие бенчмарки оценивают знания, безопасность и качество ответов, но не учитывают, как модели ведут себя в длительных, эмоционально насыщенных диалогах. Hacker News · Оценка и бенчмарки LifeSciBench: новый стандарт оценки LLM в области наук о жизни Исследователи представили LifeSciBench — специализированный бенчмарк для оценки возможностей больших языковых моделей в решении задач экспертного уровня в биологии, химии и медицине. В отличие от общих тестов, этот набор данных сфокусирован на проверке способности моделей работать с узкоспециализированной научной терминологией, анализировать молекулярные структуры и интерпретировать сложные экспериментальные данные.

← Все материалы