arXiv · 13.07.2026 ·Оценка и бенчмарки

VoxENES 2026: новый бенчмарк для проверки детекторов синтезированной речи

Исследователи представили VoxENES 2026 — специализированный бенчмарк для оценки устойчивости систем обнаружения дипфейков и синтезированной речи. Инструмент решает проблему устаревания существующих тестов, которые не учитывают возможности современных LLM-моделей для клонирования голоса и преобразования речи, что часто приводит к ложной уверенности в надежности систем безопасности при работе с реальными угрозами.

Современные системы генерации речи на базе больших языковых моделей создают аудио, которое значительно отличается от образцов, использовавшихся в классических датасетах для обучения детекторов. Этот разрыв в обобщающей способности моделей создает уязвимости: системы защиты показывают высокую точность на старых тестах, но пропускают атаки, выполненные с помощью актуальных инструментов TTS (Text-to-Speech) и VC (Voice Conversion).

VoxENES 2026 включает двуязычный набор данных, охватывающий английский и испанский языки, и фокусируется на проверке детекторов в условиях реальной постобработки аудио. Авторы подчеркивают, что использование актуальных данных необходимо для объективной оценки того, насколько эффективно алгоритмы распознают подделки, созданные с помощью новейших генеративных архитектур, которые стали доступны широкому кругу пользователей.

Ключевые факты

VoxENES 2026 разработан для устранения «временного разрыва» в обобщающей способности детекторов синтезированной речи.
Бенчмарк содержит данные на двух языках: английском и испанском.
Основная цель проекта — выявление уязвимостей систем безопасности перед лицом современных LLM-ориентированных инструментов TTS и VC.
Исследование подтверждает, что старые бенчмарки переоценивают устойчивость детекторов к реальным атакам из-за несовпадения характеристик синтеза.
Работа опубликована на платформе arXiv и ориентирована на повышение стандартов кибербезопасности в области верификации голоса.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Оценка и бенчмарки SpeechEQ: новый бенчмарк для оценки эмоционального интеллекта голосовых ИИ Исследователи представили SpeechEQ — специализированный бенчмарк для оценки эмоционального интеллекта в мультимодальных голосовых моделях. В отличие от существующих тестов, анализирующих только текст или акустику по отдельности, SpeechEQ фокусируется на кросс-модальном понимании паралингвистических сигналов. Это позволяет точнее измерять способность ИИ распознавать социальные нюансы и контекст в живом диалоге, что критически важно для естественного взаимодействия. Hacker News · Оценка и бенчмарки Представлен Eot-bench для оценки точности определения конца фразы в голосовом ИИ Разработчики представили Eot-bench — открытый набор инструментов для тестирования систем распознавания речи и голосовых интерфейсов. Основная задача бенчмарка заключается в оценке качества работы алгоритмов End-of-Turn (EoT), которые определяют момент завершения реплики пользователя. Точность этого процесса критически важна для естественного взаимодействия с ИИ, так как ошибки приводят к преждевременным прерываниям или неоправданным задержкам в ответе. Hacker News · Оценка и бенчмарки Запуск индекса Speech-to-Speech от Artificial Analysis Аналитическая платформа Artificial Analysis представила новый бенчмарк для оценки систем преобразования речи в речь (Speech-to-Speech). Индекс позволяет сравнивать современные модели по ключевым метрикам: задержке ответа, качеству генерации и стоимости обработки запросов. Это первый стандартизированный инструмент для оценки производительности агентных систем, использующих голосовой интерфейс в реальном времени. arXiv · Оценка и бенчмарки Представлен CN-NewsTTS Bench для оценки качества синтеза речи в китайских новостях Исследователи выпустили CN-NewsTTS Bench v0.1 — специализированный бенчмарк для оценки систем преобразования текста в речь (TTS) при работе с китайским новостным контентом. Набор данных фокусируется на сложных лингвистических конструкциях, таких как аббревиатуры, смешанные буквенно-цифровые обозначения и специфические символы, которые часто вызывают ошибки в произношении у современных моделей синтеза. Hacker News · Оценка и бенчмарки Запущен IOL-AI 2026: бенчмарк для проверки способностей LLM к лингвистическому анализу Организаторы Международной лингвистической олимпиады представили IOL-AI 2026 — специализированный бенчмарк для оценки способностей языковых моделей к решению сложных лингвистических задач. В отличие от стандартных тестов на знание грамматики, этот набор данных требует от ИИ навыков логического вывода, дедукции и способности выявлять закономерности в незнакомых языковых системах, имитируя реальные олимпиадные задания. arXiv · Оценка и бенчмарки SPEARBench: новый стандарт оценки естественности потоковых S2S-моделей Исследователи представили SPEARBench — специализированный бенчмарк для оценки качества потоковых моделей преобразования речи в речь (Speech-to-Speech). В отличие от классических метрик, ориентированных на точность транскрипции, этот инструмент фокусируется на естественности диалога, включая тайминги, очередность реплик, просодию и контекстуальную уместность, что критически важно для создания человекоподобных голосовых ИИ-ассистентов в реальном времени. arXiv · Исследования и наука WordVoice: новый метод точного управления интонацией в TTS-системах на базе LLM Исследователи представили WordVoice — архитектуру для TTS-систем, позволяющую детально управлять характеристиками речи на уровне отдельных слов. В отличие от стандартных end-to-end моделей, работающих с общим контекстом, WordVoice разделяет лингвистическую информацию и акустические параметры, обеспечивая точный контроль над темпом, высотой тона и эмоциональной окраской без потери естественности звучания синтезированного голоса. arXiv · Оценка и бенчмарки Новый бенчмарк Adversarial Pragmatics для оценки безопасности LLM Исследователи представили бенчмарк Adversarial Pragmatics, предназначенный для глубокого анализа безопасности языковых моделей. В отличие от традиционных тестов, которые сводят результаты к бинарным оценкам «прошел/не прошел», этот инструмент фокусируется на сложных лингвистических сценариях: конфликтах инструкций, скрытых командах и двусмысленности политик безопасности. Это позволяет точнее выявлять причины сбоев в поведении моделей при выполнении агентных задач. arXiv · Оценка и бенчмарки Представлен бенчмарк IndicContextEval для оценки AudioLLM Исследователи разработали IndicContextEval — специализированный набор тестов для проверки того, как аудио-языковые модели (AudioLLM) используют предоставленный контекст при распознавании речи. Актуальность работы обусловлена тем, что современные системы часто полагаются на внутренние знания, полученные при обучении, а не на актуальные текстовые подсказки, такие как списки сущностей или описания предметных областей. Hugging Face - Blog · Оценка и бенчмарки Hugging Face представила бенчмарк FFASR для оценки систем распознавания речи в реальных условиях Hugging Face запустила FFASR (Free-Form Automatic Speech Recognition) — новый лидерборд для оценки качества систем распознавания речи в сложных акустических условиях. В отличие от классических тестов, ориентированных на идеальную запись, FFASR фокусируется на реальных сценариях с фоновым шумом, акцентами и спонтанной речью, что позволяет точнее измерять применимость моделей в реальных продуктах.

← Все материалы