arXiv · 30.06.2026 ·Машинное обучение

Метод обучения ASR-моделей для языков банту с учетом тональности

Исследователи представили новый метод обучения систем распознавания речи (ASR) для шести южноафриканских языков группы банту. Использование фреймворка с обучением по учебной программе (curriculum learning), учитывающего тональные особенности речи, позволило значительно улучшить точность моделей, которые ранее демонстрировали крайне низкие показатели при работе с данными языками в режиме zero-shot.

Проблема распознавания языков банту заключается в их тональной природе, где изменение высоты звука меняет значение слова. Стандартные предобученные модели часто не справляются с этой спецификой, выдавая высокий уровень ошибок (WER). Новый подход объединяет гибридную систему оценки сложности аудиоданных и специализированные адаптеры, которые настраиваются на основе статистических данных о тонах конкретного языка.

Процесс обучения разбит на несколько этапов, что позволяет модели постепенно адаптироваться к лингвистическим нюансам. Такой подход критически важен для обеспечения доступности государственных услуг и образовательных технологий для более чем 80 миллионов носителей этих языков, для которых ранее не существовало качественных решений по автоматической транскрипции речи.

Ключевые факты

Разработан фреймворк для 6 языков южной группы банту, ранее имевших критически низкое качество распознавания.
Метод использует гибридную систему оценки сложности данных и gated-адаптеры, управляемые статистикой тонов.
Внедрена стратегия поэтапного обучения (curriculum learning) для повышения точности моделей в условиях дефицита данных.
Решение направлено на преодоление порога WER выше 100%, характерного для текущих foundation-моделей при работе с данными языками.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Новый метод дообучения моделей речи для специфичных задач Исследователи предложили новый подход к дообучению foundation-моделей речи, которые изначально обучаются на больших объёмах неразмеченных данных. Такие модели создают универсальные представления, полезные для разных задач, но при этом кодируют информацию о ключевых переменных речи распределённо. Это означает, что для конкретных задач требуется только часть этой информации. Hacker News · Память и RAG ASR-модель распознаёт не только слова, но и эмоции и намерения Компания Whissle представила новую ASR-модель, способную не только транскрибировать речь, но и анализировать эмоции и намерения говорящего. Это позволяет использовать её для более глубокого понимания контекста в реальном времени. Модель обрабатывает аудио за 200 миллисекунд, что делает её одной из самых быстрых на рынке. arXiv · Машинное обучение ROMEVA: новый метод адаптации словарей для языков с низкой представленностью Исследователи представили метод ROMEVA (Roman Urdu Embedding-preserving Vocabulary Adaptation), направленный на улучшение работы мультиязычных моделей с языками, имеющими нестабильную морфологию и написание. В качестве примера авторы рассматривают романский урду — язык, где отсутствие единых стандартов орфографии приводит к избыточной фрагментации токенов. В стандартных моделях вроде mBERT это создает проблему, при которой один токен разбивается в среднем на 1,5 подслова, что снижает эффективность обработки текста. arXiv · Машинное обучение Двухэтапная модель распознавания и перевода жестового языка Исследователи представили архитектуру глубокого обучения для автоматического распознавания жестового языка по видео и его последующего перевода на региональные языки Индии. Система решает проблему дефицита инструментов для слабослышащих людей, использующих редкие и малоресурсные языки, для которых стандартные решения на базе ИИ часто недоступны. Hugging Face - Blog · Оценка и бенчмарки Hugging Face представила бенчмарк FFASR для оценки систем распознавания речи в реальных условиях Hugging Face запустила FFASR (Free-Form Automatic Speech Recognition) — новый лидерборд для оценки качества систем распознавания речи в сложных акустических условиях. В отличие от классических тестов, ориентированных на идеальную запись, FFASR фокусируется на реальных сценариях с фоновым шумом, акцентами и спонтанной речью, что позволяет точнее измерять применимость моделей в реальных продуктах. arXiv · Исследования и наука Dziri Voicebot: система распознавания речи для алжирского диалекта Исследователи представили Dziri Voicebot — комплексную систему преобразования речи в речь (S2S), разработанную специально для алжирского диалекта. Проект решает проблему нехватки данных для низкоресурсных языков, преодолевая сложности отсутствия стандартизированной орфографии и частого переключения кодов между арабским и французским языками, что открывает новые возможности для развития разговорного ИИ в региональных лингвистических контекстах. arXiv · Машинное обучение LEAF-X: новый фреймворк для объяснения работы трансформеров в ASR Исследователи из MIT и других университетов представили LEAF-X — фреймворк для объяснения работы трансформерных моделей автоматического распознавания речи (ASR), таких как Whisper. Эти модели демонстрируют высокую точность, но их предсказания остаются «чёрными ящиками». Существующие методы объяснения ИИ (XAI) часто страдают от несоответствия между объяснениями и реальной работой модели, а также от отсутствия точной временной привязки. arXiv · Машинное обучение AMR: новый метод адаптивной маршрутизации модальностей для идентификации спикеров Исследователи представили метод Adaptive Modality Routing (AMR), решающий проблемы идентификации спикеров в сложных условиях. Система эффективно работает при неполных данных, фоновом шуме и языковых различиях между этапами обучения и тестирования. Алгоритм динамически переключает приоритеты между аудио- и визуальными модальностями, что позволяет сохранять высокую точность распознавания даже в многопользовательских сценариях с перекрывающейся речью. arXiv · Машинное обучение Новый подход к байесовскому обучению в контексте Исследователи представили метод Multi-Task Bayesian In-Context Learning, направленный на улучшение работы языковых моделей с неопределенностью и обобщением данных. Традиционные методы байесовского вывода часто сталкиваются с вычислительными сложностями или требуют жестких ограничений, которые снижают точность предсказаний. Новый подход предлагает более эффективную альтернативу, объединяя принципы байесовского вывода с возможностями обучения в контексте (in-context learning). arXiv · Машинное обучение Метод ZEBRA улучшает обобщающую способность аудио-языковых моделей Исследователи представили метод ZEBRA, решающий проблему деградации аудио-языковых моделей при переходе от базовых классов к новым. Традиционное обучение промптов часто снижает точность на неизученных данных, однако ZEBRA использует регуляризацию энтропии для сохранения стабильности. Это позволяет моделям эффективно адаптироваться к новым категориям, не теряя при этом производительности на уже известных объектах в режиме zero-shot.

← Все материалы