arXiv · 07.07.2026 ·Машинное обучение

Кросс-языковое обучение для улучшения распознавания речи в малоресурсных языках

Исследователи представили метод улучшения систем автоматического распознавания речи (ASR) для дивехи — государственного языка Мальдивских островов, для которого критически не хватает обучающих данных. Авторы использовали стратегию кросс-языкового переноса знаний (transfer learning) на основе сингальского языка, который лингвистически близок к дивехи и обладает значительно большими объемами доступных речевых корпусов для обучения моделей.

В рамках работы было проведено 17 различных экспериментов, охватывающих пять парадигм обучения с переносом. Целью исследования было определить, насколько эффективно модель, обученная на более обеспеченном ресурсами языке, может адаптироваться к специфике малоресурсного языка при ограниченном объеме целевых данных. Результаты показывают, что использование родственных языков в качестве «доноров» данных позволяет существенно повысить точность распознавания речи, снижая порог вхождения для создания качественных NLP-инструментов для редких языков.

Данный подход открывает новые возможности для развития технологий распознавания речи в регионах, где создание масштабных размеченных датасетов затруднено из-за экономических или демографических факторов. Использование лингвистической близости между языками индоарийской группы позволяет эффективно масштабировать существующие архитектуры ASR без необходимости сбора огромных массивов первичных аудиоданных.

Ключевые факты

Исследование сфокусировано на дивехи, языке с дефицитом ресурсов для обучения систем распознавания речи.
В качестве источника для переноса знаний выбран сингальский язык, относящийся к той же группе индоарийских языков.
Проведено 17 экспериментальных итераций, протестировано 5 различных парадигм обучения с переносом.
Метод доказывает эффективность использования лингвистически родственных языков для преодоления проблемы нехватки данных в ASR-системах.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Двухэтапная модель распознавания и перевода жестового языка Исследователи представили архитектуру глубокого обучения для автоматического распознавания жестового языка по видео и его последующего перевода на региональные языки Индии. Система решает проблему дефицита инструментов для слабослышащих людей, использующих редкие и малоресурсные языки, для которых стандартные решения на базе ИИ часто недоступны. arXiv · Машинное обучение ROMEVA: новый метод адаптации словарей для языков с низкой представленностью Исследователи представили метод ROMEVA (Roman Urdu Embedding-preserving Vocabulary Adaptation), направленный на улучшение работы мультиязычных моделей с языками, имеющими нестабильную морфологию и написание. В качестве примера авторы рассматривают романский урду — язык, где отсутствие единых стандартов орфографии приводит к избыточной фрагментации токенов. В стандартных моделях вроде mBERT это создает проблему, при которой один токен разбивается в среднем на 1,5 подслова, что снижает эффективность обработки текста. arXiv · Исследования и наука Dziri Voicebot: система распознавания речи для алжирского диалекта Исследователи представили Dziri Voicebot — комплексную систему преобразования речи в речь (S2S), разработанную специально для алжирского диалекта. Проект решает проблему нехватки данных для низкоресурсных языков, преодолевая сложности отсутствия стандартизированной орфографии и частого переключения кодов между арабским и французским языками, что открывает новые возможности для развития разговорного ИИ в региональных лингвистических контекстах. arXiv · Машинное обучение Метод обучения ASR-моделей для языков банту с учетом тональности Исследователи представили новый метод обучения систем распознавания речи (ASR) для шести южноафриканских языков группы банту. Использование фреймворка с обучением по учебной программе (curriculum learning), учитывающего тональные особенности речи, позволило значительно улучшить точность моделей, которые ранее демонстрировали крайне низкие показатели при работе с данными языками в режиме zero-shot. arXiv · Оценка и бенчмарки Стресс-тест OCR-моделей на текстах на языке деванагари Исследователи провели комплексное тестирование десяти систем распознавания текста, включая классические OCR-движки, специализированные OCR-VLM и мультимодальные LLM, на материалах на языке деванагари (хинди). Работа выявила значительный разрыв в качестве обработки индийских скриптов по сравнению с английским и китайским языками, а также предложила методы пост-коррекции для повышения точности распознавания сложных документов. Hacker News · Машинное обучение Почему стандартная метрика WER не подходит для языков Индии Разработчики систем распознавания речи (ASR) столкнулись с ограничением стандартной метрики Word Error Rate (WER) при работе с индийскими языками. Традиционный подход, основанный на подсчете ошибок в словах, не учитывает лингвистические особенности региона, где структура предложений, морфология и использование заимствований из английского языка создают специфические сложности для алгоритмов. arXiv · Машинное обучение Новый метод обучения речевых моделей без instruction tuning Исследователи представили метод, позволяющий речевым языковым моделям (SLM) следовать инструкциям без необходимости проведения дорогостоящего обучения с подкреплением или специфического instruction tuning. Авторы доказали, что композиционные способности моделей можно раскрыть через архитектурные оптимизации, избегая синтеза огромных массивов размеченных аудиоданных, что значительно упрощает адаптацию моделей для работы с голосовыми командами и сложными речевыми задачами. arXiv · Исследования и наука Разделение влияния языка и диктора в системах верификации голоса Исследователи представили новый подход к анализу систем кросс-языковой верификации дикторов, направленный на устранение ошибок при смене языка. Авторы работы выявили, что стандартные протоколы оценки часто смешивают языковые различия с индивидуальными особенностями голоса, и предложили методологию, позволяющую изолировать эти факторы для повышения точности биометрических систем в условиях мультиязычности. arXiv · Машинное обучение Новый метод дообучения моделей речи для специфичных задач Исследователи предложили новый подход к дообучению foundation-моделей речи, которые изначально обучаются на больших объёмах неразмеченных данных. Такие модели создают универсальные представления, полезные для разных задач, но при этом кодируют информацию о ключевых переменных речи распределённо. Это означает, что для конкретных задач требуется только часть этой информации. arXiv · Машинное обучение Анализ влияния текстовых инструкций на синтез речи в диффузионных моделях Исследователи представили метод интерпретации работы систем синтеза речи (TTS), управляемых текстовыми описаниями стиля. В современных моделях, использующих естественный язык для настройки характеристик голоса, долгое время оставалось неясным, какие именно слова в промпте определяют конкретные акустические параметры аудиовыхода. Понимание этой связи необходимо для диагностики ошибок генерации и повышения точности управления эмоциональной окраской речи.

← Все материалы