arXiv · 10.07.2026 ·Исследования и наука

Решение проблемы деградации моделей распознавания речи для бенгальского языка

Исследователи представили метод «трансплантации токенизатора» для борьбы с авторегрессионным коллапсом в компактных моделях распознавания речи (ASR). Проблема возникает при адаптации архитектур, оптимизированных под английский язык, для морфологически богатых языков, таких как бенгальский. Замена стандартного байтового токенизатора на специализированный позволяет избежать фрагментации слов и значительно повышает точность работы моделей на периферийных устройствах.

Эффективные архитектуры, такие как Moonshine, часто демонстрируют низкую производительность на нелатинских языках из-за высокой «плодовитости» токенов. В бенгальском языке стандартные байтовые методы разбивают слова на чрезмерно длинные цепочки, что перегружает модель и приводит к потере контекста. Новый подход адаптирует структуру токенизации под специфику морфологии целевого языка, сохраняя при этом легковесность модели, необходимую для запуска на edge-устройствах.

Метод трансплантации позволяет переиспользовать предобученные веса энкодера и декодера, меняя только слой эмбеддингов и токенизатор. Это значительно дешевле, чем обучение модели распознавания речи с нуля, и позволяет быстро адаптировать современные решения для широкого спектра региональных языков, сохраняя высокую скорость инференса и низкое потребление памяти.

Ключевые факты

Основная причина сбоев — использование английских байтовых токенизаторов, вызывающих фрагментацию слов.
Метод «трансплантации токенизатора» позволяет адаптировать архитектуры типа Moonshine без полного переобучения.
Решение оптимизировано для работы на edge-устройствах с ограниченными вычислительными ресурсами.
Исследование сфокусировано на преодолении авторегрессионного коллапса в языках с высокой морфологической сложностью.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Метод обучения ASR-моделей для языков банту с учетом тональности Исследователи представили новый метод обучения систем распознавания речи (ASR) для шести южноафриканских языков группы банту. Использование фреймворка с обучением по учебной программе (curriculum learning), учитывающего тональные особенности речи, позволило значительно улучшить точность моделей, которые ранее демонстрировали крайне низкие показатели при работе с данными языками в режиме zero-shot. Hacker News · Исследования и наука Новый метод Dispersion Loss для борьбы с конденсацией эмбеддингов в малых LLM Исследователи предложили метод Dispersion Loss, решающий проблему «конденсации» эмбеддингов в малых языковых моделях. При обучении компактных моделей векторы слов часто схлопываются в узкие кластеры, что снижает качество генерации. Новый подход принудительно разносит эмбеддинги в пространстве, повышая выразительность модели без увеличения количества параметров, что критически важно для эффективного обучения легковесных архитектур. arXiv · Машинное обучение Оптимизация инференса LLM через адаптивную глубину декодирования Исследователи представили метод Depth Exploration, оптимизирующий процесс генерации токенов в авторегрессионных моделях. Вместо прогона каждого токена через все слои нейросети, система динамически определяет глубину вычислений, необходимую для уверенного предсказания. Это позволяет существенно сократить вычислительные затраты при сохранении точности, так как многие токены становятся предсказуемыми на промежуточных этапах обработки данных внутри архитектуры модели. arXiv · Исследования и наука Решение проблемы дрейфа временных меток в современных ASR-системах Исследователи представили метод коррекции дрейфа временных меток в авторегрессионных системах автоматического распознавания речи (ASR). Проблема возникает при длительных паузах, когда модель теряет синхронизацию с аудиопотоком. Новый подход, основанный на редактировании распределения с использованием повторного воспроизведения данных, позволяет корректировать тайминги без необходимости дополнительного выравнивания или сложной постобработки, сохраняя при этом точность транскрипции. MarkTechPost · Модели и релизы Interfaze представила diffusion-gemma-asr-small: модель распознавания речи на базе диффузии Компания Interfaze выпустила open-source модель diffusion-gemma-asr-small, которая использует диффузионный подход вместо традиционной авторегрессии для транскрибации аудио. Решение базируется на замороженной архитектуре DiffusionGemma от Google и дополняется компактным адаптером. Инновация позволяет перевести процесс распознавания речи в параллельный формат, где стоимость вычислений зависит от количества шагов шумоподавления, а не от длительности аудиозаписи. arXiv · Машинное обучение Новый метод обучения речевых моделей без instruction tuning Исследователи представили метод, позволяющий речевым языковым моделям (SLM) следовать инструкциям без необходимости проведения дорогостоящего обучения с подкреплением или специфического instruction tuning. Авторы доказали, что композиционные способности моделей можно раскрыть через архитектурные оптимизации, избегая синтеза огромных массивов размеченных аудиоданных, что значительно упрощает адаптацию моделей для работы с голосовыми командами и сложными речевыми задачами. arXiv · Инференс и железо Оптимизация инференса через метод Relaxed Speculative Decoding Исследователи представили метод Relaxed Speculative Decoding, который ускоряет генерацию текста LLM за счет отказа от строгого соответствия распределению вероятностей исходной модели. В отличие от классического спекулятивного декодирования, этот подход допускает контролируемые отклонения при проверке токенов, что позволяет значительно повысить скорость инференса без необходимости дополнительного обучения вспомогательных моделей. arXiv · Исследования и наука Исследование DiaLLM: почему LLM понимают диалекты, но не говорят на них Исследователи представили DiaLLM — метод адаптации языковых моделей к региональным диалектам английского языка. Несмотря на способность современных LLM распознавать диалектную речь, они по-прежнему генерируют ответы преимущественно на стандартном американском английском. Авторы работы применили непрерывное дообучение на корпусе International Corpus of English, чтобы сократить разрыв между пониманием диалектов и их воспроизведением в генерации. arXiv · Машинное обучение Новый метод декодирования для борьбы с повторами в LLM Исследователи представили метод Variance-Calibrated Modulation (VCM), направленный на устранение проблемы «ловушки правдоподобия» при генерации текста большими языковыми моделями. Традиционные подходы к декодированию, такие как Top-p или Min-p, часто приводят к монотонности и избыточным повторам, так как модели склонны чрезмерно полагаться на наиболее вероятные токены, игнорируя разнообразие лексики, характерное для человеческой речи. arXiv · Оценка и бенчмарки Проблема «иллюзии оценки» в диффузионных языковых моделях Исследователи выявили критическую нестабильность в методах оценки диффузионных языковых моделей (dLLM). Несмотря на потенциал параллельного декодирования, эти модели требуют множества шагов шумоподавления, а текущие подходы к их тестированию часто дают противоречивые результаты. Это создает риск предвзятых выводов при сравнении эффективности различных стратегий генерации и оптимизации скорости работы моделей.

← Все материалы