Исследователи представили метод автоматического распознавания речи, основанный на дискретных диффузионных языковых моделях вместо традиционных авторегрессионных декодеров. В отличие от последовательной генерации токенов, новый подход позволяет уточнять транскрипцию целиком параллельно за несколько шагов шумоподавления. В качестве основы используется модель DiffusionGemma с 26 миллиардами параметров, адаптированная для работы с аудиоданными напрямую.

Традиционные системы распознавания речи (ASR) обычно работают по принципу пошаговой генерации текста, что ограничивает скорость обработки длинных аудиофрагментов. Использование диффузионных моделей позволяет переосмыслить процесс транскрипции: вместо предсказания следующего слова модель постепенно «очищает» зашумленную последовательность токенов, приходя к финальному результату за фиксированное количество итераций.

Этот метод демонстрирует потенциал архитектур типа Mixture-of-Experts (MoE) в задачах обработки аудио. Параллельная природа диффузионного процесса может значительно сократить время вывода при сохранении высокой точности распознавания, что открывает новые возможности для создания эффективных систем транскрипции в реальном времени.

Ключевые факты

  • В основе метода лежит модель DiffusionGemma с 26 миллиардами параметров.
  • Архитектура использует принцип Mixture-of-Experts (MoE) для генерации текста.
  • Процесс транскрипции происходит параллельно через итеративное шумоподавление, а не последовательно.
  • Метод исключает необходимость в стандартных авторегрессионных декодерах, генерирующих по одному токену за раз.