Исследователи представили метод коррекции дрейфа временных меток в авторегрессионных системах автоматического распознавания речи (ASR). Проблема возникает при длительных паузах, когда модель теряет синхронизацию с аудиопотоком. Новый подход, основанный на редактировании распределения с использованием повторного воспроизведения данных, позволяет корректировать тайминги без необходимости дополнительного выравнивания или сложной постобработки, сохраняя при этом точность транскрипции.
Авторегрессионные модели ASR способны генерировать временные метки непосредственно как часть выходных токенов. Однако при отсутствии речи в аудиосигнале накопленная ошибка приводит к тому, что временная шкала транскрипта начинает расходиться с реальным временем записи. Это критично для приложений, требующих точной синхронизации субтитров или метаданных с медиаконтентом.
Предложенный метод «Replay-Based Distribution Editing» позволяет модели корректировать накопленный сдвиг, не забывая при этом накопленные ранее знания. Техника фокусируется на исправлении дрейфа в сегментах тишины, которые являются основным источником деградации точности временных меток. Это позволяет избежать использования внешних инструментов выравнивания на уровне кадров, что упрощает архитектуру систем распознавания речи.
Ключевые факты
- Метод устраняет дрейф временных меток в авторегрессионных ASR-системах без использования внешних выравнивателей.
- Основная причина ошибки — накопление неточностей во время длительных пауз в аудиопотоке.
- Подход использует редактирование распределения на основе повторного воспроизведения (replay-based) для коррекции таймингов.
- Решение позволяет сохранять высокую точность транскрипции без необходимости сложной постобработки во время инференса.