Представлена Freya-TTS — компактная модель преобразования текста в речь, ориентированная на турецкий язык. Архитектура основана на 183,2-миллионном параметрическом диффузионном трансформере (DiT) с использованием метода flow-matching. Модель работает без токенизатора в латентном пространстве AudioVAE2, обеспечивая высокую надежность и эффективность синтеза в разговорных сценариях при минимальных вычислительных затратах.

Разработчики отказались от авторегрессионных методов в пользу неавторегрессионного подхода, что значительно ускоряет генерацию аудиопотока. Использование замороженного латентного пространства AudioVAE2 позволяет модели концентрироваться на качестве просодии и естественности звучания, не тратя ресурсы на обучение энкодера аудиосигнала. Система поддерживает частоту дискретизации 16 кГц для кодирования и 48 кГц для декодирования.

Freya-TTS демонстрирует потенциал для интеграции в real-time системы, где критически важна низкая задержка и стабильность работы. Компактный размер модели делает её пригодной для развертывания на устройствах с ограниченными вычислительными мощностями, сохраняя при этом высокую разборчивость речи, что особенно актуально для локализованных голосовых интерфейсов.

Ключевые факты

  • Количество параметров модели составляет 183,2 миллиона.
  • Архитектура использует неавторегрессионный диффузионный трансформер (DiT) с flow-matching.
  • Модель является tokenizer-free и работает в латентном пространстве AudioVAE2.
  • Поддерживается обработка аудио с частотой дискретизации 48 кГц на этапе декодирования.
  • Основная специализация модели — высококачественный синтез турецкого языка.