Исследователи представили ProPS (Prompted Profile Synthesis) — фреймворк для генерации распределений эмбеддингов дикторов на основе текстовых описаний. В отличие от классических систем, которые лишь извлекают признаки из готовых аудиозаписей, ProPS позволяет синтезировать векторные представления голоса, соответствующие заданным характеристикам, что открывает новые возможности для генерации речи и адаптации моделей под конкретные профили дикторов.
Традиционные методы извлечения эмбеддингов, такие как x-vectors, работают как дескриптивные инструменты: они отображают аудиосегмент в векторное пространство для последующей классификации или идентификации. ProPS меняет парадигму, предлагая генеративный подход. Система принимает на вход естественный язык, описывающий параметры голоса, и формирует вероятностное распределение эмбеддингов, которое может быть использовано для создания вариативных и контекстуально точных голосовых моделей.
Этот метод решает проблему ограниченности данных для редких или специфических типов голосов, позволяя синтезировать эмбеддинги без необходимости поиска или записи реальных аудиопримеров. Технология полезна для задач персонализации TTS-систем (Text-to-Speech) и улучшения качества клонирования голоса, обеспечивая более гибкое управление характеристиками синтезируемой речи через текстовые инструкции.
Ключевые факты
- ProPS переводит текстовые промпты в распределения эмбеддингов дикторов, расширяя возможности генеративных аудиосистем.
- Метод отходит от чисто дескриптивного анализа аудио в сторону генеративного синтеза признаков диктора.
- Фреймворк позволяет создавать вариативные голосовые профили, соответствующие заданным атрибутам без исходных аудиозаписей.
- Технология применима для улучшения адаптивности систем синтеза речи и персонализации пользовательского опыта в аудиосервисах.