arXiv · 18.06.2026 ·Машинное обучение

FlowEdit: адаптация TTS-систем без переобучения моделей

Исследователи представили метод FlowEdit, позволяющий корректировать произношение в системах синтеза речи (TTS) на базе flow-matching без необходимости дообучения весов модели. Современные генеративные системы синтеза показывают высокое качество в режиме zero-shot, однако они остаются статичными после развертывания. Это приводит к устойчивым ошибкам при озвучивании редких имен собственных или специфических терминов, отсутствующих в обучающей выборке.

В основе подхода лежит концепция ассоциативной памяти, которая сохраняет исправления в виде латентных правок. Вместо изменения архитектуры нейросети система использует механизм кондиционирования, который динамически корректирует выходной поток данных. Это позволяет адаптировать модель к новым словам «на лету», сохраняя исходные параметры нейросети неизменными.

Такой подход решает проблему деградации качества при попытках дообучения на малых наборах данных и исключает риск «забывания» моделью уже усвоенных навыков. Технология обеспечивает гибкость в работе с узкоспециализированной лексикой, что критически важно для интеграции TTS в профессиональные сервисы, где требуется высокая точность передачи имен, географических названий и профессионального жаргона.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Анализ влияния текстовых инструкций на синтез речи в диффузионных моделях Исследователи представили метод интерпретации работы систем синтеза речи (TTS), управляемых текстовыми описаниями стиля. В современных моделях, использующих естественный язык для настройки характеристик голоса, долгое время оставалось неясным, какие именно слова в промпте определяют конкретные акустические параметры аудиовыхода. Понимание этой связи необходимо для диагностики ошибок генерации и повышения точности управления эмоциональной окраской речи. arXiv · Машинное обучение Новый метод управления генерацией речи через классификаторы Исследователи представили метод оптимизации генерации речи с помощью диффузионных моделей, который позволяет отказаться от обучения специализированных классификаторов для управления процессом. Традиционный подход к направленной генерации (classifier guidance) требует одновременного использования двух отдельных моделей: диффузионной и классификатора, обученного на зашумленных данных. Это усложняет архитектуру и увеличивает вычислительные затраты при развертывании систем синтеза. arXiv · Машинное обучение Новый метод дообучения моделей речи для специфичных задач Исследователи предложили новый подход к дообучению foundation-моделей речи, которые изначально обучаются на больших объёмах неразмеченных данных. Такие модели создают универсальные представления, полезные для разных задач, но при этом кодируют информацию о ключевых переменных речи распределённо. Это означает, что для конкретных задач требуется только часть этой информации. Together.ai · Машинное обучение Новый метод ускоряет диффузионные языковые модели в 14 раз Исследователи из Together AI представили Consistency Diffusion Language Models (CDLM) — метод, который ускоряет работу диффузионных языковых моделей в 14,5 раза без потери качества. arXiv · Машинное обучение LEAF-X: новый фреймворк для объяснения работы трансформеров в ASR Исследователи из MIT и других университетов представили LEAF-X — фреймворк для объяснения работы трансформерных моделей автоматического распознавания речи (ASR), таких как Whisper. Эти модели демонстрируют высокую точность, но их предсказания остаются «чёрными ящиками». Существующие методы объяснения ИИ (XAI) часто страдают от несоответствия между объяснениями и реальной работой модели, а также от отсутствия точной временной привязки. arXiv · Модели и релизы Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. arXiv · Машинное обучение Новый метод адаптивного кодирования речи для импульсных нейронных сетей Исследователи представили метод адаптивного кодирования аудиосигналов для импульсных нейронных сетей (SNN). Основная проблема существующих систем заключается в несовпадении непрерывных акустических данных и дискретной природы импульсной обработки. Традиционные подходы используют фиксированные энкодеры, из-за чего нейросети вынуждены компенсировать неоптимальное представление входных данных, что снижает эффективность распознавания речи. arXiv · Исследования и наука Новый метод генерации многоголосых аудиосцен ScenA Исследователи представили метод ScenA, который позволяет создавать реалистичные многоголосые аудиосцены на основе текстовых описаний. В отличие от традиционных систем, которые работают с «чистой» речью и требуют жесткой привязки дикторов к репликам через метаданные, новая технология учитывает контекст реального окружения. Модель обучается на «диких» данных, что позволяет ей воспроизводить не только голоса нескольких спикеров, но и естественную акустическую текстуру диалога. Mistral AI Blog · Инфраструктура для агентов Voxtral TTS: быстрый и адаптивный синтез речи для голосовых агентов Mistral представила Voxtral TTS — открытую модель синтеза речи с открытыми весами. Она предназначена для создания реалистичного голоса для голосовых агентов. Voxtral работает быстро и может адаптироваться к новым голосам за считанные секунды. Hacker News · Инференс и железо Выпущена компактная модель Inflect-Nano для локального синтеза речи Представлена Inflect-Nano — специализированная модель для преобразования текста в речь (TTS), насчитывающая всего 4,63 миллиона параметров. Благодаря экстремально малому размеру, архитектура способна работать локально на устройствах с ограниченными вычислительными ресурсами, сохраняя при этом функциональность полноценного вокодера. Это решение позволяет интегрировать качественный голосовой вывод непосредственно в агентные системы и локальные приложения без необходимости обращения к облачным API.

← Все материалы