arXiv · 18.06.2026 ·Машинное обучение

Анализ влияния текстовых инструкций на синтез речи в диффузионных моделях

Исследователи представили метод интерпретации работы систем синтеза речи (TTS), управляемых текстовыми описаниями стиля. В современных моделях, использующих естественный язык для настройки характеристик голоса, долгое время оставалось неясным, какие именно слова в промпте определяют конкретные акустические параметры аудиовыхода. Понимание этой связи необходимо для диагностики ошибок генерации и повышения точности управления эмоциональной окраской речи.

Авторы адаптировали механизм кросс-аттеншн атрибуции (DAAM) для работы с диффузионными моделями синтеза речи. Этот подход позволяет визуализировать и количественно оценить вклад отдельных слов из текстового описания в формирование спектрограммы. Анализ показывает, как модель «распределяет внимание» между описательными прилагательными и параметрами звукового сигнала, что дает возможность выявлять причины нежелательных искажений или несоответствия заданному стилю.

Разработанный метод открывает новые возможности для отладки генеративных аудиосистем. Вместо «черного ящика» разработчики получают инструмент для анализа того, как лингвистические инструкции трансформируются в акустические признаки. Это позволяет более эффективно настраивать модели для передачи специфических интонаций, тембра и темпа, обеспечивая предсказуемый результат при работе с комплексными текстовыми запросами.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Новый метод управления генерацией речи через классификаторы Исследователи представили метод оптимизации генерации речи с помощью диффузионных моделей, который позволяет отказаться от обучения специализированных классификаторов для управления процессом. Традиционный подход к направленной генерации (classifier guidance) требует одновременного использования двух отдельных моделей: диффузионной и классификатора, обученного на зашумленных данных. Это усложняет архитектуру и увеличивает вычислительные затраты при развертывании систем синтеза. arXiv · Машинное обучение FlowEdit: адаптация TTS-систем без переобучения моделей Исследователи представили метод FlowEdit, позволяющий корректировать произношение в системах синтеза речи (TTS) на базе flow-matching без необходимости дообучения весов модели. Современные генеративные системы синтеза показывают высокое качество в режиме zero-shot, однако они остаются статичными после развертывания. Это приводит к устойчивым ошибкам при озвучивании редких имен собственных или специфических терминов, отсутствующих в обучающей выборке. arXiv · Исследования и наука Новый метод генерации многоголосых аудиосцен ScenA Исследователи представили метод ScenA, который позволяет создавать реалистичные многоголосые аудиосцены на основе текстовых описаний. В отличие от традиционных систем, которые работают с «чистой» речью и требуют жесткой привязки дикторов к репликам через метаданные, новая технология учитывает контекст реального окружения. Модель обучается на «диких» данных, что позволяет ей воспроизводить не только голоса нескольких спикеров, но и естественную акустическую текстуру диалога. arXiv · Машинное обучение Новый метод дообучения моделей речи для специфичных задач Исследователи предложили новый подход к дообучению foundation-моделей речи, которые изначально обучаются на больших объёмах неразмеченных данных. Такие модели создают универсальные представления, полезные для разных задач, но при этом кодируют информацию о ключевых переменных речи распределённо. Это означает, что для конкретных задач требуется только часть этой информации. arXiv · Машинное обучение LEAF-X: новый фреймворк для объяснения работы трансформеров в ASR Исследователи из MIT и других университетов представили LEAF-X — фреймворк для объяснения работы трансформерных моделей автоматического распознавания речи (ASR), таких как Whisper. Эти модели демонстрируют высокую точность, но их предсказания остаются «чёрными ящиками». Существующие методы объяснения ИИ (XAI) часто страдают от несоответствия между объяснениями и реальной работой модели, а также от отсутствия точной временной привязки. arXiv · Исследования и наука Интерпретация механизмов внимания через синтез программ Исследователи представили новый метод интерпретации нейронных сетей, который позволяет заменить непрозрачные вычисления моделей на понятные человеку символьные описания. В центре внимания оказались механизмы внимания (attention heads) в трансформерах, которые традиционно считаются «черным ящиком» из-за сложности их внутренних операций. arXiv · Машинное обучение Геометрия собственных чисел в анализе семантических атак на ИИ Исследователи представили новый теоретический подход к изучению уязвимостей моделей классификации, основанный на анализе геометрии собственных чисел. Работа фокусируется на проблеме семантических состязательных атак, при которых незначительные перефразирования текста приводят к изменению предсказаний модели, несмотря на сохранение исходного смысла и близость векторных представлений. Hacker News · Модели и релизы Исследование: динамика развития языковых моделей Исследователи из Artificial Analysis провели анализ динамики развития языковых моделей, включая модели от Anthropic и Mistral. В исследовании рассматривается, как меняется интеллект моделей с течением времени, что позволяет лучше понять их эволюцию и потенциал. arXiv · Машинное обучение Новый метод адаптивного кодирования речи для импульсных нейронных сетей Исследователи представили метод адаптивного кодирования аудиосигналов для импульсных нейронных сетей (SNN). Основная проблема существующих систем заключается в несовпадении непрерывных акустических данных и дискретной природы импульсной обработки. Традиционные подходы используют фиксированные энкодеры, из-за чего нейросети вынуждены компенсировать неоптимальное представление входных данных, что снижает эффективность распознавания речи. Hacker News · Память и RAG ASR-модель распознаёт не только слова, но и эмоции и намерения Компания Whissle представила новую ASR-модель, способную не только транскрибировать речь, но и анализировать эмоции и намерения говорящего. Это позволяет использовать её для более глубокого понимания контекста в реальном времени. Модель обрабатывает аудио за 200 миллисекунд, что делает её одной из самых быстрых на рынке.

← Все материалы