arXiv · 07.07.2026 ·Исследования и наука

Новый метод иерархического моделирования для полнодуплексных речевых моделей

Исследователи представили метод иерархического акустико-семантического моделирования (HASM), направленный на решение проблемы интерференции модальностей в полнодуплексных речевых моделях (SLM). Новый подход разделяет обработку акустических и семантических признаков, что позволяет значительно повысить когерентность речи и снизить деградацию знаний при одновременной обработке аудиопотока и текстовой семантики, обеспечивая более естественное и стабильное взаимодействие в реальном времени.

Основная сложность современных речевых моделей заключается в конфликте между необходимостью обработки низкоуровневых акустических данных и высокоуровневых семантических концептов. В рамках предложенного подхода авторы внедряют механизм разделения модальностей, который изолирует акустические сигналы от семантических слоев. Это предотвращает «размытие» смысловых конструкций, которое часто возникает при попытке модели одновременно интерпретировать интонацию и содержание высказывания.

Применение данной архитектуры позволяет достичь более высокой точности в задачах полнодуплексного общения, где модель должна не только понимать входящую речь, но и генерировать ответ, не дожидаясь завершения фразы собеседника. Метод показал эффективность в сохранении целостности контекста, что является критическим фактором для создания голосовых ИИ-ассистентов нового поколения, способных поддерживать непрерывный диалог без задержек и потери логической связности.

Ключевые факты

Метод HASM (Hierarchical Acoustic-Semantic Modeling) решает проблему деградации знаний при совместной обработке аудио и текста.
Архитектура использует разделение модальностей для устранения интерференции между акустическими признаками и семантическим контекстом.
Технология ориентирована на улучшение работы полнодуплексных речевых моделей (SLM), обеспечивая непрерывный диалог.
Исследование направлено на повышение семантической когерентности, что критично для систем голосового взаимодействия в реальном времени.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Новый метод обучения речевых моделей без instruction tuning Исследователи представили метод, позволяющий речевым языковым моделям (SLM) следовать инструкциям без необходимости проведения дорогостоящего обучения с подкреплением или специфического instruction tuning. Авторы доказали, что композиционные способности моделей можно раскрыть через архитектурные оптимизации, избегая синтеза огромных массивов размеченных аудиоданных, что значительно упрощает адаптацию моделей для работы с голосовыми командами и сложными речевыми задачами. arXiv · Исследования и наука HPRO: новый метод обучения эмоционального синтеза речи через иерархическую оптимизацию Исследователи представили метод HPRO (Hierarchical Progressive Reward Optimization), направленный на улучшение эмоциональной выразительности в моделях синтеза речи (TTS). В отличие от стандартного обучения с учителем, которое часто приводит к усредненной и монотонной интонации, новый подход использует иерархическую оптимизацию на основе предпочтений, что позволяет моделям лучше улавливать нюансы человеческой речи и передавать сложные эмоции. arXiv · Машинное обучение Анализ влияния текстовых инструкций на синтез речи в диффузионных моделях Исследователи представили метод интерпретации работы систем синтеза речи (TTS), управляемых текстовыми описаниями стиля. В современных моделях, использующих естественный язык для настройки характеристик голоса, долгое время оставалось неясным, какие именно слова в промпте определяют конкретные акустические параметры аудиовыхода. Понимание этой связи необходимо для диагностики ошибок генерации и повышения точности управления эмоциональной окраской речи. arXiv · Исследования и наука Исследование взаимодействия речи и текста в латентном пространстве моделей Исследователи проанализировали работу моделей, обучаемых на чередующихся последовательностях речевых и текстовых токенов. Основная цель работы заключалась в том, чтобы понять, как именно различные модальности взаимодействуют внутри латентного пространства нейросети и как текстовые данные влияют на развитие навыков обработки аудио. arXiv · Машинное обучение Повышение качества обработки речи через точное моделирование акустики помещений Исследователи представили новый подход к улучшению многоканальной обработки речи, основанный на использовании волновых методов симуляции акустики помещений для подготовки обучающих данных. В отличие от упрощенных геометрических моделей, волновое моделирование обеспечивает высокую физическую точность, что позволяет нейронным сетям эффективнее справляться с шумами и реверберацией в реальных условиях эксплуатации аудиосистем и голосовых помощников. arXiv · Машинное обучение AMR: новый метод адаптивной маршрутизации модальностей для идентификации спикеров Исследователи представили метод Adaptive Modality Routing (AMR), решающий проблемы идентификации спикеров в сложных условиях. Система эффективно работает при неполных данных, фоновом шуме и языковых различиях между этапами обучения и тестирования. Алгоритм динамически переключает приоритеты между аудио- и визуальными модальностями, что позволяет сохранять высокую точность распознавания даже в многопользовательских сценариях с перекрывающейся речью. arXiv · Машинное обучение Новый метод дообучения моделей речи для специфичных задач Исследователи предложили новый подход к дообучению foundation-моделей речи, которые изначально обучаются на больших объёмах неразмеченных данных. Такие модели создают универсальные представления, полезные для разных задач, но при этом кодируют информацию о ключевых переменных речи распределённо. Это означает, что для конкретных задач требуется только часть этой информации. arXiv · Исследования и наука Новый метод генерации многоголосых аудиосцен ScenA Исследователи представили метод ScenA, который позволяет создавать реалистичные многоголосые аудиосцены на основе текстовых описаний. В отличие от традиционных систем, которые работают с «чистой» речью и требуют жесткой привязки дикторов к репликам через метаданные, новая технология учитывает контекст реального окружения. Модель обучается на «диких» данных, что позволяет ей воспроизводить не только голоса нескольких спикеров, но и естественную акустическую текстуру диалога. arXiv · Исследования и наука Новый подход к решению задач ARC-AGI-2 через поиск по модальностям Исследователи представили новый метод решения задач из бенчмарка ARC-AGI-2, фокусирующийся на отборе правильных цепочек рассуждений вместо простого их генерирования. Алгоритм использует «целостное суждение о следах» (holistic trace judging), рассматривая различные модальности рассуждений как операторы поиска. Это позволяет эффективно фильтровать ошибочные, но логически связные ответы, которые часто выдают современные языковые модели. arXiv · Исследования и наука AIR: новый подход к адаптивному рассуждению в мультимодальных моделях Исследователи представили метод Adaptive Interleaved Reasoning (AIR), направленный на улучшение логических способностей мультимодальных больших языковых моделей (MLLM). В отличие от существующих решений, которые полагаются на жестко заданные эвристики для обработки визуальных данных, новый подход позволяет моделям динамически использовать код для построения цепочек рассуждений. Это дает возможность системе самостоятельно определять, когда и как применять программные инструменты для решения сложных задач, требующих глубокого анализа изображений.

← Все материалы