MarkTechPost · 07.07.2026 ·Модели и релизы

NVIDIA представила Audex: мультимодальную модель для работы с аудио и текстом

NVIDIA выпустила Audex (Nemotron-Labs-Audex-30B-A3B) — универсальную мультимодальную модель на архитектуре Mixture-of-Experts (MoE). Система объединяет возможности распознавания речи, перевода, синтеза звука и генерации текста. Ключевой особенностью стало сохранение высоких когнитивных способностей базовой модели Nemotron-Cascade-2 при минимальном снижении производительности в текстовых задачах, что делает её эффективным инструментом для комплексной обработки аудиовизуальных данных.

Разработка Audex направлена на решение проблемы фрагментации инструментов в задачах обработки звука. Вместо использования отдельных моделей для транскрибации, перевода и синтеза, Audex предлагает единый конвейер, способный понимать аудиоконтент и генерировать ответ в текстовом или голосовом формате. Модель демонстрирует высокую точность в задачах понимания сложных акустических сред, сохраняя при этом логические способности, характерные для мощных текстовых LLM.

Интеграция аудио-возможностей в архитектуру Nemotron-Cascade-2 позволила добиться баланса между специализированными навыками обработки звука и общими знаниями модели. Это открывает возможности для создания более естественных голосовых интерфейсов и автоматизированных систем анализа аудиопотоков в реальном времени, где требуется глубокое понимание контекста и высокая скорость обработки данных.

Ключевые факты

Модель Nemotron-Labs-Audex-30B-A3B построена на базе архитектуры Nemotron-Cascade-2.
Система поддерживает полный цикл работы с аудио: распознавание, перевод, синтез (TTS) и генерацию звука.
Использование архитектуры Mixture-of-Experts (MoE) обеспечивает эффективность вычислений при сохранении высокой точности.
Разработчикам удалось минимизировать регрессию текстовых навыков, сохранив интеллект базовой модели при добавлении мультимодальных функций.

Источник: MarkTechPost

Обсудить с ИИ

Похожие материалы

Hugging Face - Blog · Модели и релизы NVIDIA Nemotron 3 Nano Omni: многомодальная модель для документов аудио и видео NVIDIA представила новую модель Nemotron 3 Nano Omni, которая поддерживает работу с текстом, аудио и видео. Это важный шаг в развитии многомодальных моделей, которые могут обрабатывать различные типы данных. Модель поддерживает контекст длиной до 128K токенов, что позволяет обрабатывать большие документы и сложные запросы. MarkTechPost · Инференс и железо NVIDIA представила Nemotron-Labs-TwoTower: диффузионную модель для ускорения генерации текста NVIDIA выпустила Nemotron-Labs-TwoTower — диффузионную языковую модель, призванную преодолеть ограничения традиционных авторегрессионных систем. В отличие от последовательной генерации токенов, новая архитектура использует диффузионный подход, что позволяет значительно увеличить пропускную способность при создании текста. Модель базируется на предобученном «хребте» Nemotron-3-Nano-30B-A3B и распространяется с открытыми весами для исследовательских и прикладных целей. NVIDIA Technical Blog · ИИ в бизнесе NVIDIA ускорила оценку клинических моделей ASR NVIDIA представила новый подход к оценке клинических моделей автоматического распознавания речи (ASR). Технология использует Agent Skills и NVIDIA Nemotron Speech для ускорения тестирования моделей, которые должны правильно распознавать сложную медицинскую терминологию, включая названия лекарств и медицинские процедуры. MarkTechPost · Модели и релизы Interfaze представила diffusion-gemma-asr-small: модель распознавания речи на базе диффузии Компания Interfaze выпустила open-source модель diffusion-gemma-asr-small, которая использует диффузионный подход вместо традиционной авторегрессии для транскрибации аудио. Решение базируется на замороженной архитектуре DiffusionGemma от Google и дополняется компактным адаптером. Инновация позволяет перевести процесс распознавания речи в параллельный формат, где стоимость вычислений зависит от количества шагов шумоподавления, а не от длительности аудиозаписи. arXiv · Исследования и наука Исследование взаимодействия речи и текста в латентном пространстве моделей Исследователи проанализировали работу моделей, обучаемых на чередующихся последовательностях речевых и текстовых токенов. Основная цель работы заключалась в том, чтобы понять, как именно различные модальности взаимодействуют внутри латентного пространства нейросети и как текстовые данные влияют на развитие навыков обработки аудио. arXiv · Исследования и наука Новый метод генерации многоголосых аудиосцен ScenA Исследователи представили метод ScenA, который позволяет создавать реалистичные многоголосые аудиосцены на основе текстовых описаний. В отличие от традиционных систем, которые работают с «чистой» речью и требуют жесткой привязки дикторов к репликам через метаданные, новая технология учитывает контекст реального окружения. Модель обучается на «диких» данных, что позволяет ей воспроизводить не только голоса нескольких спикеров, но и естественную акустическую текстуру диалога. arXiv · Машинное обучение LEAF-X: новый фреймворк для объяснения работы трансформеров в ASR Исследователи из MIT и других университетов представили LEAF-X — фреймворк для объяснения работы трансформерных моделей автоматического распознавания речи (ASR), таких как Whisper. Эти модели демонстрируют высокую точность, но их предсказания остаются «чёрными ящиками». Существующие методы объяснения ИИ (XAI) часто страдают от несоответствия между объяснениями и реальной работой модели, а также от отсутствия точной временной привязки. Hacker News · Память и RAG ASR-модель распознаёт не только слова, но и эмоции и намерения Компания Whissle представила новую ASR-модель, способную не только транскрибировать речь, но и анализировать эмоции и намерения говорящего. Это позволяет использовать её для более глубокого понимания контекста в реальном времени. Модель обрабатывает аудио за 200 миллисекунд, что делает её одной из самых быстрых на рынке. Hacker News · ИИ в бизнесе Создание автоматизированной системы озвучки аудиокниг на базе Telnyx AI Разработчики представили руководство по созданию масштабируемого сервиса для генерации аудиокниг, использующего API Telnyx для инференса моделей и синтеза речи (TTS). Система автоматизирует процесс преобразования текстовых файлов в аудиоформат, сохраняя готовые результаты в облачное хранилище. Решение ориентировано на создание конвейеров обработки контента с минимальными задержками и предсказуемыми затратами на инфраструктуру. MarkTechPost · ИИ в бизнесе Автоматизация транскрипции и перевода с NVIDIA Canary-1B-v2 NVIDIA представила обновленную модель Canary-1B-v2, предназначенную для решения задач автоматического распознавания речи (ASR) и машинного перевода. Модель демонстрирует высокую эффективность в обработке многоязычных аудиопотоков, позволяя переводить устную речь с английского языка на французский, немецкий, испанский и итальянский с сохранением временных меток для каждого слова и сегмента.

← Все материалы