NVIDIA выпустила открытую модель NemotronLabs VoiceChat 11B, предназначенную для полнодуплексного общения в режиме реального времени. Система обеспечивает низкую задержку при смене реплик, составляющую около 450 мс, и поддерживает функцию вызова внешних инструментов в процессе разговора. Это решение расширяет возможности создания интерактивных голосовых агентов с высокой скоростью отклика и способностью выполнять действия в реальном времени.
Архитектура модели ориентирована на естественное взаимодействие, где ИИ может перебивать пользователя или отвечать практически мгновенно, имитируя живой диалог. Возможность «live tool calling» позволяет модели не просто генерировать текст, но и интегрироваться с API, выполняя задачи прямо во время голосовой сессии, что критически важно для автоматизации клиентского сервиса и создания персональных ассистентов нового поколения.
Выпуск модели в открытый доступ дает разработчикам возможность развертывать высокопроизводительные голосовые интерфейсы на собственной инфраструктуре. Это снижает зависимость от проприетарных облачных решений и позволяет оптимизировать пайплайны обработки аудио для специфических бизнес-задач, требующих минимальных задержек и высокой точности распознавания речи в динамических условиях.
Ключевые факты
- Модель NemotronLabs VoiceChat 11B поддерживает полнодуплексный режим работы (одновременный прием и передачу аудио).
- Средняя задержка при смене реплик (turn-taking latency) составляет 448 миллисекунд.
- Реализована нативная поддержка вызова инструментов (live tool calling) непосредственно во время разговора.
- Модель доступна как открытое решение для интеграции в сторонние агентные системы.