OpenAI представила обновленную технологию голосового общения для ChatGPT, обеспечивающую практически мгновенный отклик и способность распознавать эмоциональные оттенки в речи пользователя. Система переходит на мультимодальную архитектуру, позволяющую модели напрямую обрабатывать аудиопотоки, что значительно сокращает задержки и делает диалог более естественным, приближая его к человеческому общению в реальном времени.
Ключевым изменением стал отказ от последовательной обработки «речь в текст — текст в модель — текст в речь». Теперь модель анализирует аудиосигнал целиком, включая интонации, паузы и темп речи, что позволяет ей реагировать на смену настроения собеседника или перебивать пользователя, если это необходимо для поддержания динамики разговора. Технология также поддерживает визуальный контекст, позволяя пользователю транслировать видео с камеры смартфона для обсуждения происходящего в кадре.
Обновление направлено на создание более глубокого уровня взаимодействия, где ИИ выступает не просто как текстовый генератор, а как полноценный голосовой ассистент. Это открывает новые возможности для использования модели в сценариях, требующих высокой скорости реакции, таких как обучение иностранным языкам, проведение интервью или оперативная помощь в решении бытовых задач, где важна эмоциональная вовлеченность и понимание контекста ситуации.
Ключевые факты
- Время отклика системы сокращено до уровня человеческого диалога, составляя в среднем 232 миллисекунды.
- Модель способна распознавать и имитировать различные эмоциональные состояния, включая радость, сарказм или сочувствие.
- Реализована поддержка обработки визуальной информации в реальном времени через камеру устройства параллельно с голосовым общением.
- Система функционирует как единая мультимодальная модель, способная интерпретировать аудио, текст и изображения без промежуточных этапов транскрипции.