OpenAI анонсировала GPT-4o — флагманскую модель, объединяющую возможности работы с текстом, аудио и изображениями в единой нейросети. Новая архитектура обеспечивает нативную мультимодальность, позволяя модели реагировать на голосовые запросы с задержкой, сопоставимой с человеческой реакцией, и распознавать эмоциональные оттенки в голосе пользователя в режиме реального времени.
Ключевым технологическим сдвигом стало упрощение конвейера обработки данных. Ранее для голосового взаимодействия использовались три отдельные модели: одна для транскрипции, вторая для обработки текста и третья для генерации речи. GPT-4o обрабатывает все типы входных данных через одну нейронную сеть, что значительно снижает латентность и повышает качество понимания контекста, включая визуальную информацию через камеру устройства.
Обновление также затрагивает доступность инструментов: десктопное приложение для macOS и улучшенный веб-интерфейс делают взаимодействие с моделью более естественным. Модель демонстрирует повышенную производительность в задачах перевода и анализа визуальных данных, сохраняя при этом уровень интеллекта, сопоставимый с GPT-4 Turbo, но при значительно более высокой скорости работы.
Ключевые факты
- Средняя задержка ответа при голосовом общении составляет 320 миллисекунд, что соответствует скорости человеческого диалога.
- Модель поддерживает 50 различных языков с улучшенным качеством синтеза речи и распознавания акцентов.
- GPT-4o доступна бесплатно для всех пользователей, при этом подписчики платных тарифов получают увеличенные лимиты на количество сообщений.
- Архитектура модели позволяет ей в реальном времени анализировать видеопоток с камеры и отвечать на вопросы о происходящем в кадре.
- Новое десктопное приложение для macOS интегрировано в систему, позволяя вызывать ИИ-ассистента поверх любых открытых окон.