Simon Willison's Weblog · 12.06.2026 ·Реальное время и голосовые модели

OpenAI добавил контекст документов в WebRTC Audio Session

Simon Willison, разработчик и блогер, обновил свой инструмент для работы с WebRTC API OpenAI, добавив поддержку документного контекста. Первая версия была создана в декабре 2024 года, чтобы протестировать новый API для работы с аудиомоделями в реальном времени.

В мае 2024 года OpenAI представил новую модель GPT-Realtime-2, которая позиционируется как первая голосовая модель с уровнем рассуждений GPT-5. Эта модель имеет актуальность знаний до 30 сентября 2024 года. Willison интегрировал её в свой инструмент, что позволяет использовать контекст документов при взаимодействии с моделью.

Инструмент позволяет загружать документы и использовать их как контекст для голосовых запросов. Это открывает новые возможности для создания более сложных и контекстуальных диалогов с ИИ. Например, можно загрузить документ и задавать вопросы о его содержании, получая ответы в реальном времени.

Для разработчиков ИИ-агентов это важно, так как демонстрирует, как можно интегрировать голосовые модели с контекстной информацией. Это может быть полезно для создания агентов, которые могут взаимодействовать с пользователями через голосовые интерфейсы, используя при этом актуальную и релевантную информацию из загруженных документов.

Источник: Simon Willison's Weblog

Похожие материалы

arXiv · Контекст-осознанное обучение для ИИ-агентов ContextRL: контекст-осознанное обучение для улучшения работы ИИ-агентов Исследователи из MIT и других ведущих университетов представили новый метод ContextRL, который улучшает способность языковых моделей (LLM) работать с длинными и сложными контекстами. Проблема заключается в том, что традиционные LLM часто не могут выделить ключевые детали в объемных данных, будь то строка в логах или мелкий элемент на изображении. ContextRL использует методы подкрепляющего обучения (RL), чтобы улучшить долгосрочное рассуждение и работу с мультимодальными данными. Google DeepMind News · Развитие голосовых моделей Gemini 3.1 Flash Live улучшает голосовые взаимодействия DeepMind представила новую версию своей голосовой модели Gemini 3.1 Flash Live, которая обещает более естественные и точные голосовые взаимодействия. Новая модель фокусируется на снижении задержек и повышении точности, что делает её более подходящей для реального времени. Это важно для разработчиков ИИ-агентов, так как голосовые интерфейсы становятся всё более популярными в различных приложениях, от виртуальных ассистентов до клиентских сервисов. OpenAI News · ИИ в науке GPT-Rosalind: новые возможности для биоисследований OpenAI представила обновлённые возможности GPT-Rosalind, специализированной модели для биоисследований. Новые функции включают улучшенное биологическое мышление, экспертизу в области медицинской химии, анализ геномов и поддержку экспериментальных рабочих процессов. arXiv · Интерпретируемость ИИ-агентов LEAF-X: новый фреймворк для объяснения работы трансформеров в ASR Исследователи из MIT и других университетов представили LEAF-X — фреймворк для объяснения работы трансформерных моделей автоматического распознавания речи (ASR), таких как Whisper. Эти модели демонстрируют высокую точность, но их предсказания остаются «чёрными ящиками». Существующие методы объяснения ИИ (XAI) часто страдают от несоответствия между объяснениями и реальной работой модели, а также от отсутствия точной временной привязки. Hugging Face - Blog · Контекст и агенты DeepSeek-V4: миллион токенов для ИИ-агентов Команда DeepSeek представила новую версию своей модели DeepSeek-V4, которая поддерживает контекст длиной в миллион токенов. Это значительный шаг вперёд для разработчиков ИИ-агентов, так как возможность работы с таким объёмом информации открывает новые горизонты для создания более сложных и автономных систем. Hacker News · Оптимизация контекста в ИИ-агентах Как сохранить контекст в ИИ-агентах без потери производительности Разработчики ИИ-агентов часто сталкиваются с проблемой ограниченного контекста: модели не могут удерживать большие объёмы информации, что снижает их эффективность. Новый инструмент Claude API Saver предлагает решение этой проблемы, позволяя сохранять и управлять контекстом без потери производительности. MarkTechPost · Новые модели и контекст Z.ai представила GLM-5.2 с контекстом в 1 млн токенов Z.ai анонсировала новую версию своей модели GLM-5.2, которая поддерживает контекстное окно в 1 миллион токенов. Это существенный шаг вперёд, так как большинство современных моделей ограничены контекстом в 128–256K токенов. Новая модель доступна во всех тарифах GLM Coding Plan и интегрирована в такие платформы, как Claude Code, Cline и OpenClaw через совместимый с Anthropic API. The latest research from Google · Разумные агенты и байесовские сети Исследование Google: как обучить ИИ разумно рассуждать Исследователи Google представили новый подход к обучению языковых моделей разумному рассуждению на основе байесовских принципов. В статье, опубликованной на официальном блоге Google Research, описывается метод, который позволяет моделям лучше обрабатывать вероятностные данные и принимать решения в условиях неопределенности. Это особенно важно для разработки ИИ-агентов, которые должны работать в динамических и сложных средах, где точность и логичность рассуждений критически важны. Google DeepMind News · Выход новых моделей Gemini 3.1 Pro от DeepMind для сложных задач DeepMind представила новую модель Gemini 3.1 Pro, ориентированную на решение сложных задач, где требуется не просто ответ, а глубокий анализ и понимание контекста. Модель демонстрирует улучшенные способности в обработке сложных запросов, что делает её перспективной для применения в различных областях, включая разработку ИИ-агентов. arXiv · Оптимизация контекста для ИИ-агентов TokenPilot: эффективное управление контекстом для LLM-агентов Исследователи из MIT и других ведущих университетов представили TokenPilot — новый подход к управлению контекстом для LLM-агентов, который решает проблему накопления контекста в длительных сессиях.

← Все материалы