arXiv · 04.08.2026 ·Инфраструктура для агентов

Video-DeepResearch: агент для анализа видеопотоков и глубокого поиска

Исследователи представили Video-DeepResearch (Video-DR) — мультимодальный агент, способный анализировать непрерывные видеопотоки вместо статичных изображений. Система объединяет пространственно-временное обоснование с возможностями поиска в открытом вебе. Разработка направлена на решение проблем текущих моделей, которые часто игнорируют визуальные данные в пользу текстовых запросов, ограничиваясь лишь параметрическими знаниями при выполнении сложных исследовательских задач.

Переход от анализа отдельных кадров к обработке видео требует от агентов понимания динамики событий и способности сопоставлять визуальные изменения с контекстом из внешних источников. Video-DR использует специализированные инструменты для извлечения информации из видео, что позволяет ему выполнять более глубокий анализ в сценариях, где текстового описания недостаточно для принятия решений.

Авторы проекта выявили два ключевых препятствия, ограничивающих эффективность современных мультимодальных систем. Во-первых, это «модальное смещение», при котором агент игнорирует визуальные инструменты, отдавая предпочтение текстовому поиску даже при наличии видеоконтента. Во-вторых, зависимость от ограниченных параметрических знаний, которые не позволяют модели эффективно интерпретировать новые или специфические визуальные данные без обращения к актуальным внешним базам знаний.

Ключевые факты

Video-DeepResearch расширяет возможности агентов с обработки статических изображений до анализа непрерывных видеопотоков.
Основной упор сделан на плотное пространственно-временное обоснование (spatiotemporal grounding) в сочетании с поиском в открытом вебе.
Выявлена проблема «модального смещения», при которой агенты необоснованно игнорируют визуальные инструменты в пользу текста.
Модель демонстрирует необходимость преодоления зависимости от статических параметрических знаний для повышения точности исследовательских задач.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Исследования и наука OmniAgent: новый подход к анализу длинных видео через активное восприятие Исследователи представили OmniAgent — архитектуру для анализа видео, которая отходит от традиционной модели «пассивного просмотра». В отличие от существующих систем, которые обрабатывают все кадры видеоряда равномерно, что приводит к линейному росту вычислительных затрат при увеличении длительности записи, новый метод имитирует активное восприятие. Система самостоятельно выбирает наиболее информативные фрагменты для анализа в зависимости от поставленного запроса. arXiv · Исследования и наука CADER: новый метод динамического анализа длинных видео Исследователи представили CADER — фреймворк для понимания длинных видео, который адаптирует стратегию рассуждения в зависимости от сложности запроса. В отличие от стандартных моделей, использующих одинаковый алгоритм для всех задач, CADER оценивает уверенность системы и динамически решает, нужно ли привлекать внешние инструменты для поиска доказательств, что повышает точность и оптимизирует вычислительные ресурсы. arXiv · Исследования и наука Video-SALMONN-R3: новый метод эффективного анализа видео через двухэтапную обработку Исследователи представили Video-SALMONN-R3 — архитектуру для видео-LLM, решающую проблему нехватки вычислительных ресурсов. Вместо обработки всего видео целиком, модель сначала проводит грубый анализ для поиска ключевых сегментов, а затем детально пересматривает их. Такой подход позволяет значительно экономить память и вычислительную мощность, сохраняя высокую точность ответов на вопросы по видеоконтенту. arXiv · Оркестрация агентов SearchOS-V1: новая архитектура для борьбы с зацикливанием поисковых ИИ-агентов Исследователи представили SearchOS-V1 — фреймворк для повышения эффективности ИИ-агентов при работе с открытыми данными. Система решает проблему деградации производительности при длительных сессиях, предотвращая попадание агентов в бесконечные циклы повторного поиска. Архитектура оптимизирует управление контекстом и распределение ресурсов, позволяя агентам точнее отслеживать прогресс выполнения сложных информационных запросов и избегать пустой траты поискового бюджета. Hacker News · Инфраструктура для агентов Инструменты для захвата и анализа визуального контента веб-страниц ИИ-агентами Разработчики представили решение для захвата и обработки визуальных данных веб-страниц, которое позволяет ИИ-агентам «видеть» и интерпретировать динамический контент в реальном времени. Система преобразует записи сессий в структурированные данные, пригодные для анализа моделями, что значительно упрощает автоматизацию сложных пользовательских сценариев, где стандартные методы парсинга DOM-дерева оказываются недостаточно эффективными или невозможными. NVIDIA Technical Blog · ИИ в бизнесе Интеграция видеоаналитических ИИ-агентов в корпоративные процессы NVIDIA представила методологию внедрения видеоаналитических ИИ-агентов в корпоративные рабочие процессы. Система позволяет агентам не просто распознавать объекты, но и контекстуально интерпретировать происходящее на видео в реальном времени, принимая решения на основе анализа больших массивов визуальных данных. Это открывает возможности для автоматизации мониторинга безопасности, логистики и контроля качества на производстве. Hacker News · Машинное обучение Дистилляция навыков рассуждения проприетарных моделей в open-source агенты Исследователи представили метод дистилляции сложных навыков логического вывода из закрытых моделей в компактные open-source агенты, специализирующиеся на поиске информации. Новый подход позволяет переносить способности к многошаговому планированию и анализу данных, сохраняя при этом высокую производительность при значительно меньших вычислительных затратах, что делает продвинутые агентные системы доступными для локального запуска и интеграции в прикладные решения. Hacker News · Модели и релизы LingBot-Video: открытая MoE-модель для воплощенного ИИ Представлена LingBot-Video — open-source модель на архитектуре Mixture-of-Experts (MoE), разработанная для задач воплощенного ИИ (embodied AI). Решение ориентировано на обработку видеоданных, позволяя агентам лучше интерпретировать визуальную информацию в динамической среде. Модель доступна для исследователей и разработчиков, стремящихся интегрировать продвинутые возможности компьютерного зрения в свои агентные системы и робототехнические платформы. Hacker News · Инфраструктура для агентов Claude-real-video: инструмент для анализа видеопотока любыми LLM Проект Claude-real-video предоставляет инфраструктурное решение для интеграции видеоаналитики в любые LLM, не обладающие нативной поддержкой мультимодальности. Инструмент автоматически извлекает кадры из видеопотока, преобразует их в последовательность изображений и передает в модель для анализа, позволяя агентам «видеть» динамический контент и принимать решения на основе визуальных данных в реальном времени. Hacker News · Инфраструктура для агентов Video-use: автоматизация редактирования видео через агентные фреймворки Проект Video-use представляет собой специализированный инструмент для управления видеоредакторами с помощью LLM-агентов. Решение позволяет автоматизировать процессы монтажа, используя программный интерфейс для взаимодействия с элементами управления видеоредакторов. Это расширяет возможности агентных систем, позволяя им выполнять сложные задачи по обработке медиаконтента, которые ранее требовали ручного вмешательства человека или написания узкоспециализированных скриптов.

← Все материалы