GitHub · 04.08.2026 ·Машинное обучение

JoyAI-Video-Edit: авторегрессионная диффузия для редактирования видео в реальном времени

Команда JD.com представила JoyAI-Video-Edit — новый подход к редактированию видео, основанный на авторегрессионных диффузионных моделях. Система позволяет выполнять сложные манипуляции с видеорядом в режиме реального времени, сохраняя высокую временную согласованность кадров. Инструмент ориентирован на задачи, требующие динамического изменения контента при сохранении исходной структуры и движения объектов в кадре.

Технология решает проблему «мерцания» и потери контекста, характерную для покадровой обработки видео нейросетями. Используя авторегрессионный механизм, модель учитывает предыдущие сгенерированные кадры для предсказания последующих, что обеспечивает плавность переходов. Это открывает возможности для автоматизации монтажа и визуальных эффектов, где требуется высокая точность исполнения при минимальных задержках.

Метод опирается на архитектуру, оптимизированную для работы с видеопотоком, что делает его пригодным для интеграции в профессиональные инструменты обработки медиаконтента. Разработчики сфокусировались на гибкости модели, позволяя пользователям задавать параметры редактирования через текстовые или визуальные промпты, что упрощает процесс создания контента для видеопродакшена.

Ключевые факты

Разработчик: JD.com (JD-opensource).
Основной метод: использование авторегрессионных диффузионных моделей для видео.
Главное преимущество: обеспечение временной согласованности кадров в реальном времени.
Назначение: редактирование видео с сохранением структуры и динамики объектов.
Доступность: проект опубликован в открытом доступе на GitHub.

Источник: GitHub

Обсудить с ИИ

Похожие материалы

Hacker News · ИИ в бизнесе Автономный ИИ-агент для автоматического монтажа видео Разработчики представили AutoEditor — автономного ИИ-агента, предназначенного для автоматизации процесса монтажа видеоконтента. Инструмент анализирует исходные материалы, удаляет лишние фрагменты и оптимизирует структуру ролика для удержания внимания зрителей. Решение ориентировано на создание коротких форматов из длинных записей, что позволяет значительно сократить время на постпродакшн и повысить эффективность работы с видеоконтентом для бизнеса и медиа. GitHub · Модели и релизы JoyAI-Echo: генерация длинных аудиовизуальных последовательностей Команда JD AI представила JoyAI-Echo — фреймворк для генерации длинных аудиовизуальных последовательностей. Это решение позволяет создавать синхронизированные аудио- и видеоконтент, что может быть полезно для разработки ИИ-агентов, работающих с мультисенсорными данными. Hacker News · Исследования и наука Netflix исследует методы контролируемого редактирования видео с помощью ИИ Инженеры Netflix представили результаты исследований в области генеративного видео, сосредоточившись на повышении управляемости процесса редактирования. Основная задача проекта — дать создателям контента возможность вносить точечные изменения в видеоряд, сохраняя при этом временную согласованность и визуальную целостность исходного материала. В отличие от стандартных генеративных моделей, которые часто работают как «черный ящик», предложенный подход опирается на методы, позволяющие пользователям задавать конкретные параметры трансформации объектов и фоновых элементов. Hacker News · Модели и релизы Выпущена JoyAI-VL: открытая модель для взаимодействия в реальном времени Представлена JoyAI-VL — первая открытая мультимодальная модель, ориентированная на обработку визуальных данных в режиме реального времени. Разработка призвана обеспечить низкую задержку при анализе видеопотока и взаимодействии с пользователем, что является ключевым фактором для создания отзывчивых ИИ-систем. Модель доступна для ознакомления на платформе Hugging Face и открывает новые возможности для интеграции визуального восприятия в интерактивные приложения. Hacker News · Модели и релизы Новая модель для реального времени взаимодействия с изображениями и текстом Исследователи представили модель JoyAI-VL-Interaction, предназначенную для взаимодействия с изображениями и текстом в реальном времени. Она способна обрабатывать визуальные и текстовые данные одновременно, что открывает возможности для новых приложений в области компьютерного зрения и обработки естественного языка. Hacker News · Инфраструктура для агентов Video-use: автоматизация редактирования видео через агентные фреймворки Проект Video-use представляет собой специализированный инструмент для управления видеоредакторами с помощью LLM-агентов. Решение позволяет автоматизировать процессы монтажа, используя программный интерфейс для взаимодействия с элементами управления видеоредакторов. Это расширяет возможности агентных систем, позволяя им выполнять сложные задачи по обработке медиаконтента, которые ранее требовали ручного вмешательства человека или написания узкоспециализированных скриптов. GitHub · Инфраструктура для агентов OpenChatCut: локальный видеоредактор с поддержкой агентских навыков и MCP OpenChatCut — это проект с открытым исходным кодом, представляющий собой локальный видеоредактор с поддержкой агентских навыков и интеграцией протокола MCP (Model Context Protocol). Инструмент позволяет автоматизировать монтаж через LLM, используя профессиональную многодорожечную временную шкалу и движок Remotion для рендеринга видеоконтента непосредственно на устройстве пользователя. arXiv · Инфраструктура для агентов Video-DeepResearch: агент для анализа видеопотоков и глубокого поиска Исследователи представили Video-DeepResearch (Video-DR) — мультимодальный агент, способный анализировать непрерывные видеопотоки вместо статичных изображений. Система объединяет пространственно-временное обоснование с возможностями поиска в открытом вебе. Разработка направлена на решение проблем текущих моделей, которые часто игнорируют визуальные данные в пользу текстовых запросов, ограничиваясь лишь параметрическими знаниями при выполнении сложных исследовательских задач. arXiv · Исследования и наука OmniAgent: новый подход к анализу длинных видео через активное восприятие Исследователи представили OmniAgent — архитектуру для анализа видео, которая отходит от традиционной модели «пассивного просмотра». В отличие от существующих систем, которые обрабатывают все кадры видеоряда равномерно, что приводит к линейному росту вычислительных затрат при увеличении длительности записи, новый метод имитирует активное восприятие. Система самостоятельно выбирает наиболее информативные фрагменты для анализа в зависимости от поставленного запроса.

← Все материалы