Исследователи представили PACR-Video — фреймворк для генерации длинных видеороликов, состоящих из нескольких сцен. Метод позволяет сохранять визуальный стиль, структуру сцен и ключевых персонажей без необходимости полной дообучения (fine-tuning) базовой модели. Система использует замороженный диффузионный трансформер, дополненный низкоранговыми временными адаптерами, которые управляются обучаемыми токенами ролей для каждой сцены.
Основная проблема существующих видеомоделей заключается в потере связности при переходе между кадрами или сценами. PACR-Video решает эту задачу за счет разделения управления контекстом и генерации контента. Адаптеры позволяют модели учитывать специфические параметры каждой сцены, не затрагивая основные веса предобученной архитектуры. Это значительно снижает вычислительные затраты на адаптацию модели под конкретные творческие задачи.
Технология обеспечивает высокую степень контроля над причинно-следственными связями в видеоряде. Благодаря использованию промпт-адаптеров, система эффективно «запоминает» объекты и их расположение, что критически важно для создания длинных последовательностей. Подход демонстрирует эффективность в задачах, где требуется строгая привязка к заданному визуальному стилю и логике повествования при минимальных требованиях к ресурсам GPU.
Ключевые факты
- PACR-Video использует замороженный текстово-видео диффузионный трансформер для генерации.
- Метод внедряет низкоранговые временные адаптеры, управляемые обучаемыми промпт-токенами.
- Система поддерживает сохранение консистентности сущностей и визуального стиля в многокадровых видео.
- Архитектура исключает необходимость полной дообучения генератора, что экономит вычислительные ресурсы.
- Решение ориентировано на создание длинных видео с сохранением логики и структуры сцен.