Исследователи выявили фундаментальный изъян в современных видеодиффузионных моделях — «разрыв последовательности» (seriality gap). При моделировании цепочек причинно-следственных событий, таких как последовательные столкновения объектов, качество генерации падает по мере удлинения временной шкалы. Даже увеличение количества шагов шумоподавления не решает проблему накопления ошибок в динамических сценах, что ограничивает предсказательную способность моделей в сложных физических процессах.
В ходе экспериментов с динамикой твердых сфер ученые сравнили поведение моделей при моделировании одного и нескольких последовательных взаимодействий. Выяснилось, что стандартные двунаправленные диффузионные архитектуры плохо справляются с сохранением физической корректности при передаче импульса от одного объекта к другому. Ошибки возникают не из-за нехватки вычислительных ресурсов, а из-за архитектурных ограничений в обработке длинных причинно-следственных цепочек.
Это открытие ставит под сомнение эффективность текущих подходов к видеогенерации для задач, требующих высокой физической точности, таких как симуляция робототехники или прогнозирование сложных физических явлений. Авторы работы подчеркивают, что для преодоления этого барьера необходимы новые методы обучения, учитывающие временную связность и причинно-следственную логику, а не только визуальное сходство кадров.
Ключевые факты
- Выявлен эффект «разрыва последовательности», при котором точность предсказаний снижается при увеличении длины причинно-следственной цепочки.
- Эксперименты проводились на контролируемой среде с динамикой твердых сфер (hard-sphere dynamics).
- Стандартные двунаправленные видеодиффузионные модели демонстрируют деградацию результатов даже при значительном увеличении количества шагов денойзинга.
- Исследование доказывает, что проблема носит системный характер и не решается простым масштабированием вычислительных затрат на этапе инференса.