Исследователи представили метод DUET, решающий проблему баланса между качеством и разнообразием при ускоренной генерации видео. Новый подход объединяет траекторную и дистрибутивную дистилляцию, позволяя сократить количество шагов выборки без потери визуальной точности. Это делает современные диффузионные модели более пригодными для практического применения, существенно снижая вычислительные затраты на инференс при сохранении высокой вариативности контента.
Традиционные методы дистилляции часто заставляют разработчиков выбирать между двумя крайностями: либо высокой скоростью с потерей разнообразия, либо качеством, требующим больших вычислительных ресурсов. Траекторная дистилляция, например, хорошо справляется с сохранением разнообразия, но часто проигрывает в детализации, тогда как дистрибутивная дистилляция фокусируется на точности распределения, жертвуя креативностью генерации.
Метод DUET использует экспертную систему, которая динамически управляет процессом обучения, извлекая лучшее из обоих подходов. Это позволяет достичь высокого качества видео за минимальное количество шагов, что критически важно для систем реального времени и облачных сервисов, где стоимость каждого запроса напрямую зависит от длительности генерации.
Ключевые факты
- DUET решает проблему компромисса между качеством и разнообразием в видеогенерации.
- Метод комбинирует траекторную дистилляцию (типа sCM) и дистрибутивную дистилляцию (типа DMD).
- Технология направлена на снижение вычислительной стоимости итеративного сэмплирования в диффузионных моделях.
- Подход позволяет сократить количество шагов инференса, сохраняя при этом высокую визуальную верность и разнообразие результатов.