Исследователи представили метод Reflow с выравниванием маргинальных распределений (Marginal Distribution Alignment), направленный на ускорение генерации в диффузионных моделях. Новый подход решает проблему неточности дискретизации обыкновенных дифференциальных уравнений (ОДУ), позволяя сократить количество шагов выборки при сохранении высокого качества генерации, что критически важно для эффективного инференса современных генеративных систем.
Традиционные методы дистилляции, основанные на сопоставлении траекторий, часто сталкиваются с ограничениями при попытке упростить динамику ОДУ, что приводит к накоплению ошибок при малом количестве шагов. Предложенный подход фокусируется не только на спрямлении траекторий, но и на приведении распределения вероятностей студенческой модели в соответствие с целевым маргинальным распределением на каждом этапе процесса.
Это позволяет модели лучше адаптироваться к сложным геометрическим структурам данных, минимизируя отклонения при переходе от шума к чистому сигналу. Результаты показывают, что данный метод обеспечивает более стабильную сходимость и позволяет достигать высокого качества изображений или других данных за значительно меньшее число итераций по сравнению с классическими техниками дистилляции.
Ключевые факты
- Метод направлен на решение проблемы высокой вычислительной стоимости многошаговой генерации в диффузионных моделях.
- Подход сочетает классический Reflow с дополнительным выравниванием маргинальных распределений для повышения точности аппроксимации.
- Техника позволяет существенно сократить количество шагов выборки (few-step generation) без потери визуального качества результатов.
- Метод оптимизирует динамику ОДУ, делая траектории более предсказуемыми для студенческих моделей в процессе дистилляции.