Исследователи представили метод Terminal-Fitted Repair, решающий проблему нестабильности Classifier-Free Guidance (CFG) при высоких значениях коэффициента направляющего воздействия. Новый подход устраняет эффект перенасыщения и деградации качества генерации, который обычно заставляет разработчиков увеличивать количество шагов сэмплирования или использовать сложные графики интервалов, что существенно замедляет работу диффузионных моделей и моделей на основе потоков (flow-matching).
Традиционный метод CFG часто приводит к артефактам и потере детализации при попытке усилить влияние условий на генерацию. Авторы работы проанализировали процесс с математической точки зрения, используя методы численного анализа, и выявили, что проблема кроется в несоответствии аппроксимации оператора на терминальных этапах генерации. Предложенная корректировка позволяет стабилизировать процесс без необходимости дополнительных вычислительных затрат на увеличение количества итераций.
Внедрение этого метода позволяет достичь высокого качества генерации при меньшем количестве шагов сэмплирования, что критически важно для оптимизации инференса в реальных продуктах. Техника легко интегрируется в существующие архитектуры, использующие стандартные схемы CFG, и не требует переобучения базовых моделей, предлагая более эффективный способ управления генеративным процессом.
Ключевые факты
- Метод Terminal-Fitted Repair устраняет нестабильность и перенасыщение, возникающие при высоких значениях CFG.
- Исследование базируется на анализе детерминированных шагов DDIM через призму численного анализа.
- Решение позволяет сократить количество шагов сэмплирования, необходимых для получения качественного результата.
- Метод применим как к классическим диффузионным моделям, так и к современным архитектурам flow-matching.