Исследователи предложили новый метод оптимизации процесса дистилляции диффузионных моделей, работающих по принципу on-policy. Авторы пересмотрели роль классификаторно-свободного руководства (CFG) при обучении студенческих моделей, показав, что прямое копирование стратегии учителя приводит к неэффективности. Предложенный подход позволяет значительно ускорить генерацию изображений, сохраняя при этом высокое качество и точность следования текстовым промптам.

Традиционные методы дистилляции часто сталкиваются с проблемой расхождения между поведением учителя и студента при использовании CFG. В данной работе авторы анализируют математическую структуру композиции прогнозов и предлагают модифицированную функцию потерь, которая лучше учитывает динамику траекторий. Это позволяет студенческой модели быстрее сходиться к оптимальным результатам, требуя меньшего количества шагов для генерации контента.

Разработка направлена на решение фундаментальной проблемы современных генеративных систем: необходимости компромисса между скоростью инференса и визуальным качеством. Новый метод позволяет эффективно сжимать сложные диффузионные модели, сохраняя их способность следовать сложным инструкциям, что критически важно для внедрения моделей в реальные продукты с ограниченными вычислительными ресурсами.

Ключевые факты

  • Метод фокусируется на оптимизации on-policy дистилляции (OPD) для диффузионных моделей.
  • Предложенный подход переосмысливает интеграцию Classifier-Free Guidance (CFG) в процесс обучения студента.
  • Исследование направлено на сокращение количества шагов инференса без потери качества генерации.
  • Работа представлена в препринте на платформе arXiv под номером 2607.24731.