Исследователи представили метод On-Policy Delta Distillation, направленный на оптимизацию процесса пост-тренировки языковых моделей. Новый подход позволяет использовать токенизированный надзор от «учителя» для обучения «ученика», обходя ограничения традиционных моделей вознаграждения. Техника повышает эффективность обучения с подкреплением, обеспечивая более точную передачу знаний между моделями при сохранении стабильности процесса.

Традиционные методы обучения с подкреплением часто сталкиваются с трудностями при использовании моделей вознаграждения, которые могут быть неточными или ограничивающими. Предложенный метод «дельта-дистилляции» фокусируется на передаче разностных сигналов, что позволяет модели-ученику лучше улавливать нюансы поведения эталонной модели. Это снижает вычислительную нагрузку и повышает качество генерации ответов в задачах, требующих следования сложным инструкциям.

Авторы работы детально описывают математический аппарат метода, демонстрируя, как именно токенизированный контроль позволяет избежать типичных проблем «галлюцинаций» или деградации качества при дистилляции. Исследование предлагает решение для масштабирования обучения моделей, делая процесс более предсказуемым и менее зависимым от качества исходных функций вознаграждения.

Ключевые факты

  • Метод On-Policy Delta Distillation заменяет классические функции вознаграждения на токенизированный надзор от модели-учителя.
  • Техника решает проблему ограничений, накладываемых reward-моделями в процессе обучения с подкреплением.
  • Подход направлен на улучшение качества генерации и стабильности обучения при передаче знаний между моделями.
  • Работа опубликована на платформе arXiv под номером 2607.15161v1.