Исследователи представили метод Adaptive Trace Prefix Control, решающий проблему застоя алгоритма GRPO при обучении моделей сложным логическим задачам. Когда ни один вариант генерации в группе не оказывается верным, градиент исчезает, и обучение останавливается. Новый подход динамически добавляет префиксы правильных решений, позволяя плавно регулировать сложность задач и обеспечивать стабильное обновление весов модели.

Основная трудность стандартного GRPO заключается в том, что при отсутствии успешных попыток в группе модель не получает полезного обучающего сигнала. Это приводит к потере данных на самых сложных примерах, которые критически важны для развития навыков логического вывода. Авторы предлагают использовать «префиксный контроль», который превращает длину подсказки в непрерывный параметр сложности, помогая модели постепенно адаптироваться к решению трудных кейсов.

Данный подход позволяет эффективно использовать потенциал frontier-моделей, направляя их обучение через контролируемое введение эталонных фрагментов решения. Это делает процесс оптимизации более устойчивым и позволяет извлекать полезные градиенты даже из тех задач, с которыми модель изначально не справляется самостоятельно. Метод демонстрирует значительный потенциал для улучшения качества рассуждений в математических и логических бенчмарках.

Ключевые факты

  • Метод решает проблему исчезновения преимуществ в GRPO, когда все варианты генерации в группе являются ошибочными.
  • Введение префикса правильного решения позволяет модели обучаться на сложных задачах, которые ранее не давали градиентного сигнала.
  • Длина префикса используется как непрерывный регулятор сложности, позволяющий плавно усложнять условия для модели в процессе тренировки.
  • Техника направлена на повышение эффективности обучения моделей в задачах, требующих многошаговых логических рассуждений.