Исследователи обнаружили, что метод самодистилляции (OPSD), используемый для улучшения и выравнивания больших языковых моделей, может приводить к «коллапсу мышления». В сложных задачах на логику этот процесс вызывает резкое снижение способности модели к рассуждению. Авторы работы систематизировали этот эффект, определив его как критическую ловушку оптимизации, и предложили методы для предотвращения деградации производительности при дообучении.
Метод OPSD предполагает, что модель обучается на собственных ответах, что должно повышать её точность. Однако в ходе экспериментов выяснилось, что при итеративном обучении модель начинает терять «нативные» навыки рассуждения, заменяя их поверхностными паттернами. Это приводит к тому, что модель перестает эффективно справляться с многошаговыми логическими задачами, несмотря на кажущуюся оптимизацию параметров.
Для борьбы с этим явлением предложены стратегии, позволяющие сохранить когнитивные способности модели в процессе дистилляции. Исследование подчеркивает важность контроля качества генерируемых данных, на которых обучается модель, чтобы избежать накопления ошибок и деградации логических цепочек, возникающих при чрезмерной опоре на собственные предсказания.
Ключевые факты
- Феномен «коллапса мышления» (Thinking Collapse) проявляется как резкое падение качества логических выводов при использовании самодистилляции.
- Основная причина деградации кроется в ловушке оптимизации, при которой модель теряет способность к глубокому рассуждению в пользу имитации ответов.
- Исследование предлагает конкретные методы смягчения эффекта, направленные на сохранение нативных способностей LLM при дообучении.
- Работа затрагивает фундаментальные проблемы парадигмы On-Policy Self-Distillation, широко применяемой для настройки современных моделей.