Исследователи изучили, как обучение с подкреплением (RL) влияет на способность моделей к логическому выводу. Эксперименты в контролируемой среде показали, что RL не просто усиливает базовые навыки, а позволяет модели комбинировать их в сложные стратегии. Это доказывает, что пост-трейнинг способствует формированию новых высокоуровневых алгоритмов решения задач, выходящих за рамки исходных данных предварительного обучения.
В ходе работы авторы использовали среду с грамматикой переписывания символов, где распределение данных было полностью известно, а каждый шаг генерации поддавался аудиту. Это позволило отследить, как именно трансформер переходит от простых цепочек преобразований к сложным логическим цепочкам. Результаты подтверждают, что RL-посттрейнинг выступает механизмом синтеза новых стратегий, а не только инструментом оптимизации уже существующих паттернов поведения.
Данное исследование проливает свет на природу «эмерджентных» способностей моделей. Вместо того чтобы полагаться на случайное появление навыков в процессе претрейна, разработчики могут целенаправленно использовать RL для обучения моделей составным стратегиям. Это открывает путь к созданию более предсказуемых и эффективных методов дообучения, где логические цепочки выстраиваются на основе четко заданных правил и целей.
Ключевые факты
- Исследование сфокусировано на вопросе: является ли RL-посттрейнинг простым усилением латентных навыков или инструментом создания новых стратегий.
- Использована среда с грамматикой переписывания символов, обеспечивающая полную прозрачность и аудируемость процесса генерации.
- Доказано, что RL-обучение позволяет модели композиционно объединять примитивные навыки в сложные алгоритмы решения задач.
- Работа демонстрирует, что высокоуровневые стратегии могут быть сформированы в процессе пост-трейнинга, даже если они отсутствовали в явном виде при предварительном обучении.