arXiv · 10.08.2026 ·Машинное обучение

Метод SR-OPSD для улучшения обучения языковых моделей с подкреплением

Исследователи представили метод SR-OPSD (Self-Referenced On-Policy Self-Distillation), который оптимизирует обучение моделей через плотное токенизированное руководство. В отличие от стандартных подходов, использующих внешние сигналы или усредненные копии весов, новый метод опирается на самореферентное обучение, что позволяет эффективнее использовать разреженные награды и повышать качество генерации текста при работе с RL-алгоритмами.

Традиционные методы обучения с подкреплением (RL) часто сталкиваются с проблемой разреженности наград, когда модель получает обратную связь только в конце длинной последовательности действий. Техника OPSD решает это, превращая финальный результат в пошаговые инструкции для модели. Однако классические реализации часто зависят от «замороженных» копий модели, что ограничивает гибкость обучения и адаптивность системы к новым данным.

SR-OPSD устраняет эти ограничения, внедряя механизм самореференции, где текущая политика выступает в роли собственного учителя. Это позволяет модели более динамично корректировать свои вероятностные распределения на уровне отдельных токенов. Такой подход снижает зависимость от внешних критиков и позволяет более эффективно использовать вычислительные ресурсы при дообучении моделей на специфических задачах или при настройке под предпочтения пользователей.

Ключевые факты

Метод SR-OPSD преобразует разреженные сигналы вознаграждения в плотное обучение на уровне токенов.
Техника исключает необходимость использования стоп-градиентов или экспоненциального скользящего среднего (EMA) для копий политики.
Метод направлен на улучшение стабильности обучения моделей в условиях, где традиционные RL-алгоритмы показывают низкую сходимость.
Подход позволяет модели обучаться на собственных траекториях, минимизируя потребность в дополнительных внешних контекстах для учителя.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Исследования и наука Метод RP-OPSD для улучшения логических способностей мультиязычных LLM Исследователи представили метод RP-OPSD (Reasoning-Pivot-Guided On-Policy Self-Distillation), направленный на улучшение логического мышления больших языковых моделей в мультиязычных сценариях. Подход фокусируется на передаче навыков рассуждения из моделей, обученных на высокоресурсных языках, в модели, работающие с менее распространенными языками, за счет оптимизации процесса самодистилляции и выделения критически важных логических сигналов в процессе генерации. arXiv · Обучение и дообучение Метод обучения LLM через самодистилляцию без внешнего контроля Исследователи представили новый подход к пост-тренингу больших языковых моделей, основанный на методе on-policy самодистилляции (OPSD). В отличие от существующих техник, этот метод полностью исключает необходимость во внешних сигналах, таких как эталонные ответы, отзывы среды или подсказки от более мощных моделей, позволяя модели обучаться исключительно на собственных внутренних данных. arXiv · Машинное обучение Метод β-OPSD для повышения качества рассуждений языковых моделей Исследователи представили метод β-OPSD, который оптимизирует процесс обучения моделей через самодистилляцию. Авторы доказали, что стандартная техника OPSD является частным случаем более широкого семейства алгоритмов, где коэффициент β регулирует штраф KL-дивергенции. Настройка этого параметра позволяет значительно повысить стабильность обучения и качество логических рассуждений моделей, устраняя необходимость в сложных инженерных доработках, характерных для классических подходов. arXiv · Исследования и наука Исследование Purified OPSD: почему самодистилляция вредит длинным цепочкам рассуждений Исследователи проанализировали метод on-policy self-distillation (OPSD), используемый для улучшения логических способностей LLM через обучение на собственных траекториях с подсказками «учителя». Выяснилось, что при работе с длинными цепочками рассуждений (long-CoT) этот подход не только не дает значимого прироста производительности, но и дестабилизирует процесс обучения, приводя к деградации способности модели к глубокому мышлению. arXiv · Машинное обучение Adaptive FastOPD: новый метод ускорения обучения моделей через дистилляцию Исследователи представили метод Adaptive FastOPD, оптимизирующий процесс on-policy дистилляции (OPD) в обучении языковых моделей. Технология динамически регулирует горизонт развертывания (rollout horizon) в зависимости от прогресса обучения, что позволяет сократить вычислительные затраты, возникающие из-за неравномерной длины ответов модели, и повысить эффективность использования ресурсов при сохранении качества supervision от учительской модели. Hacker News · Машинное обучение Роль обучения с подкреплением в развитии современных LLM Обучение с подкреплением (RL) стало критически важным этапом в создании современных больших языковых моделей, позволяя эффективно адаптировать их под человеческие предпочтения. Исследователи Гарвардского университета отмечают, что именно этот метод превращает базовые модели, обученные на огромных массивах данных, в полезных и безопасных ассистентов, способных следовать сложным инструкциям и минимизировать генерацию нежелательного контента. arXiv · Обучение и дообучение Метод Weak-to-Strong Generalization для эффективного обучения сильных моделей Исследователи представили метод обучения, позволяющий переносить навыки рассуждения от компактных моделей к более мощным системам через прямую дистилляцию на основе политики (on-policy distillation). Подход решает проблему высокой стоимости обучения с подкреплением (RLVR), исключая необходимость генерации множества вариантов ответов для каждой крупной модели, что значительно ускоряет процесс дообучения и снижает вычислительные затраты. arXiv · Машинное обучение On-Policy Delta Distillation: новый метод обучения моделей с подкреплением Исследователи представили метод On-Policy Delta Distillation, направленный на оптимизацию процесса пост-тренировки языковых моделей. Новый подход позволяет использовать токенизированный надзор от «учителя» для обучения «ученика», обходя ограничения традиционных моделей вознаграждения. Техника повышает эффективность обучения с подкреплением, обеспечивая более точную передачу знаний между моделями при сохранении стабильности процесса. arXiv · Машинное обучение Новый метод Predictive Divergence Masks для стабилизации обучения LLM с подкреплением Исследователи представили метод Predictive Divergence Masks, оптимизирующий процесс обучения LLM с подкреплением (RL). Новый подход заменяет стандартные маски доверительной области, используемые в PPO, более точными критериями близости и направления. Это позволяет эффективнее контролировать обновления политики, предотвращая деградацию модели при работе с off-policy данными и повышая общую стабильность обучения. arXiv · Машинное обучение Метод DASH улучшает обучение моделей рассуждения через адаптивную дистилляцию Исследователи представили метод DASH (Divergence-Adaptive Supervision Horizons), оптимизирующий процесс обучения моделей рассуждения с помощью он-полиси самодистилляции. Новый подход решает проблему разреженности сигналов вознаграждения, динамически адаптируя горизонт надзора в зависимости от расхождения между студентом и учителем. Это позволяет эффективно использовать плотные токеновые сигналы, повышая точность логических выводов модели.

← Все материалы