arXiv · 12.07.2026 ·Машинное обучение

Новый метод Predictive Divergence Masks для стабилизации обучения LLM с подкреплением

Исследователи представили метод Predictive Divergence Masks, оптимизирующий процесс обучения LLM с подкреплением (RL). Новый подход заменяет стандартные маски доверительной области, используемые в PPO, более точными критериями близости и направления. Это позволяет эффективнее контролировать обновления политики, предотвращая деградацию модели при работе с off-policy данными и повышая общую стабильность обучения.

Традиционные методы обучения с подкреплением, такие как PPO, часто полагаются на коэффициенты важности сэмплированных токенов для ограничения шагов обновления. Однако такой подход нередко приводит к избыточным ограничениям или нестабильности, когда модель слишком сильно отклоняется от исходной стратегии поведения. Авторы работы предлагают использовать предиктивные маски, которые анализируют динамику расхождения вероятностей токенов до применения обновления.

Метод позволяет точнее оценивать, насколько текущее обновление политики соответствует заданным целям оптимизации, не допуская «катастрофических» сдвигов в распределении вероятностей. Это решение особенно актуально для задач Alignment и дообучения моделей на специфических наборах данных, где сохранение стабильности при интенсивном обновлении весов является критическим фактором для качества итоговых ответов.

Ключевые факты

Метод Predictive Divergence Masks заменяет стандартные критерии PPO для более точного контроля off-policy обновлений.
Предложенный подход использует два критерия: близости (proximity) и направления (direction) для оценки допустимости изменений в политике.
Технология направлена на решение проблемы нестабильности при обучении LLM с подкреплением, минимизируя риск деградации модели.
Исследование сфокусировано на улучшении математического аппарата, лежащего в основе алгоритмов оптимизации RL для больших языковых моделей.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Обучение и дообучение DOPD: новый метод дистилляции моделей с использованием привилегированной информации Исследователи представили метод Dual On-policy Distillation (DOPD), направленный на повышение эффективности обучения компактных моделей через дистилляцию знаний. Подход решает проблему потери качества при использовании привилегированной информации, разделяя процессы обучения учителя и ученика. Это позволяет передавать более точные сигналы на уровне токенов, улучшая производительность моделей без необходимости в чрезмерных вычислительных ресурсах. arXiv · Машинное обучение Адаптивный выбор токенов для оптимизации обучения LLM с подкреплением Исследователи представили метод Relative Surprisal Index (RSI) для оптимизации обучения LLM с помощью подкрепления с проверяемыми наградами (RLVR). Новый подход позволяет динамически определять, какие токены в процессе генерации рассуждений наиболее важны для достижения правильного результата. Это снижает вычислительные затраты и повышает эффективность обучения моделей при решении сложных логических задач. Hacker News · Машинное обучение Роль обучения с подкреплением в развитии современных LLM Hugging Face представил подробный разбор обучения с подкреплением (RL) в контексте больших языковых моделей. Материал объясняет, как методы RL, включая PPO и DPO, позволяют настраивать поведение моделей в соответствии с предпочтениями человека. Это фундаментальный этап, превращающий базовые модели, обученные на предсказании следующего токена, в полезных и безопасных ИИ-ассистентов, способных следовать сложным инструкциям. arXiv · Машинное обучение Масштабирование обучения RLHF в асинхронных системах Исследователи проанализировали влияние использования устаревших данных (staleness) на эффективность обучения с подкреплением на основе отзывов людей (RLHF). В высокопроизводительных системах генерация траекторий часто отделена от оптимизации политики, что приводит к задержкам. Авторы предложили математическую модель для корректировки скорости обучения в асинхронном алгоритме GRPO, позволяющую минимизировать негативный эффект от использования неактуальных данных при обновлении весов модели. arXiv · Исследования и наука Улучшение точности прогнозирования LLM через управление признаками Исследователи представили метод повышения качества прогнозирования в больших языковых моделях, основанный на анализе их внутренних состояний. Используя разреженные автокодировщики, авторы выявили, что модели часто опираются на специфические временные знания, а не на общие закономерности. Управление этими внутренними признаками позволяет сместить фокус модели на обобщаемые паттерны, что значительно повышает точность предсказаний в различных задачах. Hacker News · Обучение и дообучение Практические уроки дообучения моделей с помощью обучения с подкреплением Исследователи опубликовали детальный разбор экспериментов по пост-тренировке языковых моделей с использованием обучения с подкреплением (RL). В работе проанализированы ключевые факторы, влияющие на стабильность процесса и итоговое качество ответов, включая выбор стратегий оптимизации, подбор параметров вознаграждения и методы предотвращения деградации модели при интенсивном обучении на предпочтениях пользователей. arXiv · Обучение и дообучение DemoPSD: новый метод обучения LLM через модуляцию разногласий Исследователи представили метод DemoPSD (Disagreement-Modulated Policy Self-Distillation), направленный на улучшение процесса самодистилляции больших языковых моделей. Новый подход решает проблему переобучения на паттернах внутри домена, возникающую при использовании стандартной дистилляции, где модель выступает одновременно учителем и учеником. Метод динамически регулирует влияние учительских подсказок, повышая качество логических рассуждений модели. arXiv · Машинное обучение Новый метод обучения dLLMs через самодистилляцию Исследователи предложили новый подход к обучению диффузионных языковых моделей (dLLMs) — on-policy self-distillation (OPSD). Этот метод уже показал свою эффективность для обычных языковых моделей, но его применение к dLLMs оставалось неизученным. arXiv · Машинное обучение Новый метод Process Advantage Signal Shaping для обучения LLM с рассуждениями Исследователи представили метод Process Advantage Signal Shaping (PASS), направленный на оптимизацию обучения LLM с использованием подкрепления (RL). Новый подход решает проблему нестабильности сигналов при использовании GRPO, позволяя более эффективно интегрировать пошаговые награды (PRM) в процесс обучения моделей, склонных к сложным логическим рассуждениям, что повышает точность итоговых ответов. arXiv · Обучение и дообучение Метод Weak-to-Strong Generalization для эффективного обучения сильных моделей Исследователи представили метод обучения, позволяющий переносить навыки рассуждения от компактных моделей к более мощным системам через прямую дистилляцию на основе политики (on-policy distillation). Подход решает проблему высокой стоимости обучения с подкреплением (RLVR), исключая необходимость генерации множества вариантов ответов для каждой крупной модели, что значительно ускоряет процесс дообучения и снижает вычислительные затраты.

← Все материалы