arXiv · 20.07.2026 ·Машинное обучение

OR Else: новый метод оптимизации политики для обучения LLM

Исследователи представили метод Output Reset (OR) — альтернативу стандартным алгоритмам PPO и GRPO, используемым при дообучении языковых моделей. Вместо резкого ограничения функции потерь (clipping), OR применяет гладкое правило насыщения, что позволяет избежать скачков в производных целевой функции и обеспечивает более стабильную оптимизацию политики при работе с большими моделями.

Традиционные подходы, такие как PPO, полагаются на обрезание суррогатных целей, что приводит к внезапным изменениям в градиентах при достижении определенных порогов. Метод OR заменяет этот механизм на квадратичную функцию потерь с односторонним насыщением. Это изменение сглаживает ландшафт оптимизации, позволяя модели эффективнее адаптироваться в процессе обучения с подкреплением (RLHF) или при использовании методов генерации с групповым вознаграждением.

Эксперименты показывают, что интеграция OR в существующие пайплайны обучения (PPO-OR и GRPO-OR) не требует значительных архитектурных изменений, но существенно меняет динамику обновления весов. Плавность функции позволяет алгоритму точнее следовать градиенту, что критически важно для предотвращения деградации модели при интенсивном дообучении на больших наборах данных.

Ключевые факты

Метод OR (Output Reset) заменяет стандартное «обрезание» (clipping) в алгоритмах PPO и GRPO.
Использование OR устраняет резкие изменения в производной скалярной целевой функции.
Предложены модифицированные версии алгоритмов: PPO-OR и GRPO-OR.
Метод ориентирован на улучшение стабильности при пост-тренинге больших языковых моделей.
Исследование сфокусировано на решении проблемы насыщения функции потерь в задачах оптимизации политики.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Новый метод Predictive Divergence Masks для стабилизации обучения LLM с подкреплением Исследователи представили метод Predictive Divergence Masks, оптимизирующий процесс обучения LLM с подкреплением (RL). Новый подход заменяет стандартные маски доверительной области, используемые в PPO, более точными критериями близости и направления. Это позволяет эффективнее контролировать обновления политики, предотвращая деградацию модели при работе с off-policy данными и повышая общую стабильность обучения. arXiv · Обучение и дообучение ZO-Act: новый метод эффективного дообучения LLM без обратного распространения ошибки Исследователи представили ZO-Act — метод дообучения больших языковых моделей с использованием оптимизации нулевого порядка. Технология позволяет обновлять веса моделей без классического обратного распространения ошибки, что критично при ограниченных ресурсах памяти. Метод ограничивает возмущения весов фиксированными подпространствами, основанными на активациях, что значительно снижает дисперсию оценок и повышает качество обучения по сравнению с традиционными подходами. Hacker News · Машинное обучение Роль обучения с подкреплением в развитии современных LLM Hugging Face представил подробный разбор обучения с подкреплением (RL) в контексте больших языковых моделей. Материал объясняет, как методы RL, включая PPO и DPO, позволяют настраивать поведение моделей в соответствии с предпочтениями человека. Это фундаментальный этап, превращающий базовые модели, обученные на предсказании следующего токена, в полезных и безопасных ИИ-ассистентов, способных следовать сложным инструкциям. arXiv · Машинное обучение Масштабирование обучения RLHF в асинхронных системах Исследователи проанализировали влияние использования устаревших данных (staleness) на эффективность обучения с подкреплением на основе отзывов людей (RLHF). В высокопроизводительных системах генерация траекторий часто отделена от оптимизации политики, что приводит к задержкам. Авторы предложили математическую модель для корректировки скорости обучения в асинхронном алгоритме GRPO, позволяющую минимизировать негативный эффект от использования неактуальных данных при обновлении весов модели. Hacker News · Обучение и дообучение Практические уроки дообучения моделей с помощью обучения с подкреплением Исследователи опубликовали детальный разбор экспериментов по пост-тренировке языковых моделей с использованием обучения с подкреплением (RL). В работе проанализированы ключевые факторы, влияющие на стабильность процесса и итоговое качество ответов, включая выбор стратегий оптимизации, подбор параметров вознаграждения и методы предотвращения деградации модели при интенсивном обучении на предпочтениях пользователей. arXiv · Машинное обучение Исследование теоретических основ алгоритма GRPO в обучении моделей Исследователи проанализировали алгоритм Group Relative Policy Optimization (GRPO), который исключает использование обученного критика в PPO, заменяя его средним значением наград группы прогонов. Авторы работы доказали, что при использовании только итоговой награды за весь ответ возникает проблема распределения кредита: каждый токен получает одинаковое преимущество, что ведет к деградации обучения на уровне отдельных токенов. arXiv · Машинное обучение Новый метод Process Advantage Signal Shaping для обучения LLM с рассуждениями Исследователи представили метод Process Advantage Signal Shaping (PASS), направленный на оптимизацию обучения LLM с использованием подкрепления (RL). Новый подход решает проблему нестабильности сигналов при использовании GRPO, позволяя более эффективно интегрировать пошаговые награды (PRM) в процесс обучения моделей, склонных к сложным логическим рассуждениям, что повышает точность итоговых ответов. arXiv · Обучение и дообучение PPL-Factory: оптимизация дообучения LLM через выбор данных Исследователи представили PPL-Factory — метод селективного отбора данных для дообучения больших языковых моделей. Вместо использования фиксированных эвристик, система динамически оценивает информативность обучающих примеров с учетом специфики целевой задачи и ограничений вычислительного бюджета. Это позволяет значительно сократить затраты на обучение, сохраняя при этом высокую точность модели на профильных бенчмарках. arXiv · Машинное обучение Ускорение конформного предсказания через аппроксимацию Leave-One-Out Исследователи представили новый метод оптимизации конформного предсказания, который значительно снижает вычислительные затраты при оценке неопределенности моделей. За счет использования аппроксимации метода Leave-One-Out (LOO) удалось избежать необходимости полного переобучения модели для каждого примера, сохраняя при этом высокую точность и статистическую надежность прогнозов, что критически важно для внедрения ИИ в высоконагруженные системы. arXiv · Исследования и наука Метод Partition, Prompt, Aggregate для повышения точности LLM Исследователи представили метод Partition, Prompt, Aggregate (PPA), направленный на улучшение логических выводов LLM через использование закона полной вероятности. Подход разбивает сложные задачи на подмножества, анализирует их независимо и агрегирует результаты, что позволяет модели достигать более высокой статистической согласованности ответов и снижать вероятность галлюцинаций при выполнении многошаговых рассуждений.

← Все материалы