arXiv · 06.07.2026 ·Обучение и дообучение

Метод Weak-to-Strong Generalization для эффективного обучения сильных моделей

Исследователи представили метод обучения, позволяющий переносить навыки рассуждения от компактных моделей к более мощным системам через прямую дистилляцию на основе политики (on-policy distillation). Подход решает проблему высокой стоимости обучения с подкреплением (RLVR), исключая необходимость генерации множества вариантов ответов для каждой крупной модели, что значительно ускоряет процесс дообучения и снижает вычислительные затраты.

Традиционные методы обучения с подкреплением и верифицируемыми наградами требуют значительных ресурсов, так как каждая итерация обучения сильной модели подразумевает генерацию большого количества «роллаутов» (вариантов ответов). С ростом параметров моделей этот этап становится критическим узким местом, замедляющим разработку и масштабирование ИИ-систем.

Предложенная альтернатива переносит процесс RL на небольшую, менее затратную модель. Полученные знания затем передаются более крупной системе, что позволяет сохранить высокое качество логических рассуждений при кратно меньших затратах на инференс в процессе обучения. Этот метод открывает путь к более эффективному использованию вычислительных мощностей при создании специализированных моделей с глубокими навыками рассуждения.

Ключевые факты

Метод основан на прямой дистилляции политики (Direct On-Policy Distillation), что минимизирует вычислительные издержки на этапе обучения.
Использование компактных моделей для генерации роллаутов позволяет избежать «узкого места» в виде высокой стоимости обучения крупных моделей.
Подход сохраняет эффективность RLVR (Reinforcement Learning with Verifiable Rewards) при значительном снижении требований к инфраструктуре.
Исследование направлено на решение проблемы масштабируемости обучения моделей с продвинутыми навыками логического вывода.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Исследования и наука Исследование Tandem RLVR: как улучшить логику LLM через проверяемые награды Исследователи представили метод Tandem Reinforcement Learning with Verifiable Rewards (RLVR), направленный на повышение логических способностей больших языковых моделей. Метод решает проблему дрейфа модели в сторону неэффективных или идиосинкразических паттернов рассуждений, которые часто возникают при стандартном обучении с подкреплением, обеспечивая более стабильное достижение экспертных результатов в сложных задачах, таких как олимпиадная математика. arXiv · Обучение и дообучение DOPD: новый метод дистилляции моделей с использованием привилегированной информации Исследователи представили метод Dual On-policy Distillation (DOPD), направленный на повышение эффективности обучения компактных моделей через дистилляцию знаний. Подход решает проблему потери качества при использовании привилегированной информации, разделяя процессы обучения учителя и ученика. Это позволяет передавать более точные сигналы на уровне токенов, улучшая производительность моделей без необходимости в чрезмерных вычислительных ресурсах. Hacker News · Обучение и дообучение Дистилляция знаний из закрытых LLM: новый подход к обучению компактных моделей Исследователи представили метод дистилляции знаний из «черных ящиков» — проприетарных больших языковых моделей — для обучения более компактных и эффективных нейросетей. Подход позволяет переносить сложные логические способности и лингвистические навыки от гигантских моделей к меньшим архитектурам, сохраняя высокую производительность при значительном снижении требований к вычислительным ресурсам и затратам на инференс. arXiv · Обучение и дообучение Новый метод обучения LLM через промежуточное RL Исследователи предложили новый подход к обучению языковых моделей (LLM) с использованием reinforcement learning (RL) на промежуточном этапе обучения. В статье, опубликованной на arXiv, авторы показывают, что традиционные методы RL с редкими наградами (sparse reward RL) сильно зависят от начальной подготовки модели. arXiv · Исследования и наука Риски самодистилляции в обучении LLM: снижение разнообразия ответов Исследователи обнаружили, что метод обучения on-policy self-distillation, использующий одну модель в качестве учителя и ученика, ведет к снижению разнообразия генераций. Несмотря на рост точности pass@1, модель теряет способность к вариативности ответов, что делает бесполезным увеличение количества попыток (pass@k) для улучшения итогового результата. Проблема кроется в накоплении ошибок при обучении на собственных демонстрациях. arXiv · Машинное обучение Новый метод обучения dLLMs через самодистилляцию Исследователи предложили новый подход к обучению диффузионных языковых моделей (dLLMs) — on-policy self-distillation (OPSD). Этот метод уже показал свою эффективность для обычных языковых моделей, но его применение к dLLMs оставалось неизученным. Hacker News · Исследования и наука Обучение с подкреплением за пределами верифицируемых задач Статья исследует ограничения классического обучения с подкреплением (RL) в задачах, где нет четкого сигнала вознаграждения или возможности проверки результата. Автор анализирует, как современные методы адаптации моделей позволяют ИИ эффективно обучаться в условиях неопределенности и субъективных критериев успеха, выходя за рамки традиционных игровых сред и математических оптимизационных задач. arXiv · Машинное обучение Метод RiVER позволяет обучать LLM с подкреплением без эталонных ответов Исследователи представили фреймворк RiVER (Ranking-induced VERifiable), который позволяет обучать языковые модели методом обучения с подкреплением (RL) в задачах, где отсутствуют заранее известные эталонные решения. Вместо сравнения с «золотым стандартом» система использует ранжирование ответов для оптимизации, что расширяет возможности применения RL в областях, где оценка качества результата носит субъективный или эвристический характер. arXiv · Машинное обучение Исследование влияния позиционного смещения в методах дистилляции моделей Исследователи проанализировали эффективность метода On-Policy Distillation (OPD), который используется для ускорения обучения моделей с подкреплением через пошаговый контроль со стороны «учителя». Стандартный подход предполагает равномерное распределение весов для всех токенов при расчете функции потерь, однако новая работа доказывает, что такой метод не учитывает накопленные ошибки в длинных последовательностях. Hacker News · Безопасность и алайнмент OpenAI представила подходы к обучению моделей с долгосрочной пользой OpenAI опубликовала исследование, посвященное методам обучения с подкреплением (RL), направленным на создание моделей, чье поведение остается полезным и безопасным в долгосрочной перспективе. Основной фокус работы смещен с краткосрочного выполнения задач на формирование устойчивых паттернов поведения, которые приносят пользу пользователю на протяжении длительного взаимодействия.

← Все материалы