arXiv · 06.07.2026 ·Машинное обучение

TREK: новый метод обучения моделей через расширение пространства поиска

Исследователи представили метод TREK (Teacher-Routed Exploration via Forward KL), решающий проблему стагнации алгоритма GRPO при работе со сложными задачами. В отличие от стандартной дистилляции, TREK использует этот процесс для расширения области поиска эффективных стратегий рассуждения, позволяя модели находить верные решения, которые ранее выходили за пределы её текущих возможностей обучения.

Основная сложность существующих методов оптимизации политик, таких как GRPO, заключается в их зависимости от текущих траекторий модели. Если правильный путь решения задачи не представлен в текущем распределении вероятностей, модель перестает прогрессировать. TREK вводит двухэтапную процедуру, где дистилляция знаний от учителя направляет исследование модели, помогая ей «увидеть» более сложные логические цепочки до начала этапа подкрепления.

Этот подход позволяет эффективно преодолевать барьеры в задачах, требующих многошагового рассуждения. Вместо того чтобы просто имитировать ответы учителя, модель использует его знания для навигации в пространстве возможных решений, что значительно повышает качество генерации на сложных промптах, где традиционные методы обучения с подкреплением показывают низкую результативность.

Ключевые факты

Метод TREK использует дистилляцию для расширения поддержки исследования (exploration support expansion), а не для прямой имитации поведения учителя.
Алгоритм решает проблему «застревания» GRPO на сложных задачах, где правильные решения находятся вне зоны текущей политики модели.
Процедура состоит из двух этапов: направленное исследование через Forward KL и последующее уточнение через подкрепление.
Метод позволяет модели обучаться на траекториях, которые изначально были недоступны для генерации в рамках стандартного on-policy обучения.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Метод TRIAGE для точного распределения вознаграждения в агентном обучении Исследователи представили метод TRIAGE, который решает проблему неэффективного распределения кредита (credit assignment) в агентном обучении с подкреплением. В отличие от стандартного алгоритма GRPO, который оценивает только финальный результат, TRIAGE классифицирует действия агента по типам ролей. Это позволяет точнее определять вклад каждого шага — от навигации до редактирования — в итоговый успех, избегая наказания за полезные исследовательские действия. arXiv · Машинное обучение Новый метод обучения нейросетей без жесткого копирования знаний Исследователи предложили альтернативу традиционному дистилляции знаний (knowledge distillation), где маленькие модели пытаются копировать логиты больших. Проблема в том, что это делает их слишком узкоспециализированными, ухудшая обобщающую способность. arXiv · Машинное обучение Исследование влияния позиционного смещения в методах дистилляции моделей Исследователи проанализировали эффективность метода On-Policy Distillation (OPD), который используется для ускорения обучения моделей с подкреплением через пошаговый контроль со стороны «учителя». Стандартный подход предполагает равномерное распределение весов для всех токенов при расчете функции потерь, однако новая работа доказывает, что такой метод не учитывает накопленные ошибки в длинных последовательностях. arXiv · Обучение и дообучение DOPD: новый метод дистилляции моделей с использованием привилегированной информации Исследователи представили метод Dual On-policy Distillation (DOPD), направленный на повышение эффективности обучения компактных моделей через дистилляцию знаний. Подход решает проблему потери качества при использовании привилегированной информации, разделяя процессы обучения учителя и ученика. Это позволяет передавать более точные сигналы на уровне токенов, улучшая производительность моделей без необходимости в чрезмерных вычислительных ресурсах. arXiv · Обучение и дообучение Метод Weak-to-Strong Generalization для эффективного обучения сильных моделей Исследователи представили метод обучения, позволяющий переносить навыки рассуждения от компактных моделей к более мощным системам через прямую дистилляцию на основе политики (on-policy distillation). Подход решает проблему высокой стоимости обучения с подкреплением (RLVR), исключая необходимость генерации множества вариантов ответов для каждой крупной модели, что значительно ускоряет процесс дообучения и снижает вычислительные затраты. arXiv · Исследования и наука Метод Rollout-Retrieval для непрерывного обучения беспилотных систем Исследователи представили метод Rollout-Retrieval, позволяющий системам автономного вождения непрерывно совершенствоваться на основе допущенных ошибок. В отличие от традиционного обучения на экспертных демонстрациях, новый подход внедряет механизм коррекции и сохранения опыта, что помогает моделям эффективно адаптироваться к редким и сложным дорожным ситуациям, с которыми они сталкиваются в процессе реальной эксплуатации. arXiv · Машинное обучение Исследование теоретических основ алгоритма GRPO в обучении моделей Исследователи проанализировали алгоритм Group Relative Policy Optimization (GRPO), который исключает использование обученного критика в PPO, заменяя его средним значением наград группы прогонов. Авторы работы доказали, что при использовании только итоговой награды за весь ответ возникает проблема распределения кредита: каждый токен получает одинаковое преимущество, что ведет к деградации обучения на уровне отдельных токенов. arXiv · Машинное обучение Масштабирование обучения RLHF в асинхронных системах Исследователи проанализировали влияние использования устаревших данных (staleness) на эффективность обучения с подкреплением на основе отзывов людей (RLHF). В высокопроизводительных системах генерация траекторий часто отделена от оптимизации политики, что приводит к задержкам. Авторы предложили математическую модель для корректировки скорости обучения в асинхронном алгоритме GRPO, позволяющую минимизировать негативный эффект от использования неактуальных данных при обновлении весов модели. Hacker News · Обучение и дообучение Дистилляция знаний из закрытых LLM: новый подход к обучению компактных моделей Исследователи представили метод дистилляции знаний из «черных ящиков» — проприетарных больших языковых моделей — для обучения более компактных и эффективных нейросетей. Подход позволяет переносить сложные логические способности и лингвистические навыки от гигантских моделей к меньшим архитектурам, сохраняя высокую производительность при значительном снижении требований к вычислительным ресурсам и затратам на инференс. arXiv · Машинное обучение Giskard: новый метод безопасного децентрализованного обучения моделей Исследователи представили Giskard — протокол для децентрализованного машинного обучения, который решает проблему одновременного обеспечения конфиденциальности данных и защиты от вредоносных узлов. В распределенных системах клиенты обучают модели локально, обмениваясь параметрами или градиентами с соседями. Традиционные подходы часто сталкиваются с конфликтом: методы защиты приватности, такие как дифференциальная приватность или шифрование, затрудняют выявление «византийских» атак, при которых участники сети намеренно передают искаженные данные для саботажа обучения.

← Все материалы