arXiv · 16.07.2026 ·Машинное обучение

Новый метод обучения Masked Diffusion Language Models через Mask-Aware Policy Gradients

Исследователи представили метод Mask-Aware Policy Gradients, решающий проблему неэффективности обучения диффузионных языковых моделей (MDLM) с подкреплением. Новый подход учитывает порядок снятия масок при генерации токенов, что позволяет точнее оценивать логарифмическое правдоподобие и улучшать качество рассуждений моделей, преодолевая ограничения существующих методов, игнорирующих последовательность процесса демаскирования.

Традиционные подходы к обучению с подкреплением (RL) для языковых моделей часто сталкиваются с трудностями при работе с диффузионными архитектурами из-за сложности вычисления логарифмической вероятности. В MDLM генерация происходит итеративно, где на каждом шаге модель предсказывает токены для замаскированных позиций. Игнорирование динамики этого процесса при расчете градиентов политики приводит к нестабильности и снижению точности генерации.

Предложенный алгоритм интегрирует информацию о масках непосредственно в процесс оптимизации стратегии. Это позволяет модели лучше «понимать» структуру генерации и эффективнее использовать сигналы вознаграждения. Метод демонстрирует потенциал для повышения производительности диффузионных моделей в задачах, требующих логических рассуждений, делая их более конкурентоспособными по сравнению с авторегрессионными архитектурами.

Ключевые факты

Метод Mask-Aware Policy Gradients оптимизирует обучение MDLM, учитывая порядок снятия масок в процессе генерации.
Новый подход решает проблему вычислительной сложности оценки логарифмического правдоподобия в диффузионных моделях.
Алгоритм позволяет более эффективно применять обучение с подкреплением для улучшения навыков логического вывода в моделях данного типа.
Исследование направлено на устранение ограничений существующих методов, которые фокусировались исключительно на предсказании токенов без учета динамики демаскирования.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Новый метод Predictive Divergence Masks для стабилизации обучения LLM с подкреплением Исследователи представили метод Predictive Divergence Masks, оптимизирующий процесс обучения LLM с подкреплением (RL). Новый подход заменяет стандартные маски доверительной области, используемые в PPO, более точными критериями близости и направления. Это позволяет эффективнее контролировать обновления политики, предотвращая деградацию модели при работе с off-policy данными и повышая общую стабильность обучения. arXiv · Машинное обучение Новый метод обучения dLLMs через самодистилляцию Исследователи предложили новый подход к обучению диффузионных языковых моделей (dLLMs) — on-policy self-distillation (OPSD). Этот метод уже показал свою эффективность для обычных языковых моделей, но его применение к dLLMs оставалось неизученным. Hacker News · Исследования и наука Новый метод обучения диффузионных моделей для улучшения логических рассуждений Исследователи представили метод Multi-Turn Reflective Masking (MTRM), направленный на повышение способности диффузионных моделей к логическому мышлению. Традиционные диффузионные модели часто сталкиваются с трудностями при решении задач, требующих многошагового планирования или последовательного вывода, так как они генерируют данные итеративно, опираясь на зашумленные представления. Новый подход меняет процесс обучения, внедряя механизм рефлексии в структуру маскирования. arXiv · Машинное обучение Adaptive Block Diffusion решает проблему несовпадения обучения и инференса в DLM Исследователи представили метод Adaptive Block Diffusion (ABD), направленный на устранение разрыва между обучением и инференсом в диффузионных языковых моделях (DLM). Традиционные модели ограничены фиксированными контекстными структурами, что приводит к деградации качества при работе с произвольными конфигурациями. Новый подход оптимизирует процесс шумоподавления, позволяя моделям эффективно адаптироваться к различным длинам последовательностей и структурам данных вне обучающей сетки. arXiv · Исследования и наука Метод VGB для повышения эффективности Masked Diffusion Models Исследователи представили MDM-VGB — новый метод сэмплирования для Masked Diffusion Models (MDM), который позволяет улучшить качество генерации на этапе инференса. Подход использует принципы ремаскирования с учетом целевых наград, что позволяет моделям лучше соблюдать структурные ограничения и оптимизировать выходные данные без необходимости дополнительного обучения или донастройки весов нейросети. arXiv · Машинное обучение On-Policy Delta Distillation: новый метод обучения моделей с подкреплением Исследователи представили метод On-Policy Delta Distillation, направленный на оптимизацию процесса пост-тренировки языковых моделей. Новый подход позволяет использовать токенизированный надзор от «учителя» для обучения «ученика», обходя ограничения традиционных моделей вознаграждения. Техника повышает эффективность обучения с подкреплением, обеспечивая более точную передачу знаний между моделями при сохранении стабильности процесса. arXiv · Обучение и дообучение Метод Weak-to-Strong Generalization для эффективного обучения сильных моделей Исследователи представили метод обучения, позволяющий переносить навыки рассуждения от компактных моделей к более мощным системам через прямую дистилляцию на основе политики (on-policy distillation). Подход решает проблему высокой стоимости обучения с подкреплением (RLVR), исключая необходимость генерации множества вариантов ответов для каждой крупной модели, что значительно ускоряет процесс дообучения и снижает вычислительные затраты. arXiv · Машинное обучение Posterior Refinement: новый метод ускорения генерации текста в неавторегрессионных моделях Исследователи представили метод Posterior Refinement, решающий проблему низкой эффективности неавторегрессионных языковых моделей. Новый подход использует Any-Order Flow Maps для итеративного уточнения текста, позволяя моделям критиковать и перегенерировать произвольные фрагменты токенов одновременно. Это устраняет ошибки факторизации, характерные для маскированных диффузионных моделей, и значительно повышает качество генерации при сохранении высокой скорости работы. arXiv · Обучение и дообучение DemoPSD: новый метод обучения LLM через модуляцию разногласий Исследователи представили метод DemoPSD (Disagreement-Modulated Policy Self-Distillation), направленный на улучшение процесса самодистилляции больших языковых моделей. Новый подход решает проблему переобучения на паттернах внутри домена, возникающую при использовании стандартной дистилляции, где модель выступает одновременно учителем и учеником. Метод динамически регулирует влияние учительских подсказок, повышая качество логических рассуждений модели. arXiv · Машинное обучение Оптимизация инференса LLM через адаптивную глубину декодирования Исследователи представили метод Depth Exploration, оптимизирующий процесс генерации токенов в авторегрессионных моделях. Вместо прогона каждого токена через все слои нейросети, система динамически определяет глубину вычислений, необходимую для уверенного предсказания. Это позволяет существенно сократить вычислительные затраты при сохранении точности, так как многие токены становятся предсказуемыми на промежуточных этапах обработки данных внутри архитектуры модели.

← Все материалы