arXiv · 08.07.2026 ·Машинное обучение

Новый метод повышения эффективности RLHF для диффузионных моделей

Исследователи представили метод Selective Timestep Weighting and Advantage-Based Replay, который значительно повышает эффективность обучения с подкреплением на основе отзывов людей (RLHF) для диффузионных моделей. Подход позволяет сократить количество необходимых оценок от человека или модели вознаграждения, решая проблему высокой ресурсоемкости адаптации генеративных моделей под предпочтения пользователей в реальных сценариях.

Традиционные методы RLHF для диффузионных моделей требуют огромных объемов данных, так как процесс генерации включает множество итеративных шагов. Новый алгоритм оптимизирует этот процесс за счет селективного взвешивания временных шагов (timesteps) и использования буфера воспроизведения, основанного на преимуществе (advantage-based replay). Это позволяет модели быстрее фокусироваться на наиболее значимых для качества генерации этапах процесса диффузии.

Внедрение этого подхода позволяет снизить вычислительные затраты и объем требуемых человеческих оценок, что делает дообучение диффузионных моделей более доступным для практического применения. Метод демонстрирует улучшение сходимости и стабильности обучения, что критически важно при работе с моделями генерации изображений и видео, где каждый шаг обратной диффузии требует значительных ресурсов.

Ключевые факты

Метод решает проблему неэффективности RLHF в диффузионных моделях, требующих большого количества оценок.
Алгоритм использует селективное взвешивание временных шагов для оптимизации процесса обучения.
Применение буфера воспроизведения на основе преимущества ускоряет сходимость модели к целевым предпочтениям.
Разработка направлена на повышение практической применимости RLHF в реальных условиях с ограниченными ресурсами.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Исследования и наука Новый метод обучения видеомоделей Shell-LCC без внешних функций вознаграждения Исследователи представили метод Shell-LCC, позволяющий оптимизировать диффузионные модели для генерации видео без использования внешних моделей вознаграждения или дорогостоящего обучения с подкреплением (RLHF/DPO). Авторы доказывают, что структура данных сама по себе содержит скрытые сигналы, которые можно использовать для улучшения качества генерации, что значительно снижает вычислительные затраты и зависимость от человеческой разметки при сохранении высокой детализации контента. arXiv · Машинное обучение Оптимизация визуальных генеративных моделей через распределенные награды Исследователи представили новый метод дообучения генеративных моделей, использующий распределенные награды вместо традиционных пообразных функций. Подход позволяет избежать «взлома наград» (reward hacking), при котором модели теряют разнообразие контента и создают визуальные артефакты. Новый фреймворк обеспечивает более точное соответствие целевым характеристикам, сохраняя при этом высокое качество и вариативность генерируемых изображений в процессе обучения. arXiv · Машинное обучение Новый метод обучения языковых моделей с комбинированием верифицируемых наград и человеческих предпочтений Исследователи представили метод обучения языковых моделей, объединяющий RLVR (обучение с подкреплением на основе верифицируемых наград) и человеческие демонстрации. Подход позволяет оптимизировать модели не только по объективным метрикам, таким как корректность кода или математических вычислений, но и учитывать субъективные аспекты качества текста, включая стиль, структуру и логическую связность, которые ранее игнорировались традиционными алгоритмами. arXiv · Машинное обучение Адаптивный выбор токенов для оптимизации обучения LLM с подкреплением Исследователи представили метод Relative Surprisal Index (RSI) для оптимизации обучения LLM с помощью подкрепления с проверяемыми наградами (RLVR). Новый подход позволяет динамически определять, какие токены в процессе генерации рассуждений наиболее важны для достижения правильного результата. Это снижает вычислительные затраты и повышает эффективность обучения моделей при решении сложных логических задач. arXiv · Машинное обучение Повышение устойчивости нейросетевых алгоритмов реконструкции данных Исследователи представили новый фреймворк для решения обратных задач в машинном обучении, использующий методы дистрибутивно-робастной оптимизации (DRO). Подход позволяет нейросетям сохранять точность реконструкции даже при значительных отклонениях характеристик шума в тестовых данных от тех, что использовались при обучении, решая проблему слабой обобщающей способности стандартных моделей в условиях изменчивой среды. arXiv · Исследования и наука DiT-Reward: использование генеративных моделей для оценки качества изображений Исследователи представили метод DiT-Reward, который позволяет использовать предобученные диффузионные трансформеры для оценки качества генерации изображений. Вместо создания отдельной системы для проверки результатов, авторы адаптировали архитектуру генеративной модели под задачу предсказания вознаграждения (reward modeling). Это позволяет системе точнее определять, насколько сгенерированное изображение соответствует заданному текстовому описанию. arXiv · Исследования и наука Адаптивное воображение для переноса обучения в визуальном RL Исследователи представили метод Domain Adaptation with Adaptive Imagination (DAAI), решающий проблему переноса моделей обучения с подкреплением (RL) из симуляции в реальный мир. Новый подход позволяет агентам адаптироваться к визуальным различиям сред при ограниченном объеме реальных данных, минимизируя разрыв в распределении состояний, который критически затрудняет работу систем компьютерного зрения в робототехнике. arXiv · Обучение и дообучение Метод Weak-to-Strong Generalization для эффективного обучения сильных моделей Исследователи представили метод обучения, позволяющий переносить навыки рассуждения от компактных моделей к более мощным системам через прямую дистилляцию на основе политики (on-policy distillation). Подход решает проблему высокой стоимости обучения с подкреплением (RLVR), исключая необходимость генерации множества вариантов ответов для каждой крупной модели, что значительно ускоряет процесс дообучения и снижает вычислительные затраты. arXiv · Исследования и наука Исследование Tandem RLVR: как улучшить логику LLM через проверяемые награды Исследователи представили метод Tandem Reinforcement Learning with Verifiable Rewards (RLVR), направленный на повышение логических способностей больших языковых моделей. Метод решает проблему дрейфа модели в сторону неэффективных или идиосинкразических паттернов рассуждений, которые часто возникают при стандартном обучении с подкреплением, обеспечивая более стабильное достижение экспертных результатов в сложных задачах, таких как олимпиадная математика. arXiv · Исследования и наука Новый метод Reflow с выравниванием маргинальных распределений ускоряет генерацию моделей Исследователи представили метод Reflow с выравниванием маргинальных распределений (Marginal Distribution Alignment), направленный на ускорение генерации в диффузионных моделях. Новый подход решает проблему неточности дискретизации обыкновенных дифференциальных уравнений (ОДУ), позволяя сократить количество шагов выборки при сохранении высокого качества генерации, что критически важно для эффективного инференса современных генеративных систем.

← Все материалы