arXiv · 07.08.2026 ·Машинное обучение

Новый метод Wasserstein Policy Gradient для задач линейно-квадратичного управления

Исследователи представили метод Wasserstein Policy Gradient (WPG), оптимизирующий стратегии управления через транспорт в пространстве действий. В контексте линейно-квадратичного контроля с энтропийной регуляризацией авторы доказали, что градиент, взвешенный по дисконтированной занятости состояний, остается касательным к классу линейно-гауссовских стратегий. Это позволяет эффективно находить оптимальные решения в задачах управления с непрерывным пространством действий.

Традиционные методы градиента стратегии часто сталкиваются с трудностями при работе с распределениями действий в непрерывных пространствах. Использование Вассерштейнова расстояния позволяет переформулировать процесс обновления стратегии как задачу оптимального транспорта. Это обеспечивает более стабильную сходимость и теоретическую обоснованность при поиске оптимальных параметров управления в динамических системах.

Математический анализ, проведенный с помощью верификационного аргумента Беллмана, подтверждает, что предложенный подход сохраняет структуру оптимальной линейно-гауссовской политики. Данная работа расширяет инструментарий обучения с подкреплением, предлагая более строгий математический аппарат для задач, где требуется баланс между исследованием среды и использованием накопленных знаний через энтропийную регуляризацию.

Ключевые факты

Метод WPG использует транспорт в пространстве действий для обновления условных законов распределения.
Исследование сфокусировано на линейно-квадратичном (LQ) контроле с дисконтированием и энтропийной регуляризацией.
Доказано, что градиент Вассерштейна, взвешенный по занятости состояний, сохраняет принадлежность к классу линейно-гауссовских стратегий.
Подход опирается на верификационный аргумент Беллмана для подтверждения оптимальности стратегии.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Новый подход к обучению стратегий с распределенными результатами Исследователи представили метод Wasserstein Policy Learning, предназначенный для обучения стратегий в условиях, когда результатом воздействия является не скалярное значение, а целое распределение вероятностей. Традиционные подходы к причинно-следственному выводу обычно фокусируются на максимизации среднего ожидаемого эффекта, что ограничивает возможности анализа в сложных системах, где важно учитывать вариативность и риски, а не только средний показатель. arXiv · Исследования и наука Математическое обоснование сходимости градиента политики в диффузионных средах Исследователи представили теоретический анализ алгоритмов градиента политики для задачи многоруких бандитов в условиях диффузионной среды. Работа описывает поведение системы через стохастические дифференциальные уравнения (СДУ) в рамках непрерывного обучения с подкреплением. Авторы доказали, что при использовании логит-параметризации стохастической политики алгоритм почти наверняка сходится к выбору оптимального действия, обеспечивая контролируемый уровень сожаления. arXiv · Исследования и наука Применение RAG для обучения стратегий принятия решений в причинно-следственном анализе Исследователи предложили новый метод обучения стратегий (policy learning) с использованием RAG, адаптированный для задач причинно-следственного вывода. Подход формулирует выбор действий через фреймворк потенциальных исходов, где векторный поиск используется для подбора релевантных доказательств. Это позволяет моделям точнее оценивать ожидаемые результаты и оптимизировать принятие решений на основе эмпирических данных из векторных баз. arXiv · Исследования и наука Новое исследование методов стохастического экстраградиента для решения вариационных неравенств Исследователи проанализировали эффективность стохастических экстраградиентных методов (SEG) при решении монотонных вариационных неравенств. Работа фокусируется на сравнении подходов с использованием независимых выборок и выборок из одного и того же распределения. Авторы уточняют теоретические границы сходимости алгоритмов, которые являются фундаментальными для оптимизации в задачах машинного обучения, теории игр и обучения с подкреплением. arXiv · Машинное обучение Новый метод оптимизации градиента для ускорения обучения нейросетей Исследователи представили метод Stochastic Gradient Optimization with Model-Assisted Sampling, направленный на снижение дисперсии при оценке стохастического градиента. Новый подход позволяет эффективнее балансировать между скоростью сходимости и качеством обобщения моделей, минимизируя шум, неизбежно возникающий при использовании стандартных мини-пакетных методов обучения в глубоком обучении. arXiv · Исследования и наука Оптимизация стратегий в условиях неопределенности для марковских процессов Исследователи представили новый подход к оптимизации стратегий в марковских процессах принятия решений (UMDP) с высокой степенью неопределенности. Авторы предложили метод минимизации минимаксного сожаления, который позволяет эффективно выбирать действия даже при неполном знании вероятностей переходов и наград, используя ограниченные наборы стратегий для достижения баланса между производительностью и устойчивостью системы. arXiv · Машинное обучение Исследование теоретических основ алгоритма GRPO в обучении моделей Исследователи проанализировали алгоритм Group Relative Policy Optimization (GRPO), который исключает использование обученного критика в PPO, заменяя его средним значением наград группы прогонов. Авторы работы доказали, что при использовании только итоговой награды за весь ответ возникает проблема распределения кредита: каждый токен получает одинаковое преимущество, что ведет к деградации обучения на уровне отдельных токенов. arXiv · Машинное обучение Оптимизация диффузионных политик для управления робототехникой Исследователи представили фреймворк Prefix-Optimal Generative Policies (POGP), который ускоряет работу диффузионных политик в задачах непрерывного управления. Метод позволяет динамически адаптировать количество шагов шумоподавления в зависимости от сложности конкретного действия. Это решение значительно снижает вычислительные затраты на инференс, сохраняя при этом высокую точность выполнения задач, что критически важно для реальных робототехнических систем. arXiv · Машинное обучение Новый метод Kernel-WIS для оценки стратегий в контекстных бандитах Исследователи представили Kernel-WIS — новый статистический оценщик для задач контекстных бандитов, позволяющий проводить оценку стратегий вне политики (off-policy evaluation) на основе исторических данных. Метод демонстрирует асимптотическую состоятельность и превосходит стандартные подходы, такие как классическое взвешенное выборочное усреднение (WIS), особенно в условиях неточной спецификации поведения системы. arXiv · Машинное обучение ITSPACE: новый метод оптимизации для работы с ковариационными матрицами Исследователи представили ITSPACE — алгоритм для обновления ковариационных матриц на основе монотонного гауссовского оптимального транспорта. Метод решает задачу минимизации расстояния Вассерштейна-2 в пространстве симметричных положительно определенных матриц. Решение позволяет эффективно вычислять обновления в задачах доменной адаптации и обучения гауссовских эмбеддингов, обеспечивая более высокую вычислительную стабильность по сравнению с классическими подходами.

← Все материалы