arXiv · 18.06.2026 ·Машинное обучение

Новый алгоритм Q-обучения для управления в условиях неопределенности

Исследователи представили алгоритм робастного Q-обучения, предназначенный для решения задач управления средним полем (mean-field control) в дискретном времени. Метод ориентирован на работу в условиях неопределенности, описываемой метрикой Вассерштейна для закона общего шума. Это позволяет моделям сохранять стабильность и эффективность даже при наличии непредсказуемых внешних факторов, влияющих на динамику системы.

Техническая реализация алгоритма базируется на комбинации схемы квантования и проекции с дуальной переформулировкой задачи в пространстве общего шума. Такой подход позволяет эффективно обрабатывать сложные вероятностные распределения, характерные для многоагентных систем, где поведение отдельных элементов зависит от совокупного состояния всей группы.

Авторы работы доказали сходимость предложенного метода и установили границы итераций для достижения результата как в синхронном, так и в асинхронном режимах работы. Полученные теоретические оценки подтверждают применимость алгоритма для задач, требующих высокой надежности обучения в динамических средах с высокой степенью стохастичности.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Алгоритм Pareto Q-Learning для многокритериального обучения с подкреплением Исследователи представили новый алгоритм Pareto Q-Learning with Reward Machines (PQLRM), предназначенный для решения задач обучения с подкреплением в условиях сложной структуры вознаграждений. Метод объединяет принципы Pareto Q-Learning, позволяющие аппроксимировать фронт Парето для векторных оценок Q-функций, с возможностями Reward Machines, которые позволяют декомпозировать задачи на основе формальных спецификаций. arXiv · Машинное обучение Новый метод для оценки политик в reinforcement learning Исследователи предложили новый подход к временной разнице (TD) с линейным приближением функций — ключевому методу в reinforcement learning. Классическое описание этого метода основано на обыкновенных дифференциальных уравнениях (ODE), которые отражают средние асимптотические динамики, но не учитывают стохастические флуктуации, влияющие на погрешность. arXiv · Машинное обучение Исследование снижения дисперсии в обучении с подкреплением Исследователи проанализировали математические свойства метода временных различий (Temporal Difference, TD) в обучении с подкреплением. В работе рассматривается поведение алгоритма в табличной постановке задачи и выявляется ключевой механизм, позволяющий методу эффективно снижать дисперсию при оценке функций ценности. Авторы показывают, что TD-обучение достигает этого за счет агрегации данных по большему числу независимых траекторий, что делает его более устойчивым по сравнению с классическими методами Монте-Карло. arXiv · Машинное обучение Новый подход к обучению стратегий с распределенными результатами Исследователи представили метод Wasserstein Policy Learning, предназначенный для обучения стратегий в условиях, когда результатом воздействия является не скалярное значение, а целое распределение вероятностей. Традиционные подходы к причинно-следственному выводу обычно фокусируются на максимизации среднего ожидаемого эффекта, что ограничивает возможности анализа в сложных системах, где важно учитывать вариативность и риски, а не только средний показатель. arXiv · Машинное обучение Новый метод обучения с подкреплением на основе предпочтений UBP2 Исследователи представили алгоритм UBP2 (Uncertainty-Balanced Preference Planning), направленный на повышение эффективности обучения с подкреплением на основе предпочтений (Preference-based RL). Традиционные подходы в этой области часто зависят от пассивного сбора данных, что приводит к низкой скорости обучения, особенно на начальных этапах, когда системе не хватает информации о предпочтениях пользователя. arXiv · Машинное обучение Новый подход к устранению предвзятости в моделях машинного обучения Исследователи представили методологию борьбы с предвзятостью в алгоритмах, которая учитывает пересечение нескольких защищаемых атрибутов, таких как раса и гендер. Традиционные методы часто не справляются с ситуациями, когда дискриминация проявляется только при сочетании нескольких факторов, что приводит к снижению точности моделей для определенных групп населения. Основная проблема заключается в нехватке репрезентативных данных для таких подгрупп и отсутствии четких математических метрик для оценки справедливости. arXiv · Машинное обучение Децентрализованный алгоритм локализации для групп мобильных роботов Исследователи представили новый метод координации групп мобильных роботов, который позволяет им определять свое местоположение относительно друг друга без использования внешней инфраструктуры, такой как GPS или заранее установленные маяки. Алгоритм опирается исключительно на данные измерений дальности между участниками группы, что делает его пригодным для развертывания в неструктурированных и динамически меняющихся условиях. arXiv · Машинное обучение Квантовые коммуникации для распределенного обучения нейросетей Исследователи представили новый метод оптимизации распределенного обучения моделей, основанный на принципах квантовых коммуникаций. В центре внимания оказался алгоритм Ring All-Reduce, который является стандартом для синхронизации градиентов между узлами при обучении нейросетей на кластерах. Использование квантовых каналов связи позволяет существенно снизить объем передаваемых данных между вычислительными узлами, сохраняя при этом высокую точность синхронизации параметров. arXiv · Машинное обучение Новый взгляд на теорию плоских минимумов в глубоком обучении Исследователи поставили под сомнение устоявшееся в глубоком обучении представление о том, что стохастический градиентный спуск (SGD) естественным образом стремится к «плоским» минимумам функции потерь, которые обеспечивают лучшую обобщающую способность нейросетей. Основная проблема заключается в том, что традиционные метрики оценки плоскости, такие как след или максимальное собственное значение гессиана, зависят от конкретной параметризации модели. Это означает, что при изменении представления весов, не влияющем на итоговую функцию сети, показатели «плоскости» могут меняться, что делает их ненадежными инструментами для анализа. arXiv · Машинное обучение Мультиагентные системы для многокритериальной оптимизации в динамических средах Исследователи представили новый подход к решению задач оптимизации в вычислительных и сетевых системах с помощью мультиагентных систем. Традиционные методы обучения с подкреплением часто сводят сложные задачи к минимизации единого скалярного вознаграждения, используя штрафные коэффициенты для учета ограничений. Однако такой подход оказывается недостаточно гибким в динамических условиях, где требования к производительности и затратам постоянно меняются.

← Все материалы