arXiv · 17.06.2026 ·Машинное обучение

Новый метод обучения с подкреплением на основе предпочтений UBP2

Исследователи представили алгоритм UBP2 (Uncertainty-Balanced Preference Planning), направленный на повышение эффективности обучения с подкреплением на основе предпочтений (Preference-based RL). Традиционные подходы в этой области часто зависят от пассивного сбора данных, что приводит к низкой скорости обучения, особенно на начальных этапах, когда системе не хватает информации о предпочтениях пользователя.

Метод UBP2 использует модельную архитектуру, которая активно управляет процессом исследования среды. Алгоритм балансирует между изучением новых стратегий и минимизацией неопределенности в оценке функций вознаграждения. Это позволяет системе быстрее адаптироваться к задачам, где явное проектирование функции вознаграждения затруднено или невозможно, и вместо этого опираться на парные сравнения вариантов поведения, предоставленные человеком.

Внедрение подобных подходов позволяет сократить количество необходимых итераций для обучения агентов в сложных средах. Авторы отмечают, что совместная оптимизация планирования и оценки предпочтений значительно улучшает выборку данных, делая процесс обучения более стабильным и менее затратным с точки зрения вычислительных ресурсов.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Алгоритм Pareto Q-Learning для многокритериального обучения с подкреплением Исследователи представили новый алгоритм Pareto Q-Learning with Reward Machines (PQLRM), предназначенный для решения задач обучения с подкреплением в условиях сложной структуры вознаграждений. Метод объединяет принципы Pareto Q-Learning, позволяющие аппроксимировать фронт Парето для векторных оценок Q-функций, с возможностями Reward Machines, которые позволяют декомпозировать задачи на основе формальных спецификаций. arXiv · Машинное обучение Новый метод обучения мультиагентных систем для принятия решений Исследователи представили метод Multi-Agent Fictitious Play, направленный на улучшение навыков принятия решений в мультиагентных системах на базе больших языковых моделей. Традиционный подход «разделяй и властвуй», при котором сложные задачи разбиваются на независимые подзадачи, оказался недостаточно эффективным для сценариев, требующих учета интересов всех сторон одновременно. Новый алгоритм позволяет агентам моделировать поведение оппонентов и партнеров, имитируя процесс стратегического взаимодействия. arXiv · Обучение и дообучение Новый метод обучения LLM через промежуточное RL Исследователи предложили новый подход к обучению языковых моделей (LLM) с использованием reinforcement learning (RL) на промежуточном этапе обучения. В статье, опубликованной на arXiv, авторы показывают, что традиционные методы RL с редкими наградами (sparse reward RL) сильно зависят от начальной подготовки модели. Hugging Face - Blog · Другое Direct Preference Optimization за пределами чатботов Исследователи из Dharma AI представили новый подход к Direct Preference Optimization (DPO), который выходит за рамки традиционных чатботов. В статье на Hugging Face они демонстрируют, как DPO может быть применён для улучшения поведения ИИ-агентов в более сложных сценариях, включая многозадачные и интерактивные системы. arXiv · ИИ в бизнесе Оптимизация зарядки электромобилей с помощью обучения с подкреплением Исследователи представили новый подход к управлению зарядкой электромобилей, основанный на обучении с подкреплением (Reinforcement Learning). Метод решает проблему нестабильности энергосетей, возникающую из-за резкого роста числа электрокаров и пиковых нагрузок. Главная сложность, которую удалось преодолеть — отсутствие точных данных о времени отъезда автомобиля, что является критическим фактором для планирования энергопотребления. arXiv · Машинное обучение Новый подход к метаобучению в reinforcement learning Исследователи предложили новый фреймворк для метаобучения в reinforcement learning (RL), который улучшает адаптацию агентов к новым задачам. В традиционных методах метаобучения RL задача распознавания и управление телом агента часто связаны, что усложняет извлечение общих знаний и снижает эффективность обучения. arXiv · Инфраструктура для агентов Новый метод для координации агентов с разными целями Исследователи из MIT и Университета Карнеги-Меллона представили новый подход к обучению ИИ-агентов в условиях многозадачности и конфликтов целей. В статье на arXiv они описывают Preference Coordinated Multi-agent Policy Optimization (PCMA) — метод, который позволяет агентам координировать свои действия даже при наличии противоречивых целей и различий в наблюдениях и ролях. arXiv · Обучение и дообучение Метод RODS для улучшения обучения агентов с использованием инструментов Исследователи представили метод RODS (Reward-Driven Online Data Synthesis), направленный на повышение эффективности обучения ИИ-агентов, работающих с внешними инструментами в многоходовых сценариях. Основная проблема существующих подходов заключается в быстром истощении полезных обучающих данных в статических наборах, что ограничивает развитие моделей. Новый метод решает эту задачу через динамическую генерацию данных, ориентированную на максимизацию обучающего сигнала. arXiv · Машинное обучение Укрепление киберфизических систем с помощью обучения с подкреплением Исследователи проанализировали эффективность контроллеров на базе обучения с подкреплением (Reinforcement Learning, RL) в нелинейных системах, подверженных внешним кибератакам. В работе рассматриваются сценарии с внедрением ложных данных и атаками типа «отказ в обслуживании» (DoS), которые представляют серьезную угрозу для критической инфраструктуры и автоматизированных производственных процессов. arXiv · Обучение и дообучение Новый метод для эффективного онлайн-обучения визуально-языковых агентов Исследователи предложили новый подход к онлайн-обучению визуально-языковых агентов (VLA) с использованием методов reinforcement learning (RL). В статье, опубликованной на arXiv, они описывают метод Hierarchical Advantage Weighting (HAW), который решает проблему редких и неинформативных сигналов обратной связи в процессе обучения.

← Все материалы