arXiv · 16.06.2026 ·Машинное обучение

Новый метод для оценки политик в reinforcement learning

Исследователи предложили новый подход к временной разнице (TD) с линейным приближением функций — ключевому методу в reinforcement learning. Классическое описание этого метода основано на обыкновенных дифференциальных уравнениях (ODE), которые отражают средние асимптотические динамики, но не учитывают стохастические флуктуации, влияющие на погрешность.

Авторы работы представили стохастическое дифференциальное уравнение (SDE), которое приближает линейный TD(0) с учётом марковского шума. Это позволяет более точно оценивать политики, учитывая случайные колебания, которые ранее игнорировались.

Разработанный метод может улучшить точность оценки политик в задачах reinforcement learning, где важно учитывать не только средние, но и случайные компоненты. Исследование опубликовано на arXiv и может найти применение в разработке более точных алгоритмов обучения с подкреплением.

Работа также подчёркивает важность учёта стохастических факторов в моделях машинного обучения, что может привести к более надёжным и точным системам.

Источник: arXiv

Похожие материалы

arXiv · Машинное обучение Новый метод для устойчивых диффузионных политик Исследователи предложили новый подход для повышения устойчивости диффузионных политик, которые используются в управлении физическими системами. Проблема заключается в том, что конечномерные (FD) диффузионные политики страдают от временного дрейфа из-за артефактов дискретизации, что ухудшает их производительность на длительных временных горизонтах. arXiv · Машинное обучение Новый метод обучения dLLMs через самодистилляцию Исследователи предложили новый подход к обучению диффузионных языковых моделей (dLLMs) — on-policy self-distillation (OPSD). Этот метод уже показал свою эффективность для обычных языковых моделей, но его применение к dLLMs оставалось неизученным. Hacker News · Машинное обучение Новый подход к решению нейронных ОДУ Исследователи предложили метод решения нейронных обыкновенных дифференциальных уравнений (ОДУ) с нуля. В статье на Tinyvolt подробно описаны принципы и алгоритмы, которые позволяют более точно моделировать динамические системы. arXiv · Машинное обучение Новый метод прогнозирования временных рядов с учётом межканальных корреляций Исследователи предложили новый подход к прогнозированию временных рядов, который учитывает межканальные корреляции. В статье, опубликованной на arXiv, авторы утверждают, что существующие модели часто игнорируют взаимосвязи между различными каналами данных, что приводит к менее точным прогнозам. arXiv · Машинное обучение Исследование переосмысливает методы сжатия датасетов в машинном обучении Учёные пересмотрели подходы к dataset distillation (DD) — методу, который позволяет создавать компактные обучающие наборы данных, сохраняя ключевую информацию из больших датасетов. Исследование, опубликованное на arXiv, выявило несоответствия в оценке эффективности DD-методов, которые часто тестируются по разным протоколам, от стандартного ERM до использования одного или нескольких учителей. Hacker News · Машинное обучение Новый подход к законам масштабирования может изменить обучение ИИ-моделей Исследователи из Стэнфордского университета предложили новый подход к законам масштабирования, который может существенно повлиять на процесс обучения искусственных нейронных сетей. Традиционные законы масштабирования описывают, как увеличение размера модели и объёма данных влияет на её производительность. Однако новый метод позволяет более точно предсказывать, как изменения в архитектуре модели и данных повлияют на её точность и эффективность. arXiv · Обучение и дообучение Новый метод обучения LLM через промежуточное RL Исследователи предложили новый подход к обучению языковых моделей (LLM) с использованием reinforcement learning (RL) на промежуточном этапе обучения. В статье, опубликованной на arXiv, авторы показывают, что традиционные методы RL с редкими наградами (sparse reward RL) сильно зависят от начальной подготовки модели. arXiv · Обучение и дообучение Как on-policy distillation меняет параметры моделей Исследователи из MIT и DeepMind изучили влияние on-policy distillation (OPD) на параметры моделей. Этот метод сочетает траектории студента, полученные в реальных условиях, с плотным супервизором от учителя. Авторы анализировали несколько языковых и визуально-языковых моделей и выявили два ключевых результата. arXiv · Машинное обучение Новый подход к метаобучению в reinforcement learning Исследователи предложили новый фреймворк для метаобучения в reinforcement learning (RL), который улучшает адаптацию агентов к новым задачам. В традиционных методах метаобучения RL задача распознавания и управление телом агента часто связаны, что усложняет извлечение общих знаний и снижает эффективность обучения. arXiv · Модели и релизы Новый метод улучшения генерации изображений по тексту Исследователи предложили новый подход к дообучению моделей генерации изображений по тексту. В статье на arXiv представлен метод STAR (SpatioTemporal Adaptive Reward Allocation), который учитывает временную и пространственную структуру процесса генерации.

← Все материалы