Исследователи предложили использовать характеристический показатель Ляпунова (LCE) в качестве функции плотного вознаграждения для задач обучения с подкреплением. Метод протестировали на классической задаче стабилизации перевернутого маятника с вертикальным движением основания. Агент не только успешно воспроизвел известное колебательное движение маятника Капицы, но и научился полностью гасить колебания, удерживая систему в строго вертикальном положении.
Традиционные методы обучения с подкреплением часто сталкиваются с трудностями при определении функции вознаграждения для сложных динамических систем. Использование LCE позволяет агенту «чувствовать» устойчивость траектории в процессе обучения, что значительно ускоряет сходимость и повышает точность управления. В отличие от стандартных подходов, опирающихся на положение или скорость, показатель Ляпунова напрямую характеризует скорость расхождения близких траекторий, что делает его мощным инструментом для анализа хаотических систем.
Данный подход открывает новые возможности для применения RL в робототехнике и управлении сложными физическими объектами, где требуется высокая точность стабилизации. Метод демонстрирует, что интеграция физических принципов непосредственно в процесс обучения агента позволяет находить более эффективные стратегии управления, чем при использовании чисто эмпирических функций вознаграждения.
Ключевые факты
- В качестве функции вознаграждения применен характеристический показатель Ляпунова (LCE).
- Агент успешно освоил стабилизацию перевернутого маятника с вертикально движущимся основанием.
- Метод позволил достичь состояния покоя в строго вертикальной точке, превзойдя стандартные колебательные режимы.
- Исследование доказывает эффективность использования физико-информированных сигналов для обучения сложных динамических систем.