arXiv · 10.08.2026 ·Машинное обучение

RynnValue: новый подход к обучению моделей ценности для робототехники

Исследователи представили RynnValue — метод обучения фундаментальных моделей ценности (value models) для робототехники, основанный на концепции временной дистанции. В отличие от традиционных подходов, привязанных к конкретным задачам или предпочтениям, RynnValue позволяет эффективно масштабировать обучение на гетерогенных наборах данных, обеспечивая переносимость навыков между различными робототехническими платформами и источниками информации.

Основная проблема текущих систем обучения роботов заключается в нехватке универсальных моделей вознаграждения, которые могли бы работать с разнородными данными. Авторы предлагают использовать временную дистанцию как универсальный сигнал для обучения, что позволяет модели оценивать прогресс выполнения задачи без необходимости в сложной разметке или специфических для конкретного робота метриках. Это упрощает интеграцию данных из различных источников и ускоряет процесс дообучения.

Метод демонстрирует высокую эффективность при работе с крупномасштабными корпусами данных, позволяя роботам лучше обобщать полученный опыт. Использование временных зависимостей вместо статических анкоров дает возможность модели «понимать» структуру действий в динамической среде, что критически важно для создания автономных систем, способных адаптироваться к новым условиям без переобучения с нуля.

Ключевые факты

RynnValue использует временную дистанцию как основной сигнал для обучения фундаментальных моделей ценности.
Метод решает проблему масштабируемости обучения роботов на гетерогенных данных, которые ранее были трудносовместимы.
Подход исключает необходимость привязки к специфическим для задач анкорам, таким как предпочтения человека или нормализованный прогресс.
Технология обеспечивает лучшую переносимость навыков между различными типами робототехнических воплощений (embodiments).

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение Обучение роботов через имитацию человеческих движений Исследователи представили новый подход к обучению роботов через демонстрации, фокусируясь на воспроизведении рукописных траекторий алфавита. Метод позволяет роботам осваивать сложные моторные навыки, имитируя человеческую динамику без необходимости ручного программирования. Основной акцент сделан на достижении высокой степени «человекоподобности» движений, что критически важно для формирования доверия и естественного взаимодействия между человеком и машиной в рабочих процессах. arXiv · Машинное обучение Метод UR-VC для автоматической коррекции сигналов прогресса в обучении роботов Исследователи представили метод UR-VC (Unsupervised Robotic Value Correction), который решает проблему неточных сигналов прогресса при обучении роботов. Вместо использования упрощенной временной нормализации, алгоритм автоматически корректирует значения ценности состояний, опираясь на визуальные данные. Это позволяет агентам точнее оценивать промежуточные этапы выполнения задач и успешность их завершения без необходимости в ручной разметке данных. arXiv · Исследования и наука NeuralActuator: повышение точности управления роботами через нейросетевое моделирование Исследователи представили NeuralActuator — метод нейросетевого моделирования динамики приводов, решающий проблему расхождения между симуляцией и реальностью в робототехнике. Традиционные линейные модели не учитывают трение, гистерезис и тепловые эффекты, что критично для бюджетных платформ. Новый подход позволяет более точно предсказывать выходной крутящий момент, значительно повышая эффективность обучения политик управления и точность выполнения команд в сложных физических условиях. arXiv · Исследования и наука RoboTTT: масштабирование контекста в робототехнике до 8000 шагов Исследователи представили RoboTTT — новый метод обучения робототехнических моделей, позволяющий масштабировать визуально-моторный контекст до 8000 временных шагов. Это решение увеличивает объем обрабатываемой информации в 1000 раз по сравнению с актуальными аналогами, не увеличивая при этом задержку при инференсе. Подход открывает возможности для обучения роботов сложным навыкам через демонстрации, включая выполнение задач с одного показа. NVIDIA Technical Blog · Исследования и наука Методология оценки универсальных моделей управления роботами в реальных условиях NVIDIA представила комплексный подход к тестированию фундаментальных моделей для робототехники, предназначенных для выполнения задач в неконтролируемой среде. Методология фокусируется на переходе от лабораторных симуляций к реальному миру, предлагая стандартизированные метрики для оценки способности роботов следовать естественным языковым инструкциям при манипуляции объектами, сортировке и навигации в динамических пространствах. arXiv · Машинное обучение πR²: новый подход к реактивному управлению роботами в реальном времени Исследователи представили метод πR², решающий проблему низкой реактивности современных манипуляционных моделей. Традиционные системы, использующие генерацию действий «пакетами» (action-chunking), работают в разомкнутом цикле и не реагируют на изменения среды до завершения текущего блока. Новый подход позволяет обновлять траектории в реальном времени, сохраняя высокую скорость работы без необходимости пересчета всей последовательности через тяжелые нейросетевые бэкенды. arXiv · Машинное обучение WorldSample: новый метод обучения роботов с помощью мировых моделей Исследователи представили WorldSample — метод обучения с подкреплением (RL) для робототехники, который минимизирует количество физических взаимодействий с миром. Система использует мировые модели для генерации виртуальных траекторий, позволяя агентам обучаться на основе проб и ошибок без необходимости бесконечных повторений в реальности, что значительно снижает затраты на обучение и ускоряет процесс освоения сложных навыков. The Decoder · Исследования и наука Xiaomi Robotics-1: качество данных важнее масштаба модели в робототехнике Компания Xiaomi представила модель Xiaomi Robotics-1, обученную на 100 000 часах данных о движении. Исследование показало, что увеличение объема качественных данных дает более значительный прирост производительности роботов, чем простое масштабирование параметров модели. Этот подход позволяет эффективнее обучать манипуляторы сложным действиям, даже при сохранении текущей архитектуры нейросети. arXiv · Исследования и наука Новый метод обучения роботов сложным манипуляциям через имитацию движений человека Исследователи представили минималистичный подход к обучению роботов сложным манипуляциям, основанный на методах обучения с подкреплением (RL). Метод использует перенос человеческих движений в качестве опорных траекторий для робототехнических систем. Это позволяет эффективно решать задачи, требующие точного контроля контактов и взаимодействия с объектами, что ранее было крайне затруднительно для автономных агентов в динамических средах. arXiv · Машинное обучение Метод VLK для обучения человекоподобных роботов сложным манипуляциям Исследователи представили фреймворк VLK (Vision-Language-Kinematics), решающий проблему нехватки данных для обучения человекоподобных роботов одновременному перемещению и манипуляции объектами. Система генерирует синтетические наборы данных, объединяющие эгоцентрические изображения, текстовые инструкции и кинематические траектории, что позволяет роботам эффективнее связывать визуальное восприятие с физическими действиями в сложных сценариях.

← Все материалы