arXiv · 28.07.2026 ·Машинное обучение

Pictura: обучение беспилотников через self-play на основе визуальных данных

Исследователи представили Pictura — метод обучения политик управления беспилотным транспортом через self-play в симуляции. В отличие от предыдущих подходов, опирающихся на полные векторные данные о состоянии среды, Pictura обучается непосредственно на визуальных данных с эгоцентрических камер. Это устраняет разрыв между идеализированными симуляциями и реальными условиями, где восприятие ограничено частичным обзором.

Традиционные методы обучения с подкреплением часто используют «привилегированную» информацию, такую как точные координаты и векторы скорости всех объектов, включая скрытые за препятствиями. Однако при развертывании модели в реальном автомобиле система сталкивается с неполными данными, что приводит к снижению производительности. Pictura решает эту проблему, перенося процесс обучения в пространство перспективного вида, имитирующего работу реальных камер.

Система демонстрирует высокую устойчивость к сложным дорожным сценариям, сохраняя эффективность управления даже при наличии окклюзий. Переход к визуальному self-play позволяет масштабировать обучение без необходимости в ручной разметке или предоставлении модели доступа к скрытым параметрам симулятора. Это приближает алгоритмы управления к реальным условиям эксплуатации, где сенсоры являются единственным источником данных о динамике движения.

Ключевые факты

Метод Pictura использует self-play в симуляции для обучения политик вождения без доступа к привилегированным векторным данным.
Обучение базируется на визуальных данных с эгоцентрических камер, что устраняет разрыв в репрезентации между симуляцией и реальностью.
Система эффективно справляется с управлением в условиях частичной видимости и окклюзий, характерных для реальных дорожных сценариев.
Подход позволяет масштабировать обучение автономных агентов, исключая зависимость от точных координат объектов, недоступных в реальном времени.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Исследования и наука Метод Rollout-Retrieval для непрерывного обучения беспилотных систем Исследователи представили метод Rollout-Retrieval, позволяющий системам автономного вождения непрерывно совершенствоваться на основе допущенных ошибок. В отличие от традиционного обучения на экспертных демонстрациях, новый подход внедряет механизм коррекции и сохранения опыта, что помогает моделям эффективно адаптироваться к редким и сложным дорожным ситуациям, с которыми они сталкиваются в процессе реальной эксплуатации. arXiv · Исследования и наука Patch Policy: новый подход к управлению роботами через плотные визуальные представления Исследователи представили метод Patch Policy, который оптимизирует управление роботами за счет использования плотных визуальных признаков из предобученных Vision Transformers (ViT). В отличие от традиционных подходов, сжимающих данные в один глобальный токен, этот метод сохраняет пространственную детализацию изображения, что позволяет роботам точнее взаимодействовать с объектами в сложной среде и повышает эффективность обучения моделей управления. arXiv · Машинное обучение TerraZero: процедурный симулятор для обучения беспилотных систем Исследователи представили TerraZero — новый процедурный симулятор и стек для обучения беспилотных транспортных средств методом самообучения (self-play). Система решает проблему дефицита данных для критических ситуаций, генерируя разнообразные дорожные сценарии на основе реальных картографических структур. Это позволяет масштабировать обучение агентов с подкреплением, обеспечивая высокую скорость симуляции и реалистичность поведения в сложных условиях. arXiv · Исследования и наука CARLA-GS: новый метод генерации критических ситуаций для беспилотного транспорта Исследователи представили CARLA-GS — фреймворк для синтеза редких критических сценариев в симуляторах беспилотного вождения. Система разделяет визуальное представление, логическое рассуждение и физическое моделирование, что позволяет создавать фотореалистичные «corner cases» для тестирования безопасности. Подход значительно повышает эффективность обучения моделей управления, обеспечивая генерацию сложных дорожных ситуаций, которые трудно встретить в реальных данных при обычном вождении. arXiv · Машинное обучение Новый метод обучения роботов через использование априорных знаний о движении Исследователи представили метод обучения роботов, который решает проблему нехватки физических навыков у моделей Vision-Language-Action (VLA). Вместо обучения управлению движением с нуля, авторы внедрили механизм априорных знаний об действиях (action priors). Это позволяет модели эффективнее переносить навыки между различными типами робототехнических платформ, значительно ускоряя процесс адаптации к новым задачам манипуляции объектами. GitHub · Машинное обучение Lingbot-vision: новый подход к пространственному восприятию через самообучение Проект Lingbot-vision представляет собой реализацию методов самообучения (self-supervised learning) для задач пространственного восприятия. Исследование фокусируется на том, как модели могут эффективно извлекать геометрические и пространственные признаки из визуальных данных без необходимости в размеченных наборах данных, что является критически важным этапом для развития автономных систем и робототехники. arXiv · Исследования и наука NeuralActuator: повышение точности управления роботами через нейросетевое моделирование Исследователи представили NeuralActuator — метод нейросетевого моделирования динамики приводов, решающий проблему расхождения между симуляцией и реальностью в робототехнике. Традиционные линейные модели не учитывают трение, гистерезис и тепловые эффекты, что критично для бюджетных платформ. Новый подход позволяет более точно предсказывать выходной крутящий момент, значительно повышая эффективность обучения политик управления и точность выполнения команд в сложных физических условиях. arXiv · Машинное обучение Методология Pick-to-Learn для калибровки MPC-политик Исследователи представили методологию Pick-to-Learn, предназначенную для эффективной калибровки политик управления с прогнозирующими моделями (MPC). Подход позволяет оптимизировать параметры системы в условиях высокой неопределенности внешней среды. Авторы демонстрируют работоспособность метода на примере планирования траектории полета воздушного судна, сталкивающегося с непредсказуемыми боковыми ветрами и зонами ограниченной связи. arXiv · Машинное обучение MAPS: новый подход к координации автономных транспортных средств на перекрестках Исследователи представили архитектуру Master-Agent Proto-plan System (MAPS) для решения проблемы координации беспилотных автомобилей на нерегулируемых перекрестках. Система использует иерархическое глубокое обучение с подкреплением, позволяя агентам эффективно взаимодействовать без опоры на привилегированную информацию или жесткие сценарии, что значительно повышает безопасность и пропускную способность в сложных дорожных условиях. arXiv · Машинное обучение Адаптивные границы безопасности для визуальной навигации роботов Исследователи представили метод адаптивной настройки границ безопасности для автономных роботов, работающих в сложных закрытых пространствах. Вместо использования фиксированных параметров, которые часто приводят к ошибкам из-за неточностей восприятия, система динамически корректирует дистанцию до препятствий. Это позволяет роботам избегать лишних объездов и минимизировать риск столкновений при движении в условиях неопределенности.

← Все материалы