Исследователи проанализировали уязвимости World-Action Models (WAMs) — систем, объединяющих прогнозирование состояния среды с генерацией действий для робототехники. Несмотря на способность моделей точно предсказывать будущие состояния мира, они часто совершают критические ошибки при выполнении физических действий. Авторы работы демонстрируют, что высокая точность «воображения» не гарантирует корректного управления, создавая ложное ощущение безопасности и интерпретируемости систем.
В основе подхода WAM лежит идея о том, что робот должен сначала предсказать последствия своего движения, а затем совершить его. Однако авторы выявили феномен, при котором модель может успешно симулировать правильный исход, но при этом генерировать невыполнимые или неадекватные команды управления. Это ставит под сомнение текущие методы обучения воплощенных агентов, где связь между предсказанием и действием считается залогом надежности.
Работа подчеркивает разрыв между способностью модели «понимать» физику окружения и её умением эффективно взаимодействовать с ним. Исследователи предлагают новые метрики для оценки того, насколько действия агента соответствуют его внутренним прогнозам, чтобы избежать опасных расхождений в реальных сценариях эксплуатации робототехники.
Ключевые факты
- WAMs объединяют генерацию действий с прогнозированием будущих состояний среды для повышения автономности роботов.
- Выявлено, что модели могут демонстрировать высокую точность предсказания будущего при одновременной генерации ошибочных управляющих сигналов.
- Исследование указывает на риск «иллюзии надежности», когда интерпретируемость предсказаний не конвертируется в безопасность физических действий.
- Авторы предлагают пересмотреть подходы к обучению моделей управления, чтобы минимизировать разрыв между «воображаемым» и реальным поведением агента.