Исследователи представили VAORA (Visual Action Outcome Reasoning Alignment) — новый метод обучения, направленный на устранение разрыва между логическими рассуждениями и физическими действиями в мультимодальных моделях (VLM). Технология минимизирует галлюцинации в цепочках рассуждений (CoT) и повышает точность выполнения задач в ранее не встречавшихся средах, обеспечивая лучшее соответствие между планированием и результатом.

Современные модели часто сталкиваются с проблемой «физической слепоты», когда их логические выводы противоречат законам физики или визуальному контексту. VAORA внедряет специализированный дизайн функции вознаграждения, который оценивает не только итоговый успех действия, но и предсказательную способность модели относительно визуальных изменений в среде. Это позволяет агентам лучше понимать причинно-следственные связи при манипуляции объектами.

Внедрение этого подхода позволяет моделям эффективнее переносить навыки из обучающих выборок в новые сценарии, где требуется взаимодействие с физическими предметами. Метод фокусируется на выравнивании внутреннего «мировоззрения» модели с наблюдаемыми визуальными результатами, что критически важно для развития автономных робототехнических систем и сложных агентных сред.

Ключевые факты

  • VAORA решает две основные проблемы VLM: галлюцинации в цепочках рассуждений и несоответствие между логикой и физическим исполнением.
  • Метод использует новый подход к дизайну функции вознаграждения (reward design) для обучения моделей.
  • Основной акцент сделан на повышении способности моделей к обобщению (generalization) в невидимых ранее задачах и окружениях.
  • Исследование направлено на улучшение физического планирования, что критично для интерактивных ИИ-агентов.