Исследователи проанализировали пять ведущих мировых моделей (world models) в среде Atari Pong: DreamerV3, DIAMOND, TWISTER, Simulus и STORM. Авторы работы сфокусировались на оценке самих моделей в изоляции, а не как частей систем обучения с подкреплением. Результаты показывают, что текущие архитектуры часто демонстрируют разрыв между качеством предсказания визуальных состояний и итоговой эффективностью агента в игре.

В ходе эксперимента команда воспроизвела пайплайны обучения для каждой из моделей, зафиксировав их параметры после достижения заявленных показателей производительности. Основное внимание было уделено тому, как пространственная регуляризация влияет на способность модели «понимать» динамику игрового мира. Выяснилось, что даже при высокой точности генерации кадров, модели могут упускать критически важные концептуальные закономерности, что ограничивает их автономность в сложных средах.

Работа предлагает новый метод концептуально-ориентированной пространственной регуляризации, который помогает моделям лучше фокусироваться на значимых объектах, таких как ракетки и мяч, игнорируя фоновый шум. Это позволяет повысить стабильность предсказаний и точность моделирования физических взаимодействий, что является ключевым фактором для развития более надежных систем обучения с подкреплением, способных работать в условиях ограниченных данных.

Ключевые факты

  • В исследовании протестированы пять архитектур: DreamerV3, DIAMOND, TWISTER, Simulus и STORM.
  • Основным объектом анализа стала среда Atari Pong, используемая как бенчмарк для оценки визуальных мировых моделей.
  • Предложен метод Concept-Guided Spatial Regularization, улучшающий интерпретируемость и точность предсказаний модели.
  • Выявлено, что высокая точность визуальной реконструкции не всегда коррелирует с качеством принятия решений агентом в динамической среде.