Исследователи представили AdaJEPA — адаптивную латентную модель мира, способную корректировать свои прогнозы в режиме реального времени. В отличие от стандартных моделей, которые остаются статичными после обучения, AdaJEPA адаптируется к изменениям среды во время тестирования. Это позволяет системе сохранять точность планирования даже при возникновении значительных отклонений от обучающего распределения данных.
Традиционные модели мира часто сталкиваются с деградацией производительности, когда условия среды меняются, так как их внутренние представления фиксированы. Авторы предложили механизм, позволяющий модели динамически обновлять свои латентные состояния, опираясь на недавние наблюдения. Такой подход значительно повышает надежность планирования в сложных, динамических задачах, где предсказание будущих состояний критически важно для принятия решений.
Метод опирается на архитектуру JEPA (Joint-Embedding Predictive Architecture), которая обучается предсказывать представления данных, а не их пиксельные значения. Адаптивность достигается за счет оптимизации латентного пространства непосредственно в процессе взаимодействия с новой средой, что позволяет модели быстрее «понимать» контекст и минимизировать ошибки прогнозирования в условиях меняющейся динамики.
Ключевые факты
- AdaJEPA решает проблему накопления ошибок при планировании в условиях сдвига распределения (test-time distribution shift).
- Модель использует механизм адаптации в реальном времени, обновляя латентные представления без необходимости полного переобучения.
- Метод базируется на архитектуре JEPA, которая фокусируется на предсказании абстрактных представлений, а не на генерации исходных данных.
- Адаптивный подход позволяет системе сохранять стабильность планирования при столкновении с ранее не встречавшимися сценариями или изменениями параметров среды.