Исследователи представили метод Latent Memory Palace, который переносит способности LLM к адаптивному рассуждению в область непрерывного управления робототехникой. В отличие от стандартных моделей, работающих в языковом пространстве, этот подход использует вариационный вывод для создания скрытых представлений, что позволяет агентам гибко переключаться между мгновенными реакциями и длительным планированием действий в сложных динамических средах.

Основная проблема существующих систем управления заключается в нехватке точности при попытке использовать языковые модели для управления физическими объектами. Языковое пространство часто оказывается слишком абстрактным для передачи пространственных характеристик и микроскопических движений, необходимых в робототехнике. Авторы предлагают архитектуру, где «дворец памяти» в латентном пространстве служит промежуточным звеном, связывающим высокоуровневую логику с низкоуровневыми командами приводов.

Метод опирается на принципы авторегрессионного вариационного вывода, позволяя модели динамически оценивать необходимость «раздумий» перед совершением действия. Если задача проста, агент действует реактивно, если сложна — активирует механизмы планирования. Это приближает поведение ИИ-агентов к человеческим когнитивным процессам, где время на обдумывание варьируется в зависимости от контекста и требуемой точности выполнения задачи.

Ключевые факты

  • Метод Latent Memory Palace объединяет возможности LLM с задачами непрерывного управления (continuous control).
  • Архитектура использует вариационный вывод для генерации скрытых представлений, обеспечивающих высокую пространственную детализацию.
  • Система позволяет агентам адаптивно выбирать между мгновенным исполнением и глубоким планированием действий.
  • Подход решает проблему нехватки гранулярности при использовании языковых моделей для управления физическими манипуляторами.