Исследователи представили метод Latent Memory Palace, который переносит способности LLM к адаптивному рассуждению в область непрерывного управления робототехникой. В отличие от стандартных моделей, работающих в языковом пространстве, этот подход использует вариационный вывод для создания скрытых представлений, что позволяет агентам гибко переключаться между мгновенными реакциями и длительным планированием действий в сложных динамических средах.
Основная проблема существующих систем управления заключается в нехватке точности при попытке использовать языковые модели для управления физическими объектами. Языковое пространство часто оказывается слишком абстрактным для передачи пространственных характеристик и микроскопических движений, необходимых в робототехнике. Авторы предлагают архитектуру, где «дворец памяти» в латентном пространстве служит промежуточным звеном, связывающим высокоуровневую логику с низкоуровневыми командами приводов.
Метод опирается на принципы авторегрессионного вариационного вывода, позволяя модели динамически оценивать необходимость «раздумий» перед совершением действия. Если задача проста, агент действует реактивно, если сложна — активирует механизмы планирования. Это приближает поведение ИИ-агентов к человеческим когнитивным процессам, где время на обдумывание варьируется в зависимости от контекста и требуемой точности выполнения задачи.
Ключевые факты
- Метод Latent Memory Palace объединяет возможности LLM с задачами непрерывного управления (continuous control).
- Архитектура использует вариационный вывод для генерации скрытых представлений, обеспечивающих высокую пространственную детализацию.
- Система позволяет агентам адаптивно выбирать между мгновенным исполнением и глубоким планированием действий.
- Подход решает проблему нехватки гранулярности при использовании языковых моделей для управления физическими манипуляторами.