arXiv · 15.06.2026 ·ИИ-агенты и планирование

PACT: гибридная архитектура для планирования в RL

Исследователи из MIT и других университетов предложили новую архитектуру PACT (Plan, Align, Commit, Think), которая объединяет реактивные политики обучения с подкреплением (RL) с медленным, но осознанным планированием с помощью малого языкового модели (SLM). Это решение направлено на проблему деградации RL-политик в незнакомых средах, где отсутствует явное планирование.

PACT работает асинхронно: когда RL-агент сталкивается с неопределённостью, он вызывает SLM для генерации и проверки кандидатов на планы действий. После проверки план фиксируется, и агент действует в соответствии с ним. Это позволяет сочетать быстроту реакции RL с глубиной анализа языковых моделей.

Авторы отмечают, что PACT показывает улучшение в задачах, требующих долгосрочного планирования, например, в навигации по сложным средам. Архитектура может быть полезна для разработки ИИ-агентов, которым нужно балансировать между скоростью и осознанностью решений.

Работа опубликована на arXiv и доступна по ссылке: https://arxiv.org/abs/2606.16995v1. Это важный шаг в направлении создания более гибких и адаптивных агентов, способных работать в динамичных и неопределённых условиях.

Источник: arXiv

Похожие материалы

arXiv · Контекст-осознанное обучение для ИИ-агентов ContextRL: контекст-осознанное обучение для улучшения работы ИИ-агентов Исследователи из MIT и других ведущих университетов представили новый метод ContextRL, который улучшает способность языковых моделей (LLM) работать с длинными и сложными контекстами. Проблема заключается в том, что традиционные LLM часто не могут выделить ключевые детали в объемных данных, будь то строка в логах или мелкий элемент на изображении. ContextRL использует методы подкрепляющего обучения (RL), чтобы улучшить долгосрочное рассуждение и работу с мультимодальными данными. arXiv · Многозадачные ИИ-агенты Новый метод для координации агентов с разными целями Исследователи из MIT и Университета Карнеги-Меллона представили новый подход к обучению ИИ-агентов в условиях многозадачности и конфликтов целей. В статье на arXiv они описывают Preference Coordinated Multi-agent Policy Optimization (PCMA) — метод, который позволяет агентам координировать свои действия даже при наличии противоречивых целей и различий в наблюдениях и ролях. arXiv · Обучение ИИ-агентов Новый метод обучения LLM через промежуточное RL Исследователи предложили новый подход к обучению языковых моделей (LLM) с использованием reinforcement learning (RL) на промежуточном этапе обучения. В статье, опубликованной на arXiv, авторы показывают, что традиционные методы RL с редкими наградами (sparse reward RL) сильно зависят от начальной подготовки модели. arXiv · Рекурсивные агенты и оркестрация Recursive Agent Harnesses: рекурсия как ключ к масштабируемым агентам Исследователи из Arxiv представили концепцию Recursive Agent Harnesses (RAH), объединяющую два ключевых подхода к построению ИИ-агентов: рекурсивные языковые модели (RLMs) и динамические workflows от Anthropic. В основе RAH лежит идея использования рекурсии для вызова подагентов, что позволяет эффективно решать задачи, требующие длительного контекста и сложного рассуждения. arXiv · Оптимизация контекста для ИИ-агентов TokenPilot: эффективное управление контекстом для LLM-агентов Исследователи из MIT и других ведущих университетов представили TokenPilot — новый подход к управлению контекстом для LLM-агентов, который решает проблему накопления контекста в длительных сессиях. arXiv · Оркестрация ИИ-агентов Новый подход к маршрутизации множества ИИ-агентов Исследователи из Университета Карнеги-Меллон представили новую работу, посвящённую компиляционным методам в задачах маршрутизации множества агентов (MAPF). В отличие от классических подходов, где все агенты должны достичь заданных целей без столкновений, авторы рассматривают варианты с разными требованиями к агентам. arXiv · ИИ-агенты и пространственное мышление SpatialClaw: новый интерфейс для пространственного мышления ИИ-агентов Исследователи из MIT и других ведущих университетов представили новый подход к решению проблемы пространственного мышления в ИИ-агентах. В работе SpatialClaw они предлагают пересмотреть интерфейс действий, через который агенты взаимодействуют с инструментами для восприятия пространства. Это особенно важно для задач, требующих понимания расположения объектов, их взаимосвязей и движений в 3D-пространстве. arXiv · ИИ-агенты и предсказание действий LaWAM: моделирование будущего для роботов с помощью ИИ Исследователи из MIT и других ведущих университетов представили новый подход к созданию роботов, способных предсказывать последствия своих действий. В статье LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies авторы предлагают использовать модели, которые учитывают, как действия робота изменят окружающую среду. Это позволяет роботам принимать более осознанные решения, что критически важно для автономных агентов. arXiv · Безопасность ИИ-агентов Shield Synthesis как инструмент проектирования безопасных ИИ-агентов Исследователи из arXiv предлагают новый взгляд на shielded reinforcement learning (SRL), традиционно рассматриваемый как механизм обеспечения безопасности во время выполнения. Авторы утверждают, что автомато-теоретические методы, используемые в SRL, могут быть более полезны на этапе проектирования агентов. arXiv · RAG и аналитическое мышление Как RAG помогает ИИ-агентам решать сложные задачи через аналогии Исследователи из MIT и Google Research предложили новый подход к улучшению способности языковых моделей решать сложные задачи через аналогии. В работе, опубликованной на arXiv, они демонстрируют, как Retrieval-Augmented Generation (RAG) может быть адаптирован для более эффективного решения задач, требующих нестандартного мышления.

← Все материалы