arXiv · 06.08.2026 ·Машинное обучение

EnvACE: метод обучения ИИ-агентов через внутреннее моделирование среды

Исследователи представили EnvACE — метод обучения агентных систем, который заменяет взаимодействие с внешними средами или сложными симуляторами на «репетицию мира» (world rehearsal). Подход позволяет LLM-агентам эффективно осваивать долгосрочное использование инструментов, обучаясь на внутренних динамических моделях среды, что значительно снижает затраты на создание и верификацию инфраструктуры для тренировки агентов.

Традиционные методы обучения агентов для выполнения многошаговых задач требуют постоянного доступа к исполняемым средам или API, что часто бывает дорого, медленно или технически затруднительно. EnvACE решает эту проблему, интериоризируя динамику среды непосредственно в процесс обучения. Агент учится предсказывать последствия своих действий и корректировать стратегию внутри сгенерированного «мирового представления», что делает процесс подготовки более автономным и масштабируемым.

Использование внутренних моделей позволяет избежать зависимости от внешних симуляторов, которые часто неточно отражают реальные условия эксплуатации. Метод ориентирован на повышение надежности агентов при работе с инструментами в долгосрочной перспективе, обеспечивая более стабильное поведение в задачах, требующих последовательного планирования и точного исполнения команд в сложных программных окружениях.

Ключевые факты

EnvACE заменяет дорогостоящее взаимодействие с внешними средами на обучение через внутреннее моделирование (world rehearsal).
Метод направлен на решение проблемы долгосрочного планирования и использования инструментов в агентных системах.
Подход снижает зависимость от внешних симуляторов, которые требуют сложной настройки и верификации.
Технология позволяет агентам эффективнее осваивать сложные последовательности действий без необходимости постоянного доступа к реальным API во время тренировки.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Инфраструктура для агентов Непрерывное обучение ИИ-агентов через real-time обучение с подкреплением Исследователи представили подход к непрерывному обучению ИИ-агентов, использующий обучение с подкреплением (RL) в реальном времени. Метод позволяет моделям адаптироваться к изменяющимся условиям среды и новым задачам без необходимости полной перетренировки. Это решает проблему «забывания» старых навыков при освоении новых, обеспечивая агентам возможность динамически обновлять свои стратегии поведения в процессе эксплуатации системы. Hacker News · Безопасность и алайнмент Метод контроля саморазвивающихся ИИ-агентов через инъекции с подкреплением Исследователи представили новый подход к управлению автономными агентами, способными к самообучению. Метод использует механизм «самоподкрепляющихся инъекций» (self-reinforcing injections), позволяющий сохранять контроль над поведением модели даже при её эволюции. Это решает проблему «дрейфа» целей, когда агент в процессе итеративного улучшения начинает отклоняться от заданных инструкций, сохраняя при этом стабильность выполнения целевых задач. Hacker News · Исследования и наука Концепция агентных моделей мира: переход от предсказания к планированию Исследователи переосмысливают архитектуру LLM, внедряя концепцию «агентных моделей мира». В отличие от стандартных языковых моделей, которые лишь предсказывают следующий токен, такие системы обучаются моделировать динамику среды и последствия действий. Это позволяет агентам строить долгосрочные планы, учитывая причинно-следственные связи и возможные изменения в окружении, что критически важно для автономного принятия решений в сложных условиях. arXiv · Оркестрация агентов Совместное обучение правил и политик для ИИ-агентов Исследователи представили новый подход к обучению ИИ-агентов, объединяющий извлечение эмпирических правил и обновление параметров модели. Метод позволяет агентам эффективно использовать накопленный опыт в многошаговых средах, преодолевая разрыв между интерпретируемыми текстовыми правилами и глубокой настройкой весов, что повышает адаптивность и результативность принятия решений в сложных интерактивных задачах. Hacker News · Инфраструктура для агентов AgentENV: масштабируемая платформа для обучения и тестирования ИИ-агентов AgentENV — это новая инфраструктурная платформа, предназначенная для запуска и масштабирования сред исполнения ИИ-агентов. Решение позволяет эффективно управлять средами в процессе обучения с подкреплением (RL), обеспечивая высокую производительность при работе с большими объемами данных. Платформа ориентирована на разработчиков, которым требуется надежная среда для тестирования агентных систем в условиях реальных нагрузок. Hacker News · Оркестрация агентов Respect the Oracle: новый подход к борьбе с переобучением ИИ-агентов Инструмент Respect the Oracle предлагает новый метод борьбы с переобучением ИИ-агентов при выполнении задач в динамических средах. Решение внедряет механизм «оракула», который ограничивает агента в чрезмерной подстройке под конкретные обучающие примеры, заставляя его придерживаться более обобщенных стратегий. Это позволяет повысить надежность агентных систем при работе с непредсказуемыми входными данными. arXiv · Инфраструктура для агентов SESA: новый подход к самообучающимся агентам с внешней памятью навыков Исследователи представили SESA (Self-Evolving Skill-Augmented Agent) — архитектуру, объединяющую самообучение через игру (self-play) с механизмом внешней памяти навыков. В отличие от стандартных моделей, SESA не просто корректирует веса через градиенты, а сохраняет процедурный опыт в структурированной памяти, что позволяет агенту целенаправленно формировать учебную программу, решать задачи и запоминать успешные стратегии для будущих итераций. arXiv · Машинное обучение Новый метод обучения VLM-агентов через гибридную оценку преимуществ Исследователи представили метод Hybrid Advantage Estimation (HAE) для обучения мультимодальных моделей (VLM) в интерактивных средах. Подход объединяет токенизированную и пошаговую оптимизацию с использованием унифицированного критика, что позволяет агентам эффективнее принимать решения в многоходовых сценариях. Это решает проблему разрыва между предсказанием отдельных токенов и долгосрочным планированием, повышая общую результативность ИИ-агентов в сложных динамических задачах. arXiv · Оркестрация агентов Новый метод обучения агентов для работы с графическими интерфейсами Исследователи представили подход к обучению агентов (Computer-Use Agents), способных выполнять задачи в графических интерфейсах через подкрепляющее обучение. Основная проблема — отсутствие масштабируемых сигналов вознаграждения в десктопных средах — решена с помощью системы автономной оценки. Это позволяет агентам обучаться достижению целей, опираясь на визуальное подтверждение успеха без необходимости ручной разметки данных или создания сложных функций вознаграждения. arXiv · Машинное обучение Модельно-ориентированный подход к созданию сред для обучения с подкреплением Исследователи представили новый подход к разработке виртуальных сред, предназначенных для обучения агентов с подкреплением (RL). Традиционно создание таких систем требует значительных затрат времени, так как для успешной сходимости алгоритмов агентам необходимо тренироваться в множестве схожих, но вариативных условий. Авторы работы предлагают использовать модельно-ориентированную методологию, которая позволяет автоматизировать генерацию семейств сред, сохраняя при этом их функциональную близость.

← Все материалы