arXiv · 23.07.2026 ·Инфраструктура для агентов

OpenForgeRL: новый подход к сквозному обучению ИИ-агентов

Исследователи представили OpenForgeRL — фреймворк для сквозного обучения ИИ-агентов, работающих в сложных средах с использованием внешних инструментов. Решение позволяет интегрировать современные агентные обвязки (harnesses) непосредственно в пайплайны обучения с подкреплением (RL) и дообучения (SFT), устраняя разрыв между сложной логикой вывода и процессами оптимизации моделей, что ранее было технически затруднительно.

Современные агентные системы, такие как Claude Code или OpenClaw, используют многошаговые цепочки рассуждений и доступ к внешним API, что делает их «состояние» динамичным и трудновоспроизводимым для стандартных методов обучения. OpenForgeRL предоставляет инфраструктуру, способную нативно обрабатывать многопроцессные вызовы и сохранять контекст состояния агента в процессе тренировки. Это позволяет обучать модели, которые лучше справляются с долгосрочным планированием и использованием инструментов в реальных условиях.

Данный подход открывает возможности для создания более автономных систем, способных к самообучению через взаимодействие с внешними средами. Вместо того чтобы разделять этап генерации кода и этап исполнения, OpenForgeRL объединяет их в единый цикл, позволяя градиентам проникать через действия агента в его внутренние механизмы принятия решений. Это значительно упрощает разработку агентов, требующих сложной оркестрации.

Ключевые факты

OpenForgeRL решает проблему несовместимости сложных агентных обвязок с классическими стеками SFT и RL.
Фреймворк поддерживает нативную работу с многопроцессными средами и сохранение состояния агента в процессе обучения.
Решение ориентировано на устранение ограничений при создании агентов, использующих внешние системы и инструменты.
Технология позволяет проводить сквозное обучение моделей, которые ранее требовали сложной ручной настройки логики взаимодействия с окружением.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hugging Face - Blog · Обучение и дообучение OpenEnv: открытая платформа для обучения агентов через RL Команда Hugging Face анонсировала OpenEnv — открытую платформу для обучения ИИ-агентов с использованием подхода Reinforcement Learning (RL). Платформа предоставляет набор инструментов и инфраструктуру для создания, тестирования и развертывания агентов, способных взаимодействовать с окружающей средой и учиться на основе обратной связи. arXiv · Обучение и дообучение Использование RL-обучения для улучшения агентных способностей LLM Исследователи обнаружили, что стандартное обучение с подкреплением (RL) при дообучении моделей уже содержит скрытый потенциал для улучшения агентных навыков. Авторы работы доказывают, что этот процесс позволяет эффективно оценивать пошаговые действия моделей без необходимости в сложных внешних системах вознаграждения, что критически важно для решения долгосрочных задач в стохастических средах, где традиционные методы аннотирования данных практически не работают. arXiv · Машинное обучение Модельно-ориентированный подход к созданию сред для обучения с подкреплением Исследователи представили новый подход к разработке виртуальных сред, предназначенных для обучения агентов с подкреплением (RL). Традиционно создание таких систем требует значительных затрат времени, так как для успешной сходимости алгоритмов агентам необходимо тренироваться в множестве схожих, но вариативных условий. Авторы работы предлагают использовать модельно-ориентированную методологию, которая позволяет автоматизировать генерацию семейств сред, сохраняя при этом их функциональную близость. Hacker News · Инфраструктура для агентов Agenlus: фреймворк для обучения браузерных агентов методом проб и ошибок Разработчики представили Agenlus — открытый фреймворк для обучения ИИ-агентов взаимодействию с веб-интерфейсами через метод обучения с подкреплением (Reinforcement Learning). Система позволяет агентам самостоятельно осваивать сложные сценарии навигации и выполнения задач в браузере, обучаясь на собственных ошибках, что снижает зависимость от проприетарных API крупных технологических корпораций и закрытых экосистем. Hacker News · Оркестрация агентов Respect the Oracle: новый подход к борьбе с переобучением ИИ-агентов Инструмент Respect the Oracle предлагает новый метод борьбы с переобучением ИИ-агентов при выполнении задач в динамических средах. Решение внедряет механизм «оракула», который ограничивает агента в чрезмерной подстройке под конкретные обучающие примеры, заставляя его придерживаться более обобщенных стратегий. Это позволяет повысить надежность агентных систем при работе с непредсказуемыми входными данными. arXiv · Машинное обучение Новый подход к обучению с подкреплением: от офлайн-данных к онлайн-взаимодействию Исследователи представили метод Active Offline-to-Online Reinforcement Learning (O2O-RL), оптимизирующий переход от обучения на статических наборах данных к активному взаимодействию со средой. Новый подход позволяет эффективно дообучать модели в динамических условиях, где прямое взаимодействие с системой требует высоких затрат или сопряжено с рисками, обеспечивая более стабильную адаптацию агентов к меняющимся задачам. Hacker News · Обучение и дообучение GoLongRL: новый подход к обучению агентов с длинным контекстом Исследователи из XiaoxuanNLP представили GoLongRL — фреймворк для обучения агентов с длинным контекстом, основанный на подходе reinforcement learning (RL). В отличие от традиционных методов, GoLongRL фокусируется на способностях (capabilities) агентов, а не на конкретных задачах, что позволяет лучше адаптироваться к новым сценариям. NVIDIA Technical Blog · Машинное обучение Применение обучения с подкреплением в разработке ИИ-агентов Обучение с подкреплением (RL) становится ключевым методом для повышения автономности и точности ИИ-агентов. NVIDIA представила обзор подходов, позволяющих моделям эффективно принимать решения в динамических средах. Технологии эволюционируют от классического RLHF к более сложным методам, которые позволяют агентам самостоятельно оптимизировать цепочки рассуждений и корректировать действия для достижения долгосрочных целей в реальных бизнес-задачах. Hacker News · Машинное обучение Метод сбора токенов для улучшения обучения ИИ-агентов с подкреплением Исследователи Amazon представили новый подход к обучению ИИ-агентов, основанный на фиксации идентификаторов токенов в процессе их взаимодействия со средой. Метод позволяет более эффективно использовать обучение с подкреплением (RL), преобразуя последовательности действий в структурированные данные. Это помогает моделям точнее оценивать качество принятых решений и быстрее адаптироваться к сложным задачам в динамических условиях. Hacker News · Оркестрация агентов Open Ralph Wiggum: фреймворк для автономных агентных циклов Проект Open Ralph Wiggum представляет собой инфраструктурное решение для создания автономных ИИ-агентов, способных работать в непрерывном цикле. Система фокусируется на реализации агентного цикла, который позволяет модели самостоятельно планировать задачи, выполнять действия и корректировать стратегию на основе полученных результатов без постоянного участия пользователя.

← Все материалы