arXiv · 17.06.2026 ·Обучение и дообучение

Метод RODS для улучшения обучения агентов с использованием инструментов

Исследователи представили метод RODS (Reward-Driven Online Data Synthesis), направленный на повышение эффективности обучения ИИ-агентов, работающих с внешними инструментами в многоходовых сценариях. Основная проблема существующих подходов заключается в быстром истощении полезных обучающих данных в статических наборах, что ограничивает развитие моделей. Новый метод решает эту задачу через динамическую генерацию данных, ориентированную на максимизацию обучающего сигнала.

В основе подхода лежит наблюдение за градиентными сигналами в алгоритмах обучения с подкреплением, таких как GRPO. Авторы установили, что модель получает наиболее ценную информацию при выполнении задач, где вероятность успеха и неудачи примерно сбалансирована — на так называемой границе возможностей агента. Именно в этих точках наблюдается наибольшая дисперсия наград, что позволяет эффективнее корректировать веса модели.

RODS в режиме реального времени синтезирует обучающие примеры, которые соответствуют текущему уровню сложности для конкретного агента. Это позволяет избежать переобучения на простых задачах и фокусирует вычислительные ресурсы на тех аспектах взаимодействия с инструментами, где модель еще допускает ошибки. Такой подход значительно ускоряет сходимость обучения и повышает надежность агентов при выполнении многоэтапных цепочек действий.

Источник: arXiv

Похожие материалы

arXiv · Память и RAG Как RAG помогает ИИ-агентам решать сложные задачи через аналогии Исследователи из MIT и Google Research предложили новый подход к улучшению способности языковых моделей решать сложные задачи через аналогии. В работе, опубликованной на arXiv, они демонстрируют, как Retrieval-Augmented Generation (RAG) может быть адаптирован для более эффективного решения задач, требующих нестандартного мышления. arXiv · Память и RAG Как улучшить надёжность ИИ-агентов в робототехнике Исследователи из MIT и других ведущих университетов предложили новый подход к улучшению надёжности ИИ-агентов в робототехнике. В своей работе, опубликованной на arXiv, они рассматривают проблему обнаружения аномалий в поведении роботов, управляемых генеративными моделями. arXiv · Обучение и дообучение Новый фреймворк для обучения ИИ-агентов в условиях зависимости данных Исследователи из Arxiv представили новый фреймворк для обучения ИИ-агентов, который учитывает зависимость данных. В статье "Learning with Simulators: No Regret in a Computationally Bounded World" авторы рассматривают минимальные предположения, необходимые для генерализации в условиях, где данные не являются независимыми. Это особенно важно для ИИ-агентов, которые часто работают с последовательными или взаимосвязанными данными, например, в задачах планирования или взаимодействия с окружающей средой. arXiv · Обучение и дообучение Новый метод для эффективного онлайн-обучения визуально-языковых агентов Исследователи предложили новый подход к онлайн-обучению визуально-языковых агентов (VLA) с использованием методов reinforcement learning (RL). В статье, опубликованной на arXiv, они описывают метод Hierarchical Advantage Weighting (HAW), который решает проблему редких и неинформативных сигналов обратной связи в процессе обучения. arXiv · Машинное обучение Новый метод обучения мультиагентных систем для принятия решений Исследователи представили метод Multi-Agent Fictitious Play, направленный на улучшение навыков принятия решений в мультиагентных системах на базе больших языковых моделей. Традиционный подход «разделяй и властвуй», при котором сложные задачи разбиваются на независимые подзадачи, оказался недостаточно эффективным для сценариев, требующих учета интересов всех сторон одновременно. Новый алгоритм позволяет агентам моделировать поведение оппонентов и партнеров, имитируя процесс стратегического взаимодействия. arXiv · Модели и релизы Почему самоулучшающиеся модели могут деградировать на новых задачах Исследователи из Arxiv выявили проблему в популярном подходе к самоулучшению визуально-языковых моделей (VLM), основанном на DPO (Direct Preference Optimization). В таких системах «верфикатор» оценивает генерации модели, а на основе лучших и худших примеров происходит обучение. Авторы показали, что этот метод может привести к деградации модели на новых задачах, несмотря на улучшение на обучающих данных. Ars Technica - All content · ИИ в бизнесе NVIDIA использует ИИ-агентов для автономного обучения роботов Компания NVIDIA представила новую методику подготовки робототехнических систем, в которой ключевую роль играют автономные ИИ-агенты, специализирующиеся на написании кода. Вместо ручного программирования каждого движения или алгоритма, система использует группы агентов для самостоятельной корректировки и оптимизации обучающих сценариев. Это позволяет роботам быстрее адаптироваться к выполнению сложных задач в динамических условиях. arXiv · Память и RAG Как RAG помогает бороться с галлюцинациями в мультимодальных моделях Исследователи из MIT и других ведущих университетов предложили новый подход к снижению визуальных галлюцинаций в мультимодальных языковых моделях (MLLMs). Эти системы, способные обрабатывать как текстовые, так и визуальные данные, часто демонстрируют уверенность в своих ответах, даже когда визуальные данные слабые или неоднозначные. Это приводит к так называемым "галлюцинациям" — выводам, не соответствующим реальности. arXiv · Память и RAG RoboPIN: новый подход к визуальному мышлению для ИИ-агентов Исследователи из MIT и других ведущих университетов представили RoboPIN — метод, который улучшает способность ИИ-агентов к визуальному мышлению в физических средах. Текущие модели часто используют текстовые или координатные цепочки мыслей, что приводит к разрыву между визуальными данными и логическим выводом. RoboPIN предлагает решение, фиксируя визуальные объекты в процессе рассуждений, что делает их более точными и последовательными. Hacker News · Оркестрация агентов Методология ревью кода, написанного ИИ-агентами Разработка сложных агентных систем требует перехода от модели «запустил и забыл» к строгому контролю качества кода, генерируемого моделями. Основная проблема заключается в том, что агенты часто создают рабочие, но архитектурно слабые решения, которые сложно поддерживать в долгосрочной перспективе. Для решения этой задачи внедряется многоуровневый процесс проверки, где человек выступает в роли архитектора, анализирующего логику выполнения задач и структуру создаваемых модулей.

← Все материалы