arXiv · 05.08.2026 ·Оркестрация агентов

Метод ABSeeker для обучения агентов долгосрочному поиску

Исследователи представили ABSeeker — новый метод обучения ИИ-агентов для выполнения многошаговых задач поиска и верификации информации. В отличие от стандартных подходов, равномерно оценивающих все действия в цепочке, ABSeeker использует механизм обратного отслеживания ответов (answer-backtracking) для точного распределения кредита (credit assignment) между полезными и избыточными шагами в процессе рассуждения.

При выполнении сложных запросов агенты часто совершают ошибки на промежуточных этапах, что затрудняет обучение при использовании классического обучения с подкреплением (RL) или SFT. Новый алгоритм анализирует траекторию поиска в обратном порядке от итогового ответа, выявляя, какие именно действия привели к успеху, а какие были ошибочными или лишними. Это позволяет модели эффективнее фокусироваться на релевантных этапах извлечения и интеграции данных.

Применение данного метода значительно повышает точность агентов в задачах, требующих глубокого анализа и многоступенчатого поиска доказательств. Разделение вклада каждого шага в финальный результат минимизирует шум в обучающих данных, что критически важно для создания надежных систем, способных к автономной работе над долгосрочными задачами без постоянного контроля со стороны пользователя.

Ключевые факты

Метод ABSeeker внедряет механизм обратного отслеживания (answer-backtracking) для оценки вклада каждого действия в итоговый результат.
Алгоритм решает проблему «зашумленных» траекторий, где полезные действия смешиваются с избыточными или ошибочными шагами.
Подход оптимизирует процессы обучения с подкреплением (RL) и supervised fine-tuning (SFT) для агентов, работающих с длинными горизонтами планирования.
Технология направлена на повышение качества поиска, верификации и синтеза информации в сложных агентных системах.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Машинное обучение Метод сбора токенов для улучшения обучения ИИ-агентов с подкреплением Исследователи Amazon представили новый подход к обучению ИИ-агентов, основанный на фиксации идентификаторов токенов в процессе их взаимодействия со средой. Метод позволяет более эффективно использовать обучение с подкреплением (RL), преобразуя последовательности действий в структурированные данные. Это помогает моделям точнее оценивать качество принятых решений и быстрее адаптироваться к сложным задачам в динамических условиях. Hacker News · Оркестрация агентов Autoresearch: методология самообучающихся ИИ-агентов через циклы обратной связи Концепция Autoresearch описывает архитектурный подход к созданию автономных агентов, способных к итеративному самосовершенствованию. Система использует механизмы рефлексии и анализа результатов выполнения задач для корректировки собственных стратегий поиска и обработки информации. Такой подход позволяет агентам минимизировать количество ошибок при работе со сложными данными и повышать точность ответов без прямого вмешательства человека в процесс обучения. arXiv · Память и RAG Метод накопления преимуществ для самообучения ИИ-агентов Исследователи представили новый подход к обучению ИИ-агентов, основанный на механизме накопления маржинальных преимуществ (Marginal Advantage Accumulation). Метод решает проблему противоречивой обратной связи, возникающей при пакетной дистилляции траекторий, когда одни и те же операции с памятью получают разные оценки эффективности в разных итерациях обучения. arXiv · Инфраструктура для агентов Метод мониторинга и исправления ошибок ИИ-агентов в реальном времени Исследователи представили новый подход к обнаружению и исправлению сбоев в работе ИИ-агентов, основанный на анализе телеметрии шагов. В отличие от затратных методов с использованием второй LLM-модели для проверки каждого действия, предложенная система работает с минимальными задержками, используя мониторы, обученные исключительно на успешных сценариях выполнения задач, что значительно снижает вычислительные расходы. arXiv · Машинное обучение Метод TRIAGE для точного распределения вознаграждения в агентном обучении Исследователи представили метод TRIAGE, который решает проблему неэффективного распределения кредита (credit assignment) в агентном обучении с подкреплением. В отличие от стандартного алгоритма GRPO, который оценивает только финальный результат, TRIAGE классифицирует действия агента по типам ролей. Это позволяет точнее определять вклад каждого шага — от навигации до редактирования — в итоговый успех, избегая наказания за полезные исследовательские действия. arXiv · Машинное обучение Новый метод обучения с подкреплением для задач с разреженными наградами Исследователи представили метод Success Visitation Matching, решающий проблему неэффективного обучения моделей в условиях разреженных наград. В стандартных сценариях обучения с подкреплением агент получает сигнал о полезности действия только при достижении конечной цели, что делает процесс поиска оптимальной стратегии крайне медленным и нестабильным. Новый подход позволяет модели лучше распределять кредит за промежуточные действия, опираясь на вероятность посещения состояний, ведущих к успеху. arXiv · Оркестрация агентов Оптимизация выбора инструментов в ИИ-агентах с учетом стоимости Исследователи представили метод Cost-Aware Stopping, решающий проблему избыточного использования внешних инструментов в ИИ-агентах. Вместо простого ранжирования сервисов по релевантности, новый подход определяет оптимальную точку остановки поиска, балансируя между качеством выполнения задачи и затратами на API, нагрузкой на контекстное окно и рисками конфиденциальности при обращении к внешним базам данных и поисковикам. arXiv · Обучение и дообучение Метод TRACE для эффективного обучения агентов с длинным горизонтом планирования Исследователи представили метод TRACE (Turn-level Reward Assignment via Credit Estimation), решающий проблему разреженности наград при обучении ИИ-агентов. Алгоритм распределяет кредиты на уровне отдельных шагов взаимодействия с инструментами, что позволяет эффективно тренировать модели для выполнения сложных многоэтапных задач, где традиционные методы оценки по конечному результату показывают высокую дисперсию и низкую точность. Hacker News · Исследования и наука Новый метод оптимизации для агентного обучения с подкреплением Исследователи представили метод Single-Rollout Asynchronous Optimization (SRAO), направленный на повышение эффективности обучения ИИ-агентов. Подход решает проблему вычислительной сложности в агентном обучении с подкреплением (RL), позволяя обновлять стратегии агентов асинхронно на основе единичных траекторий. Это значительно сокращает время подготовки моделей и повышает стабильность обучения в сложных динамических средах. Hacker News · Инфраструктура для агентов Оптимизация сквозного инференса через самообучающихся агентов Исследователи представили подход к ускорению сквозного инференса за счет использования самообучающихся агентов. Метод фокусируется на динамической оптимизации вычислительных путей, позволяя моделям сокращать количество шагов рассуждения при сохранении точности ответов. Это решение направлено на снижение задержек в сложных агентных системах, где каждый цикл генерации токенов критически влияет на общую производительность и стоимость эксплуатации инфраструктуры.

← Все материалы