Исследователи представили метод TRACE (Turn-level Reward Assignment via Credit Estimation), решающий проблему разреженности наград при обучении ИИ-агентов. Алгоритм распределяет кредиты на уровне отдельных шагов взаимодействия с инструментами, что позволяет эффективно тренировать модели для выполнения сложных многоэтапных задач, где традиционные методы оценки по конечному результату показывают высокую дисперсию и низкую точность.

При выполнении длинных цепочек действий агент часто совершает промежуточные ошибки, которые сложно отследить, если оценивать только итоговый ответ. Метод TRACE анализирует вклад каждого конкретного действия в финальный успех, позволяя модели лучше понимать причинно-следственные связи внутри длинных траекторий. Это критически важно для автоматизации процессов, требующих десятков или сотен вызовов внешних API, где накопленная ошибка может привести к провалу всей задачи.

Использование предложенного подхода значительно повышает стабильность обучения в задачах с длинным горизонтом планирования. В отличие от стандартного обучения с подкреплением, которое полагается на редкие сигналы успеха, TRACE обеспечивает плотную обратную связь на каждом этапе, что ускоряет сходимость и снижает вероятность «галлюцинаций» или зацикливания агента при использовании инструментов.

Ключевые факты

  • TRACE перераспределяет итоговую награду на каждый шаг взаимодействия, решая проблему «разреженных наград».
  • Метод оптимизирован для агентов, совершающих сотни последовательных вызовов инструментов для достижения цели.
  • Алгоритм снижает дисперсию градиентов, что делает процесс дообучения моделей более предсказуемым и стабильным.
  • Подход позволяет эффективно выявлять неэффективные или ошибочные действия внутри длинных цепочек рассуждений.