Исследователи представили TRACE-ROUTER — систему для динамического выбора LLM в многошаговых агентных процессах. В отличие от традиционных роутеров, оценивающих каждый запрос изолированно, этот метод учитывает долгосрочный контекст выполнения задачи. Это позволяет балансировать между стоимостью и качеством генерации на уровне всего рабочего процесса, а не отдельных вызовов API, повышая общую эффективность агентных систем.
Современные корпоративные ИИ-решения часто используют каскады моделей, где сложные задачи передаются мощным LLM, а простые — более дешевым и быстрым. Однако агентные приложения работают в режиме длинных цепочек рассуждений, где ошибка на раннем этапе может привести к провалу всей задачи. Стандартные подходы к маршрутизации не учитывают эту зависимость, что приводит к избыточным затратам или снижению точности при выполнении комплексных сценариев.
TRACE-ROUTER внедряет механизм адаптивного принятия решений, который анализирует состояние выполнения задачи в реальном времени. Система обучается на основе результатов завершенных рабочих процессов, что позволяет ей корректировать выбор моделей для последующих шагов. Такой подход минимизирует задержки и оптимизирует бюджет инференса, сохраняя при этом требуемый уровень качества конечного результата для пользователя.
Ключевые факты
- TRACE-ROUTER переходит от пошаговой маршрутизации к оценке эффективности на уровне всей цепочки действий агента.
- Система оптимизирует соотношение стоимости и качества (cost-quality trade-off) в долгосрочных рабочих процессах.
- Метод решает проблему «отложенного результата», когда успех всей задачи становится ясен только после завершения всех этапов.
- Архитектура позволяет динамически переключаться между моделями разной мощности в зависимости от текущего прогресса и сложности оставшихся подзадач.