Исследователи представили новый подход к оптимизации работы ИИ-агентов, позволяющий им предсказывать и заранее выполнять следующий вызов инструмента до завершения текущего процесса. Метод сокращает задержки в цепочках рассуждений, позволяя агенту параллельно готовить данные для последующих этапов, что значительно повышает общую скорость выполнения сложных многошаговых задач и снижает время ожидания пользователя.
Традиционные агентные системы работают последовательно: модель должна получить результат выполнения одного инструмента, прежде чем сформировать запрос для следующего. Новый алгоритм вводит механизм предиктивного планирования, где агент анализирует контекст и вероятность выбора конкретного инструмента на следующем шаге. Это позволяет системе инициировать подготовку или частичное выполнение запроса еще до того, как будет получен финальный ответ от текущего действия.
Такой подход особенно эффективен в сценариях с высокой латентностью внешних API или при работе с распределенными базами данных. Сокращение времени «простоя» модели между шагами цепочки позволяет агентам быстрее обрабатывать запросы, требующие обращения к нескольким внешним источникам информации или сложным вычислительным сервисам.
Ключевые факты
- Метод основан на предиктивном планировании вызовов инструментов (tool calls) в рамках агентных цепочек.
- Технология позволяет параллельно запускать подготовку данных для последующих этапов, не дожидаясь завершения текущего шага.
- Основная цель разработки — минимизация задержек (latency) в сложных агентных системах, работающих с внешними API.
- Подход применим к широкому спектру архитектур, использующих LLM для управления внешними инструментами.