Разработчики платформы Agent Swarm добились радикального сокращения расходов на инференс, внедрив режим «Code Mode». Вместо использования стандартных промптов на естественном языке, система перешла на генерацию компактного кода для выполнения задач. Это позволило снизить потребление токенов на 99,2%, сохранив при этом высокую точность выполнения сложных агентных операций.

Традиционные агентные системы часто тратят избыточное количество токенов на «рассуждения» (reasoning) и описание шагов на естественном языке. Переход на специализированный программный код позволяет сжать инструкции до минимально необходимого объема, который LLM обрабатывают значительно быстрее и дешевле. Такой подход меняет экономику эксплуатации автономных агентов, делая их использование в высоконагруженных бизнес-процессах экономически оправданным.

Метод Code Mode предполагает, что агент не просто описывает свои действия, а пишет исполняемый скрипт, который затем запускается в изолированной среде. Это не только экономит ресурсы, но и повышает предсказуемость результата, так как код имеет строгий синтаксис и меньше подвержен «галлюцинациям» по сравнению с длинными текстовыми цепочками рассуждений.

Ключевые факты

  • Использование режима Code Mode обеспечило снижение затрат на 99,2% по сравнению с классическими текстовыми промптами.
  • Основная экономия достигается за счет минимизации количества токенов, необходимых для описания логики действий агента.
  • Метод переносит нагрузку с генерации текста на выполнение программного кода в изолированной среде.
  • Подход позволяет масштабировать агентные системы, снижая стоимость одного цикла выполнения задачи до долей цента.