Разработчик Вивек Халдар представил метод радикального снижения затрат на токены при работе ИИ-агентов, добившись сокращения расхода на 94%. Вместо использования стандартных промптов для выполнения повторяющихся задач, автор перевел логику агента в скомпилированный код. Это позволило заменить длинные инструкции на вызов специализированных функций, что значительно повысило эффективность и предсказуемость системы.
Основная идея заключается в переходе от «агентного мышления» (где модель каждый раз рассуждает над последовательностью действий) к жестко заданным алгоритмам для рутинных операций. Когда агент сталкивается с повторяющейся задачей, он не генерирует цепочку рассуждений, а выполняет заранее подготовленный программный модуль. Такой подход минимизирует количество токенов, необходимых для «объяснения» модели того, что именно нужно сделать в конкретный момент.
Этот метод особенно эффективен для сложных рабочих процессов, где агент должен взаимодействовать с внешними API или обрабатывать структурированные данные. Вместо того чтобы полагаться на вероятностную природу LLM при выполнении каждого шага, система делегирует исполнение кода, оставляя модели лишь высокоуровневое планирование. Это не только снижает стоимость инференса, но и уменьшает вероятность галлюцинаций в критически важных узлах процесса.
Ключевые факты
- Итоговое снижение потребления токенов составило 94% по сравнению с исходной реализацией на базе стандартных промптов.
- Метод основан на замене динамических инструкций для LLM на скомпилированные функции для выполнения повторяющихся задач.
- Переход к кодовой реализации позволяет исключить этап «рассуждений» модели для рутинных операций, повышая скорость выполнения.
- Подход ориентирован на создание гибридных систем, где LLM управляет логикой, а код берет на себя исполнение конкретных действий.