Библиотека Toolgz позволяет сократить количество токенов, затрачиваемых на описание инструментов (tool definitions) для LLM, в среднем на 80%. Инструмент сжимает JSON-схемы функций, сохраняя при этом точность выполнения задач моделью. Это решение помогает снизить расходы на инференс и ускорить работу агентных систем, использующих сложные наборы инструментов для взаимодействия с внешними API.
При работе с LLM-агентами значительная часть контекстного окна часто расходуется на подробные описания функций, что увеличивает задержки и стоимость каждого запроса. Toolgz автоматизирует процесс оптимизации этих определений, удаляя избыточные данные и сокращая имена параметров без потери семантического смысла, необходимого модели для корректного выбора и вызова нужного инструмента.
Использование подобных методов сжатия особенно актуально для систем с большим количеством доступных функций, где лимиты контекстного окна становятся узким местом. Инструмент ориентирован на разработчиков, стремящихся оптимизировать затраты на API и повысить эффективность работы агентов в условиях ограниченных ресурсов.
Ключевые факты
- Сокращение объема токенов для определений инструментов достигает 80%.
- Инструмент сохраняет точность вызова функций на уровне исходных, несжатых описаний.
- Решение реализовано в виде библиотеки, упрощающей интеграцию в существующие пайплайны вызова инструментов.
- Оптимизация направлена на снижение стоимости инференса и уменьшение задержек при работе с LLM.