Simon Willison поделился опытом настройки кастомных цен на модели в AgentsView — инструменте для мониторинга токенов и стоимости работы ИИ-агентов. AgentsView, созданный Wes McKinney, позволяет отслеживать расходы на токены для разных агентов, работающих на локальном компьютере.
Проблема возникла с выходом новой модели Claude Fable 5, которая не была включена в базу данных цен AgentsView. Willison использовал Fable для реверс-инжиниринга AgentsView и разработал метод для установки пользовательских цен на модели. Это важно для точного учета затрат при работе с локальными агентами.
Процесс включает в себя изменение конфигурации AgentsView для добавления новых моделей и их стоимости. Это позволяет пользователям адаптировать инструмент под свои нужды, особенно при использовании новых или нестандартных моделей.
Для разработчиков ИИ-агентов, таких как Jarv, это полезный пример того, как можно гибко управлять стоимостью инференса. Это особенно актуально при работе с локальными моделями, где важно учитывать все затраты на вычисления.