Coinbase начала использовать китайские языковые модели, такие как GLM 5.2 и Kimi 2.7, для своих внутренних задач. Внедрение системы автоматической маршрутизации запросов в сочетании с улучшенным кэшированием позволило компании сократить расходы на ИИ в два раза, несмотря на постоянный рост объемов потребления токенов и сложности обрабатываемых задач.

Переход на альтернативные модели стал ответом на высокие цены западных провайдеров. Инженерная команда Coinbase разработала систему, которая в реальном времени анализирует запрос и выбирает наиболее подходящую модель, исходя из соотношения стоимости и качества выполнения конкретной задачи. Такой подход позволил значительно снизить зависимость от одного поставщика и оптимизировать бюджет на инфраструктуру.

Важным элементом стратегии стало повышение эффективности кэширования. Благодаря оптимизации процессов обработки данных, компании удалось увеличить показатель попадания в кэш (hit rate) с 5% до 60%. Это существенно снизило количество обращений к API моделей, что напрямую повлияло на итоговую стоимость эксплуатации агентных систем.

Ключевые факты

  • Coinbase интегрировала модели GLM 5.2 и Kimi 2.7 в свои рабочие процессы.
  • Расходы на ИИ сократились вдвое при сохранении или росте объемов использования токенов.
  • Показатель эффективности кэширования (hit rate) вырос с 5% до 60%.
  • Использование автоматизированной системы маршрутизации позволяет выбирать оптимальную модель для каждого конкретного запроса.