Криптовалютная биржа Coinbase перестроила свою ИИ-инфраструктуру, внедрив систему динамического выбора моделей, что позволило сократить затраты на API в два раза. Компания управляет парком из 1200 автономных агентов, которые выполняют задачи от поддержки клиентов до анализа данных, используя комбинацию проприетарных и open-source моделей для оптимизации стоимости и производительности.

Ключом к успеху стала архитектура, которая не привязывает агентов к одной конкретной модели. Вместо этого система автоматически направляет запрос к наиболее подходящей модели в зависимости от сложности задачи. Для простых операций используются легковесные и дешевые модели, тогда как для комплексных рассуждений задействуются более мощные и дорогие решения. Такой подход позволил избежать избыточных трат на вычислительные ресурсы.

Инженерная команда Coinbase также внедрила унифицированный слой абстракции, который позволяет быстро переключаться между поставщиками моделей без изменения кода самих агентов. Это обеспечивает гибкость при обновлении стека и позволяет оперативно интегрировать новые версии моделей, как только они появляются на рынке, сохраняя при этом контроль над бюджетом и качеством ответов.

Ключевые факты

  • Coinbase использует 1200 активных ИИ-агентов для автоматизации внутренних и внешних процессов.
  • Внедрение системы динамического выбора моделей позволило сократить расходы на ИИ-инфраструктуру на 50%.
  • Архитектура поддерживает переключение между различными моделями без необходимости переписывать логику агентов.
  • Система использует комбинацию моделей разного уровня сложности для балансировки стоимости и качества выполнения задач.