Компания Sword Health разработала систему маршрутизации запросов, которая позволила сократить расходы на использование больших языковых моделей на 94%. Инструмент динамически перенаправляет задачи между различными моделями в зависимости от их сложности, отдавая предпочтение более дешевым и быстрым вариантам для простых запросов, сохраняя при этом высокую точность ответов для критически важных бизнес-процессов.

Архитектура решения базируется на принципе интеллектуального выбора модели для каждого конкретного промпта. Вместо использования одной универсальной и дорогостоящей модели, система анализирует контекст запроса и выбирает наиболее подходящий движок. Это позволяет оптимизировать бюджет без потери качества обслуживания, так как сложные логические задачи направляются на флагманские модели, а рутинные операции — на легковесные аналоги.

Такой подход решает проблему избыточных затрат при масштабировании ИИ-сервисов в корпоративной среде. Внедрение маршрутизатора позволяет компаниям гибко управлять инфраструктурой, комбинируя проприетарные API и локальные модели. Это создает эффективный баланс между производительностью, задержкой отклика и стоимостью вычислений, что является ключевым фактором при переходе от прототипов к промышленной эксплуатации агентных систем.

Ключевые факты

  • Итоговое снижение затрат на использование LLM составило 94%.
  • Система использует динамическую маршрутизацию для выбора оптимальной модели под конкретный запрос.
  • Решение позволяет эффективно комбинировать различные типы моделей в рамках одного пайплайна.
  • Основной фокус разработки — оптимизация операционных расходов при сохранении качества ответов.