IBM Research представила подход к интеллектуальной маршрутизации запросов между различными языковыми моделями для баланса между стоимостью и качеством ответов. Система анализирует сложность входящего промпта и направляет его либо к легковесным и дешевым моделям, либо к мощным флагманским решениям, что позволяет существенно снизить затраты на инференс без потери производительности в критических задачах.
Эффективная маршрутизация становится необходимым компонентом архитектуры при масштабировании агентных систем. Вместо использования одной универсальной модели, разработчики внедряют каскадные схемы, где маршрутизатор выступает в роли «диспетчера». Это требует точной настройки классификаторов, которые должны мгновенно определять, справится ли компактная модель с конкретным запросом или требуется привлечение более «умного» и дорогого решения.
Основная сложность заключается в создании надежного механизма оценки, который сам по себе не потребляет избыточных ресурсов. Исследователи подчеркивают, что наивные подходы, основанные на простых эвристиках, часто проигрывают в точности, поэтому современные системы переходят к обучению специализированных моделей-маршрутизаторов, которые учитывают контекст, длину токенов и специфику предметной области.
Ключевые факты
- Маршрутизация позволяет снизить расходы на API до 70% при сохранении качества ответов на уровне флагманских моделей.
- Система классификации запросов использует легковесные классификаторы для предсказания необходимого уровня «интеллекта» модели.
- Подход учитывает задержки (latency) как критический фактор, исключая лишние этапы обработки перед отправкой запроса к целевой LLM.
- Использование каскадов (cascading) минимизирует количество токенов, обрабатываемых самыми дорогими моделями в системе.