Команда Cursor представила архитектуру своего маршрутизатора моделей, который автоматически выбирает оптимальную LLM для конкретной задачи пользователя. Система анализирует сложность запроса, контекст и требования к скорости, переключаясь между быстрыми моделями для простых правок и мощными — для архитектурных изменений. Это позволяет балансировать между качеством кода, задержкой ответа и стоимостью вычислений.
Маршрутизация реализована на основе классификатора, который оценивает входящий промпт и историю диалога. В зависимости от предсказания сложности, система направляет запрос либо к легковесным моделям (например, Claude 3.5 Haiku), либо к флагманским решениям (Claude 3.5 Sonnet или GPT-4o). Такой подход минимизирует время ожидания для пользователя, не жертвуя точностью при решении комплексных задач программирования.
Помимо классификации, система учитывает текущую нагрузку на API и доступность моделей. Интеграция маршрутизатора непосредственно в среду разработки позволяет динамически адаптировать стратегию вывода под специфику проекта, обеспечивая предсказуемое поведение агента при написании кода, рефакторинге или поиске ошибок в больших кодовых базах.
Ключевые факты
- Маршрутизатор анализирует сложность задачи в реальном времени для выбора между быстрыми и мощными моделями.
- Система использует комбинацию классификаторов для оценки контекста и требований к качеству кода.
- Основная цель архитектуры — оптимизация баланса между задержкой (latency) и точностью генерации.
- Решение поддерживает динамическое переключение между моделями уровня Claude 3.5 и GPT-4o в зависимости от контекста задачи.