Millwright — это self-hosted решение для маршрутизации запросов к языковым моделям, написанное на языке Rust. Инструмент позволяет эффективно распределять нагрузку между различными LLM, оптимизируя стоимость и задержки при выполнении агентных задач. Проект ориентирован на разработчиков, которым требуется гибкий контроль над инфраструктурой инференса и возможность динамического переключения между моделями в рамках одного пайплайна.
Архитектура системы построена вокруг принципов высокой производительности и безопасности, характерных для экосистемы Rust. Роутер выступает в роли прослойки между приложением и API различных провайдеров, позволяя внедрять логику выбора модели на лету. Это критически важно для сложных агентных систем, где для простых задач целесообразно использовать легковесные модели, а для комплексных рассуждений — более мощные и дорогие решения.
Использование self-hosted инфраструктуры для маршрутизации запросов дает компаниям независимость от сторонних облачных сервисов управления трафиком. Это упрощает соблюдение требований по защите данных и позволяет интегрировать собственные метрики для мониторинга качества ответов и затрат на токены. Решение поддерживает стандартные протоколы взаимодействия, что облегчает его внедрение в существующие стеки разработки.
Ключевые факты
- Инструмент полностью написан на языке программирования Rust для обеспечения высокой скорости работы и низкого потребления памяти.
- Система поддерживает self-hosted развертывание, что дает полный контроль над трафиком и данными запросов.
- Основная задача проекта — динамическая маршрутизация запросов для оптимизации стоимости инференса и времени отклика.
- Проект доступен в виде open-source решения на платформе GitHub для самостоятельной интеграции в агентные системы.