Mantis — это новый open-source проект, представляющий собой self-hosted шлюз для управления запросами к большим языковым моделям. Инструмент позволяет централизованно маршрутизировать трафик, контролировать расходы и обеспечивать безопасность при работе с различными LLM-провайдерами. Решение ориентировано на разработчиков, которым необходим полный контроль над инфраструктурой инференса и прозрачность в использовании токенов внутри корпоративных систем.
Шлюз выступает прослойкой между приложением и API различных моделей, позволяя динамически переключаться между поставщиками без изменения кода самого продукта. Это упрощает внедрение стратегий отказоустойчивости и позволяет реализовать кэширование запросов, что критически важно для снижения задержек и оптимизации затрат при масштабировании агентных систем.
Архитектура Mantis поддерживает интеграцию с популярными фреймворками, обеспечивая единую точку входа для мониторинга и логирования всех взаимодействий с моделями. Использование self-hosted решения позволяет компаниям сохранять конфиденциальность данных, исключая передачу метаданных запросов через сторонние прокси-сервисы, что является значимым преимуществом для Enterprise-сегмента.
Ключевые факты
- Mantis распространяется как open-source решение с возможностью полного self-hosting развертывания.
- Основной функционал включает маршрутизацию запросов, контроль затрат и централизованное логирование.
- Инструмент позволяет абстрагироваться от конкретных API провайдеров, обеспечивая гибкость при выборе моделей.
- Архитектура ориентирована на снижение latency за счет встроенных механизмов кэширования и оптимизации трафика.