Mantis — это open-source решение для централизованного управления запросами к языковым моделям. Инструмент выступает в роли шлюза, позволяя разработчикам объединять различные LLM-провайдеры в единую инфраструктуру. Система обеспечивает контроль над трафиком, мониторинг использования токенов и управление доступом, что упрощает масштабирование агентных систем и интеграцию локальных или облачных моделей в корпоративные приложения.
Основная задача Mantis заключается в абстрагировании логики взаимодействия с API разных моделей. Вместо прямой интеграции с каждым сервисом отдельно, разработчики направляют запросы через шлюз, который берет на себя маршрутизацию, балансировку нагрузки и логирование. Это критически важно для систем, использующих несколько моделей одновременно или требующих быстрой замены провайдера при изменении стоимости или доступности API.
Архитектура шлюза ориентирована на self-hosted развертывание, что дает командам полный контроль над данными и безопасностью. Инструмент поддерживает стандартизированные форматы запросов, что позволяет легко переключаться между моделями от OpenAI, Anthropic или локальными инстансами, запущенными через Ollama или vLLM, без необходимости переписывать код бизнес-логики агентов.
Ключевые факты
- Mantis предоставляет единый API-интерфейс для работы с множеством LLM-провайдеров.
- Инструмент поддерживает функции мониторинга и детального логирования всех входящих и исходящих запросов.
- Решение предназначено для self-hosted установки, обеспечивая приватность и контроль над инфраструктурой.
- Шлюз позволяет внедрять политики управления доступом и оптимизировать расходы на использование токенов.
- Проект доступен в виде open-source репозитория для интеграции в существующие пайплайны разработки.