Relay — это self-hosted решение, выступающее в роли прокси-шлюза для работы с LLM. Основная особенность инструмента заключается в возможности динамической маршрутизации запросов между различными моделями на основе их производительности и качества ответов. Система использует автоматизированную оценку (evals) для выбора наиболее подходящей модели в режиме реального времени, оптимизируя стоимость и точность генерации.
Инструмент решает проблему выбора оптимальной модели для конкретных задач, позволяя разработчикам не привязываться к одному провайдеру. Благодаря встроенным механизмам оценки, Relay автоматически направляет запросы на более дешевые или быстрые модели, если они показывают сопоставимое с флагманскими решениями качество. Это позволяет снизить расходы на инференс и повысить надежность агентных систем.
Архитектура шлюза ориентирована на интеграцию в существующие пайплайны разработки, где требуется гибкое управление API-вызовами. Пользователи могут настраивать логику маршрутизации, задавая критерии оценки ответов, что делает систему адаптивной к специфическим бизнес-требованиям и меняющимся характеристикам доступных LLM.
Ключевые факты
- Relay поддерживает self-hosted развертывание, обеспечивая полный контроль над трафиком и данными запросов.
- Система использует механизм eval-gated routing для автоматического выбора модели на основе метрик качества.
- Инструмент позволяет снижать затраты на API за счет интеллектуального переключения между моделями разного уровня сложности.
- Решение предназначено для оптимизации агентных систем, требующих баланса между стоимостью, скоростью и точностью ответов.