Компания OrcaRouter представила новый подход к инференсу, который позволяет объединять несколько моделей в одну. Вместо увеличения размера модели разработчики предложили использовать панель, которая объединяет несколько моделей в одну систему. Это позволяет значительно улучшить производительность и точность без увеличения вычислительных затрат.

Технология, известная как Model Fusion, была успешно внедрена в производство. Она позволяет объединять различные модели, включая языковые и мультимодальные, в одну систему. Это даёт возможность использовать преимущества каждой модели, сохраняя при этом низкие вычислительные затраты.

OrcaRouter также представил новый язык описания маршрутизации (Routing DSL), который упрощает интеграцию и управление моделями. Этот язык позволяет разработчикам легко настраивать и оптимизировать маршрутизацию запросов между моделями, что улучшает общую производительность системы.

Новый подход к инференсу и оркестрации моделей может стать важным шагом в развитии ИИ-систем. Он позволяет использовать несколько моделей одновременно, что улучшает точность и производительность без значительного увеличения затрат на вычисления.