Together AI представила новую систему оркестрации для запуска кастомных моделей — Dedicated Container Inference. Она обеспечивает ускорение инференса в 1.4–2.6 раза по сравнению с традиционными подходами.
Новый инструмент ориентирован на разработчиков, которым требуется высокая производительность и стабильность при работе с собственными моделями. Вместе с ускорением Together AI обещает улучшенное управление ресурсами и масштабируемость.
Dedicated Container Inference поддерживает как облачные, так и локальные развёртывания. Компания подчёркивает, что решение готово к использованию в производственных средах, что делает его подходящим для коммерческих проектов.
Сейчас сервис доступен в бета-версии, а полноценный релиз запланирован на ближайшие месяцы. Together AI также обещает дальнейшее развитие инструмента с добавлением новых функций и оптимизаций.