Together AI запускает Provisioned Throughput для предсказуемого инференса открытых моделей

Платформа Together AI представила сервис Provisioned Throughput, обеспечивающий гарантированные мощности для запуска передовых открытых моделей, включая MiniMax M3 и GLM-5.2. Решение предлагает предсказуемую тарификацию на основе токенов, SLA с аптаймом 99% и снижение затрат до 90% по сравнению с проприетарными API, устраняя необходимость в управлении GPU-инфраструктурой и сложными расчетами ресурсов.

Новый сервис ориентирован на компании, которым требуется стабильная производительность и высокая доступность моделей без затрат на поддержку собственного кластера. Пользователи получают выделенные вычислительные мощности, что исключает конкуренцию за ресурсы в периоды пиковых нагрузок, характерную для стандартных API-интерфейсов с разделяемым доступом.

Интеграция Provisioned Throughput позволяет разработчикам масштабировать агентные системы и сложные приложения, опираясь на предсказуемые показатели задержки и стоимости. Отсутствие необходимости в ручном управлении GPU-часами упрощает переход от прототипирования к промышленной эксплуатации, сохраняя при этом гибкость использования открытых архитектур.

Ключевые факты

• Поддержка моделей уровня frontier, включая MiniMax M3 и GLM-5.2.
• Гарантированный уровень доступности (SLA) на отметке 99%.
• Экономия затрат до 90% относительно стоимости проприетарных API-решений.
• Модель оплаты за токены вместо сложного расчета GPU-часов.
• Отсутствие необходимости в настройке и обслуживании серверной инфраструктуры.