Представлен новый сервер инференса, оптимизированный для системы DGX Spark, который обеспечивает высокую скорость генерации для крупногабаритных моделей. Решение достигает производительности 55–90 токенов в секунду без использования методов спекулятивного декодирования. Это значительный шаг в оптимизации аппаратного обеспечения для развертывания тяжелых LLM в корпоративной инфраструктуре, позволяющий повысить эффективность обработки запросов в реальном времени.

Разработка фокусируется на максимизации пропускной способности на специализированном оборудовании, минимизируя задержки при выполнении сложных вычислительных задач. Отказ от спекулятивного декодирования упрощает архитектуру инференса, сохраняя при этом высокую скорость генерации текста, что критически важно для масштабируемых агентных систем и сервисов, требующих минимального времени отклика при работе с большими языковыми моделями.

Оптимизация программного стека под архитектуру DGX Spark позволяет более эффективно использовать вычислительные ресурсы графических процессоров. Это решение ориентировано на сценарии, где требуется стабильно высокая скорость генерации без усложнения пайплайна инференса дополнительными моделями-предсказателями, что упрощает поддержку и эксплуатацию инфраструктуры в продакшн-средах.

Ключевые факты

  • Скорость генерации составляет от 55 до 90 токенов в секунду.
  • Инференс работает без применения спекулятивного декодирования.
  • Решение специально оптимизировано для аппаратной платформы DGX Spark.
  • Фокус на повышении эффективности работы с крупными языковыми моделями в корпоративном сегменте.