Hacker News · 03.07.2026 ·Инфраструктура для агентов

NVIDIA представила NVCF для масштабируемого развертывания ИИ-нагрузок

NVIDIA выпустила NVCF (NVIDIA Cloud Functions) — платформу для управления и масштабирования GPU-ускоренных ИИ-сервисов. Решение позволяет разработчикам развертывать модели как облачные функции, обеспечивая автоматическую маршрутизацию запросов, управление очередями и динамическое масштабирование ресурсов в зависимости от нагрузки, что упрощает эксплуатацию сложных агентных систем и высокопроизводительных ИИ-приложений в продакшене.

Платформа ориентирована на устранение проблем «холодного старта» и оптимизацию использования вычислительных мощностей. NVCF берет на себя оркестрацию инфраструктуры, позволяя сфокусироваться на логике работы моделей. Система поддерживает интеграцию с существующими пайплайнами, обеспечивая предсказуемую задержку при обработке запросов к LLM и другим нейросетевым архитектурам.

Использование NVCF позволяет компаниям снизить операционные расходы за счет эффективного распределения GPU-ресурсов между множеством задач. Платформа предоставляет API для управления жизненным циклом функций, что критически важно для построения масштабируемых агентных систем, требующих постоянного доступа к инференсу с минимальными задержками.

Ключевые факты

NVCF обеспечивает автоматическое масштабирование GPU-ресурсов для обработки ИИ-нагрузок в облаке.
Система поддерживает управление очередями и маршрутизацию запросов для оптимизации производительности.
Решение нацелено на минимизацию времени отклика и устранение задержек при выполнении функций.
Платформа предоставляет API для интеграции с существующими инфраструктурными пайплайнами разработки.
Инструментарий предназначен для работы с высоконагруженными моделями, требующими аппаратного ускорения.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Инфраструктура для агентов Инструменты профилирования CUDA для оптимизации инференса в продакшене Разработчики систем машинного обучения получили новый подход к мониторингу производительности GPU при работе с нейросетями в реальном времени. Основная сложность при запуске моделей в продакшене заключается в поиске «узких мест», которые возникают на уровне низкоуровневых операций CUDA. Традиционные инструменты часто требуют остановки процессов или сложной настройки окружения, что делает их непригодными для высоконагруженных систем. NVIDIA Technical Blog · Инфраструктура для агентов NVIDIA обновила библиотеку CCCL для ускорения вычислений на GPU Компания NVIDIA представила обновленную версию CCCL (CUDA Core Compute Libraries) — набор библиотек, предназначенных для упрощения разработки высокопроизводительных приложений на C++ и Python. Инструментарий предоставляет разработчикам современные абстракции для работы с графическими процессорами, позволяя эффективнее управлять параллельными вычислениями и памятью. Обновление направлено на снижение сложности написания низкоуровневого кода при сохранении максимальной производительности, что критически важно для обучения и инференса современных нейросетей. Hacker News · ИИ в бизнесе Создание ИИ-сервисов с нулевыми затратами на API через Nvidia NIM Разработчик представил набор из восьми специализированных ИИ-инструментов, реализованных без ежемесячных расходов на API-запросы. В основе архитектуры лежит использование Nvidia NIM — набора микросервисов для развертывания моделей, которые позволяют запускать предобученные нейросети локально или в собственной облачной инфраструктуре. Такой подход исключает зависимость от сторонних платных API, таких как OpenAI или Anthropic, и дает полный контроль над инференсом. Hacker News · Инференс и железо Оптимизация инференса моделей через формат NVFP4 Компания Cohere представила обновленную версию своей модели North Mini Code, оптимизированную для работы с использованием нового формата данных NVFP4. Технология позволяет значительно повысить производительность инференса при сохранении исходного качества генерации кода. Использование этого формата обеспечивает ускорение вычислений в 1,65 раза по сравнению со стандартным форматом FP8, при этом потребление видеопамяти снижается на 40%. NVIDIA Technical Blog · Инференс и железо Оптимизация инференса на NVIDIA GB200 с Slurm NVIDIA представила подход к оптимизации производительности инференса на своих новых GPU GB200 NVL72 с использованием Slurm — популярного менеджера рабочих процессов. В статье на Developer NVIDIA объясняется, как топологически осознанное планирование задач позволяет максимально использовать мощности современных ускорителей. NVIDIA Technical Blog · Инференс и железо Запуск мультимодальных моделей на GPU NVIDIA NVIDIA представила обновление для своей платформы Step 3.7 Flash, которое позволяет запускать мультимодальные ИИ-модели на графических процессорах с повышенной производительностью. Это решение ориентировано на корпоративных пользователей и предоставляет инструменты для работы с изображениями, документами, видео и другими типами данных. Hacker News · Инфраструктура для агентов Ускорение запуска GPU-нагрузок через снапшоты памяти Компания Cerebrium представила метод сокращения времени холодного старта для GPU-контейнеров в среде gVisor. Технология использует снапшоты памяти для мгновенного восстановления состояния CUDA-нагрузок, что позволяет запускать модели за секунды вместо десятков секунд. Это решение критически важно для серверных архитектур, где требуется быстрая масштабируемость ИИ-сервисов и минимизация задержек при обработке запросов. NVIDIA Technical Blog · Инфраструктура для агентов Масштабирование инференса ИИ на несколько GPU с помощью NVIDIA TensorRT NVIDIA представила поддержку многоустройственного инференса в TensorRT, позволяющую распределять выполнение крупных моделей между несколькими графическими процессорами. Это решение снимает ограничения по объему видеопамяти и вычислительной мощности, характерные для работы на одном GPU, что критически важно для высокопроизводительных конвейеров генеративного ИИ, работающих с тяжелыми медиаданными и сложными архитектурами. NVIDIA Technical Blog · Машинное обучение Оптимизация нейронных пайплайнов реконструкции 3D-сцен с помощью NVIDIA Nsight NVIDIA представила руководство по оптимизации нейронного конвейера реконструкции NuRec, предназначенного для создания высокоточных 3D-моделей реальных сред на основе мультисенсорных данных. Использование инструментов профилирования NVIDIA Nsight позволило разработчикам выявить узкие места в производительности и значительно ускорить процесс обработки данных, что критически важно для задач компьютерного зрения и создания цифровых двойников. Hacker News · Инфраструктура для агентов Инструмент для профилирования CUDA в продакшн-инференсе Компания Graphsignal представила профилировщик для CUDA, предназначенный для мониторинга производительности моделей в реальных условиях эксплуатации. Инструмент позволяет отслеживать работу графических процессоров при выполнении инференса, выявляя «узкие места» в вычислениях и неэффективное использование ресурсов GPU. Это решение ориентировано на системы, где критически важна минимальная задержка и высокая пропускная способность при работе с большими языковыми моделями.

← Все материалы