Инференс и железо
Синхронизация дельта-весов для запуска гигантских моделей
Команда Hugging Face представила новую технологию Delta Weight Sync в TRL (Transformers Reinforcement Learning), которая позволяет эффективно синхронизировать веса моделей с триллионами параметров. Это особенно важно для локального запуска крупных моделей, где традиционные методы требуют значительных вычислительных ресурсов.
NVIDIA CUDA Tile для оптимизации GPU-ядер в C++
NVIDIA представила новую возможность для разработчиков — CUDA Tile, которая позволяет создавать высокопроизводительные GPU-ядра прямо внутри существующих C++ кодовых баз. Эта технология ориентирована на оптимизацию вычислений с использованием плиточной структуры, что особенно важно для задач, требующих интенсивной обработки данных на графических процессорах.
NVIDIA CUDA 13.3 ускоряет разработку ИИ-агентов
NVIDIA выпустила обновление CUDA 13.3, которое значительно расширяет возможности разработчиков, работающих с GPU. В новой версии появилась поддержка тайловой программирования на C++, что позволяет более эффективно использовать ресурсы графических процессоров. Это особенно важно для задач, связанных с обработкой больших массивов данных, таких как инференс моделей ИИ.
Mistral представила удалённые агенты в Vibe на базе Mistral Medium 3.5
Mistral анонсировала обновление платформы Vibe, добавив поддержку удалённых агентов. Они работают на модели Mistral Medium 3.5 и могут выполнять задачи без необходимости локального развёртывания.
ThunderKittens: компактный DSL для высокопроизводительных AI-ядер
ThunderKittens — это компактный домен-специфический язык (DSL), разработанный для создания высокопроизводительных AI-ядер. Он позволяет оптимизировать вычисления, необходимые для инференса моделей искусственного интеллекта, что особенно важно для локального запуска и работы с ограниченными ресурсами. Язык ориентирован на эффективность и простоту, что делает его полезным инструментом для разработчиков, стремящихся к максимальной производительности.
Мониторинг GPU в Kubernetes для AI-инфраструктуры
NVIDIA представила решение для мониторинга использования GPU в Kubernetes-кластерах, что критически важно для оптимизации AI-инфраструктуры. Решение позволяет получать данные о загрузке GPU в реальном времени, что помогает эффективно управлять ресурсами и снижать затраты на инференс.
Оптимизация инференса на NVIDIA GB200 с Slurm
NVIDIA представила подход к оптимизации производительности инференса на своих новых GPU GB200 NVL72 с использованием Slurm — популярного менеджера рабочих процессов. В статье на Developer NVIDIA объясняется, как топологически осознанное планирование задач позволяет максимально использовать мощности современных ускорителей.
TurboQuant ускоряет инференс моделей на 30% без потери точности
Команда Baseten представила TurboQuant — метод оптимизации инференса, который ускоряет работу моделей на 30% без потери точности. Разработчики провели 31 час на математических выкладках, чтобы создать алгоритм, который автоматически выбирает оптимальные параметры квантования для различных моделей. Это особенно важно для агентов, где скорость обработки запросов напрямую влияет на пользовательский опыт.
Сравнение производительности кодирующих агентов
Компания Together.ai провела бенчмарк производительности кодирующих агентов в реальных условиях. По результатам тестов, их решение показало 31% больше транзакций в секунду (TPS) по сравнению с TensorRT-LLM. Также отмечено в два раза лучшее время первого ответа (TTFT) при насыщении системы и на 76% более низкие затраты по сравнению с моделью Claude Opus 4.6.
Автономный ИИ для ускорения обучения nanogpt
Команда Prime Intellect представила проект Autonomous AI research, направленный на ускорение обучения модели nanogpt. В основе проекта лежит идея использования ИИ для автоматизации процесса оптимизации гиперпараметров и архитектуры нейросетей, что позволяет значительно сократить время обучения и улучшить качество моделей.
Together AI и Pearl Research Labs снижают стоимость инференса
Together AI и Pearl Research Labs объявили о партнёрстве, направленном на сокращение затрат на инференс. В рамках сотрудничества запущен скидочный инференс-эндпоинт для модели Gemma-4-31B-it-pearl, оптимизированной Pearl Research Labs.
Как платформа NVIDIA Vera Rubin решает проблему масштабирования агентного ИИ
NVIDIA представила платформу Vera Rubin, которая направлена на решение ключевых проблем масштабирования агентного ИИ. Основная сложность заключается в неопределённости траекторий агентов, которые включают действия, наблюдения и взаимодействия с окружающей средой. Это делает традиционные методы инференса менее эффективными, так как агентский ИИ требует гибкости и адаптивности в реальном времени.
Как асинхронность ускоряет обработку запросов в ИИ-агентах
Исследователи из Hugging Face представили новый подход к обработке запросов в ИИ-моделях — асинхронный континуальный батчинг. Этот метод позволяет значительно ускорить обработку запросов, особенно в сценариях с высокой нагрузкой, что критически важно для ИИ-агентов, работающих в реальном времени.
Как токенизация влияет на гибридный поиск
Токенизация играет ключевую роль в эффективности гибридного поиска. Weaviate, векторная база данных, предлагает несколько инструментов для улучшения обработки текста.
Как AWS помогает строить и запускать foundation модели
Amazon Web Services (AWS) представил набор инструментов и сервисов для обучения и развёртывания foundation моделей. Это важно для разработчиков ИИ-агентов, так как позволяет масштабировать инференс и оптимизировать затраты.
DeepSeek-V4 и миллион-токеновый контекст: вызов для инференс-систем
DeepSeek-V4, новая модель от DeepSeek, поддерживает контекст длиной в миллион токенов. Это создаёт новые вызовы для инференс-систем, так как обработка такого объёма данных требует оптимизации на уровне оборудования и алгоритмов.
Развёртывание моделей Hugging Face за один сеанс
Together.ai представила решение для быстрого развёртывания моделей из Hugging Face. Сервис Goose в сочетании с Dedicated Container Inference позволяет запускать модели в производственной среде с GPU без сложной настройки.
vLLM V1: как ServiceNow ускорил инференс без потери точности
ServiceNow представила обновлённую версию vLLM (v1), которая фокусируется на корректности перед исправлениями в RL (reinforcement learning). Новый подход позволяет ускорить инференс моделей без ущерба для точности, что особенно важно для агентов, работающих в реальном времени.
Как масштабировать инференс ИИ-моделей эффективно
Компания Together.ai опубликовала исследование, посвящённое эффективному масштабированию инференса ИИ-моделей. По мере перехода ИИ из исследовательской фазы в промышленное использование ключевой задачей становится не только создание моделей, но и их эффективная, надёжная и масштабируемая эксплуатация.
DeepInfra интегрируется с Hugging Face для инференса моделей
DeepInfra, облачный провайдер для запуска моделей ИИ, теперь доступен в экосистеме Hugging Face. Это интеграция позволяет разработчикам запускать модели из Hugging Face Hub на инфраструктуре DeepInfra с минимальными затратами на настройку.
Together AI добавил Nemotron 3 Nano Omni от NVIDIA
Together AI анонсировал доступ к модели Nemotron 3 Nano Omni от NVIDIA. Это мультимодальная модель, способная обрабатывать видео, изображения, аудио и текст. Разработчики подчёркивают, что модель оптимизирована для агентных нагрузок и может работать в масштабах.
Transformers переезжает на MLX для ускоренного инференса
Hugging Face анонсировал переход библиотеки Transformers на MLX — фреймворк для ускоренного инференса моделей на Apple Silicon. Это важный шаг для разработчиков ИИ-агентов, так как позволяет запускать сложные модели на потребительских устройствах с минимальными затратами.
Waypoint-1.5: генерация миров на обычных GPU
Hugging Face представила обновлённую версию Waypoint-1.5 — модели генерации 3D-миров, оптимизированной для работы на потребительских GPU. Новая версия поддерживает более детализированные и сложные сцены, сохраняя при этом высокую скорость рендеринга. Это важно для разработчиков ИИ-агентов, так как позволяет интегрировать генерацию 3D-контента в локальные системы без необходимости использования мощных серверов.
Deepgram интегрировала модели STT и TTS в Together AI
Компания Deepgram анонсировала доступность своих моделей распознавания речи (STT) и синтеза речи (TTS) на платформе Together AI. Это позволяет разработчикам использовать эти модели для создания голосовых агентов в реальном времени.