Инференс и железо
Datasette Agent: безопасное выполнение Python-кода в песочнице
Разработчик Simon Willison представил альфа-версию datasette-agent-micropython 0.1a0 — инструмента, позволяющего безопасно генерировать и выполнять Python-код с использованием песочницы на основе MicroPython. Проект направлен на интеграцию с Datasette Agent, инструментом для работы с базами данных через LLM.
Новые инструменты от Microsoft и NVIDIA для запуска ИИ-агентов на Windows
Microsoft и NVIDIA представили новые инструменты, которые позволяют запускать ИИ-агентов на Windows ПК. Это важный шаг для разработчиков, так как ранее подобные решения требовали сложной настройки и мощного оборудования.
Thunderbolt-ibverbs: InfiniBand для локального запуска моделей
Разработчики из Hellas AI представили проект thunderbolt-ibverbs, который позволяет использовать InfiniBand — высокоскоростную сетевую технологию, ранее доступную только в дата-центрах — на потребительском оборудовании через интерфейс Thunderbolt. Это открывает новые возможности для локального запуска крупных языковых моделей и других вычислительно интенсивных задач.
NVIDIA JetPack 7.2 для развёртывания ИИ-агентов на краю сети
NVIDIA представила JetPack 7.2 — обновление для платформы Jetson, предназначенной для развёртывания ИИ-агентов на устройствах с ограниченными ресурсами. Новая версия оптимизирует работу агентов на краю сети, что особенно важно для задач, требующих низкой задержки и автономности.
Как Together оптимизировал MiniMax-M3 для эффективного инференса
Компания Together.ai представила подход к оптимизации работы модели MiniMax-M3, позволяющий эффективно обрабатывать контекст из 1 миллиона токенов и поддерживать мультимодальность. В основе решения лежит использование KV-block-major sparse attention, что позволяет значительно сократить вычислительные затраты при работе с большими контекстами.
Запуск локальных ИИ-агентов на NVIDIA DGX Spark
NVIDIA представила решение DGX Spark, предназначенное для запуска локальных ИИ-агентов с поддержкой быстрых моделей и мультинодового кластерирования. Это решение отвечает на растущие требования к вычислительным ресурсам, связанные с автономными агентами, которые требуют поддержания больших контекстных окон и выполнения параллельных задач.
Reg-Factory: оптимизация инференса моделей на GPU
Репозиторий Reg-Factory от tiantianGPU представляет собой фреймворк для оптимизации инференса моделей на GPU. Проект фокусируется на ускорении работы моделей за счёт применения различных техник, включая квантование и оптимизацию вычислений. Это особенно важно для разработчиков ИИ-агентов, так как позволяет значительно снизить затраты на вычисления и повысить производительность.
DynoSim: инструмент для оптимизации развёртывания LLM
NVIDIA представила DynoSim — инструмент для моделирования и оптимизации развёртывания больших языковых моделей (LLM). Основная проблема при развёртывании LLM заключается в необходимости балансировать множество параметров: выбор бэкенда модели, конфигурацию тензорного параллелизма, распределение между префиллом и декодированием, количество рабочих процессов и многое другое. DynoSim позволяет автоматически исследовать комбинации этих параметров и находить оптимальные конфигурации для конкретных сценариев использования.
Масштабирование ИИ-систем до триллионов операций
В 2024 году инфраструктура для запуска ИИ-моделей сталкивается с новыми вызовами. Видео от команды, работающей над системами, способными обрабатывать триллионы операций с плавающей точкой, демонстрирует подходы к масштабированию вычислений. Это особенно важно для локального инференса крупных моделей, что напрямую касается разработки ИИ-агентов.
Запуск мультимодальных моделей на GPU NVIDIA
NVIDIA представила обновление для своей платформы Step 3.7 Flash, которое позволяет запускать мультимодальные ИИ-модели на графических процессорах с повышенной производительностью. Это решение ориентировано на корпоративных пользователей и предоставляет инструменты для работы с изображениями, документами, видео и другими типами данных.
Together AI создала самый быстрый стек для распознавания речи
Together AI представила решение для распознавания речи (ASR), которое, по их заявлению, является самым быстрым в мире. Компания подчеркивает, что подход к ASR рассматривался как задача полного пути системы, а не только как проблема инференса на GPU.
NVIDIA Dynamo Snapshot ускоряет запуск инференса в Kubernetes
NVIDIA представила Dynamo Snapshot — технологию, решающую проблему холодного старта в инференсных развёртываниях на Kubernetes. Это особенно важно для динамически масштабируемых сервисов, где задержки при запуске новых экземпляров могут снижать производительность.
NVIDIA Blackwell установила рекорд в инференсе LLM для финансов
NVIDIA Blackwell установила новый рекорд в инференсе больших языковых моделей (LLM) для финансовых приложений, согласно результатам тестов STAC-AI. Новые графические процессоры Blackwell показали значительное улучшение производительности по сравнению с предыдущими поколениями, что делает их идеальными для обработки сложных финансовых данных.
Reachy Mini: локальный ИИ-агент с открытым исходным кодом
Компания Pollen Robotics представила Reachy Mini — локальный ИИ-агент с открытым исходным кодом, который может работать на обычном ноутбуке. Это важный шаг в развитии локальных решений для ИИ-агентов, так как многие современные системы требуют мощных серверов или облачных вычислений.
Синхронизация дельта-весов для запуска гигантских моделей
Команда Hugging Face представила новую технологию Delta Weight Sync в TRL (Transformers Reinforcement Learning), которая позволяет эффективно синхронизировать веса моделей с триллионами параметров. Это особенно важно для локального запуска крупных моделей, где традиционные методы требуют значительных вычислительных ресурсов.
NVIDIA CUDA Tile для оптимизации GPU-ядер в C++
NVIDIA представила новую возможность для разработчиков — CUDA Tile, которая позволяет создавать высокопроизводительные GPU-ядра прямо внутри существующих C++ кодовых баз. Эта технология ориентирована на оптимизацию вычислений с использованием плиточной структуры, что особенно важно для задач, требующих интенсивной обработки данных на графических процессорах.
NVIDIA CUDA 13.3 ускоряет разработку ИИ-агентов
NVIDIA выпустила обновление CUDA 13.3, которое значительно расширяет возможности разработчиков, работающих с GPU. В новой версии появилась поддержка тайловой программирования на C++, что позволяет более эффективно использовать ресурсы графических процессоров. Это особенно важно для задач, связанных с обработкой больших массивов данных, таких как инференс моделей ИИ.
Mistral представила удалённые агенты в Vibe на базе Mistral Medium 3.5
Mistral анонсировала обновление платформы Vibe, добавив поддержку удалённых агентов. Они работают на модели Mistral Medium 3.5 и могут выполнять задачи без необходимости локального развёртывания.
ThunderKittens: компактный DSL для высокопроизводительных AI-ядер
ThunderKittens — это компактный домен-специфический язык (DSL), разработанный для создания высокопроизводительных AI-ядер. Он позволяет оптимизировать вычисления, необходимые для инференса моделей искусственного интеллекта, что особенно важно для локального запуска и работы с ограниченными ресурсами. Язык ориентирован на эффективность и простоту, что делает его полезным инструментом для разработчиков, стремящихся к максимальной производительности.
Мониторинг GPU в Kubernetes для AI-инфраструктуры
NVIDIA представила решение для мониторинга использования GPU в Kubernetes-кластерах, что критически важно для оптимизации AI-инфраструктуры. Решение позволяет получать данные о загрузке GPU в реальном времени, что помогает эффективно управлять ресурсами и снижать затраты на инференс.
Оптимизация инференса на NVIDIA GB200 с Slurm
NVIDIA представила подход к оптимизации производительности инференса на своих новых GPU GB200 NVL72 с использованием Slurm — популярного менеджера рабочих процессов. В статье на Developer NVIDIA объясняется, как топологически осознанное планирование задач позволяет максимально использовать мощности современных ускорителей.
TurboQuant ускоряет инференс моделей на 30% без потери точности
Команда Baseten представила TurboQuant — метод оптимизации инференса, который ускоряет работу моделей на 30% без потери точности. Разработчики провели 31 час на математических выкладках, чтобы создать алгоритм, который автоматически выбирает оптимальные параметры квантования для различных моделей. Это особенно важно для агентов, где скорость обработки запросов напрямую влияет на пользовательский опыт.
Сравнение производительности кодирующих агентов
Компания Together.ai провела бенчмарк производительности кодирующих агентов в реальных условиях. По результатам тестов, их решение показало 31% больше транзакций в секунду (TPS) по сравнению с TensorRT-LLM. Также отмечено в два раза лучшее время первого ответа (TTFT) при насыщении системы и на 76% более низкие затраты по сравнению с моделью Claude Opus 4.6.
Автономный ИИ для ускорения обучения nanogpt
Команда Prime Intellect представила проект Autonomous AI research, направленный на ускорение обучения модели nanogpt. В основе проекта лежит идея использования ИИ для автоматизации процесса оптимизации гиперпараметров и архитектуры нейросетей, что позволяет значительно сократить время обучения и улучшить качество моделей.