arXiv · 05.08.2026 ·Инфраструктура для агентов

SparseDitto: ИИ-агент для автоматической оптимизации разреженных вычислений на GPU

Исследователи представили SparseDitto — агентную систему, которая автоматизирует генерацию и настройку GPU-ядер для разреженных матричных вычислений. Система анализирует структуру данных и подбирает оптимальную стратегию исполнения, устраняя значительные разрывы в производительности, характерные для стандартных библиотек. Решение позволяет достичь ускорения в задачах машинного обучения и аналитики графов за счет адаптивной компиляции под конкретные паттерны разреженности.

Разреженные матричные операции (SpMM) критически важны для современных нейросетей, однако их эффективность сильно зависит от формата хранения данных. Стандартные инструменты, такие как cuSPARSE, демонстрируют колоссальную разницу в скорости (до 350 раз) при переключении между форматами CSR и Blocked-ELL. SparseDitto решает эту проблему, используя LLM-агента для автоматического поиска наиболее эффективного способа выполнения вычислений на конкретном GPU.

Система работает как интеллектуальный оптимизатор, который берет на себя рутинную задачу выбора стратегии исполнения. Вместо того чтобы полагаться на универсальные, но не всегда эффективные алгоритмы, SparseDitto генерирует специализированный код ядра, адаптированный под уникальные характеристики входной матрицы. Это значительно снижает накладные расходы при работе с графовыми данными и большими разреженными моделями.

Ключевые факты

Разрыв в производительности между форматами CSR и Blocked-ELL в стандартных библиотеках достигает 350x.
SparseDitto использует агентный подход для анализа паттернов разреженности и автоматической генерации GPU-ядер.
Система оптимизирует выполнение SpMM (разреженное матрично-матричное умножение), ключевой операции для ML и аналитики графов.
Подход позволяет автоматизировать процесс, который ранее требовал глубокой ручной оптимизации экспертами по высокопроизводительным вычислениям.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Инференс и железо DeepSeek представила методы оптимизации инференса с ускорением до 85% Компания DeepSeek опубликовала техническую документацию по методам оптимизации инференса, позволяющим ускорить генерацию текста на 60–85%. Разработка фокусируется на снижении задержек при работе с большими языковыми моделями за счет эффективного управления вычислительными ресурсами и оптимизации алгоритмов обработки токенов, что критически важно для масштабируемых агентных систем и высоконагруженных сервисов. Hacker News · Другое Компиляция алгоритмов матричного умножения в быстрые CUDA-ядра Исследователи представили новый подход к компиляции алгоритмов матричного умножения, основанных на методе Штрассена, в эффективные CUDA-ядра. Это позволяет значительно ускорить вычисления, что особенно важно для задач, связанных с обработкой больших матриц в ИИ-агентах. Hacker News · Инференс и железо Ускорение инференса блочных низкоранговых моделей на GPU с ограниченной памятью Исследователи представили метод оптимизации инференса для блочных низкоранговых (BLR) моделей, позволяющий значительно снизить требования к видеопамяти при сохранении точности вычислений. Технология ориентирована на работу с крупными нейросетями на GPU с ограниченными ресурсами, обеспечивая ускорение обработки данных за счет эффективного управления матричными операциями и снижения объема передаваемой информации между памятью и вычислительными ядрами. Hacker News · Инфраструктура для агентов Ускорение вычислений для ИИ без использования LLM Разработчики представили ILNumerics Accelerator — компилятор, который оптимизирует работу с массивами данных напрямую, исключая необходимость в LLM для управления вычислительными процессами. Решение позволяет автоматически переносить сложные математические операции на GPU, обеспечивая высокую производительность при обработке больших объемов данных, что критически важно для создания эффективной инфраструктуры ИИ-агентов и аналитических систем с низкими задержками. Hacker News · Инференс и железо Оптимизация инференса для длинного контекста на потребительских GPU Исследователи представили метод эффективной обработки контекста до миллиона токенов на обычном потребительском оборудовании. Технология использует разреженность (sparsity) вычислений в механизме внимания, что позволяет радикально снизить требования к видеопамяти и вычислительным мощностям. Это решение делает работу с огромными массивами данных доступной вне специализированных серверных кластеров, открывая новые возможности для локального запуска сложных моделей. Hacker News · Инференс и железо Оптимизация инференса LLM через использование GPU-шейдеров Исследование демонстрирует возможности ускорения работы больших языковых моделей за счет переноса вычислительных задач на GPU-шейдеры. Автор анализирует, как низкоуровневое программирование графических процессоров позволяет оптимизировать выполнение операций, критически важных для инференса LLM. Подход открывает новые пути для повышения производительности локальных моделей на потребительском железе через более эффективное управление параллельными вычислениями и памятью видеокарт. Hacker News · Инференс и железо Scalattice: гипервизор для эффективного инференса на потребительском оборудовании Разработчики представили Scalattice — специализированный гипервизор и клиентский SDK, предназначенные для оптимизации запуска LLM на потребительском железе. Решение позволяет эффективно управлять вычислительными ресурсами при выполнении инференса, обеспечивая совместимость с OpenAI API. Инструмент ориентирован на снижение накладных расходов и повышение производительности при работе с локальными моделями, предоставляя инфраструктурный слой для масштабируемых агентных систем. Hacker News · Инференс и железо Оптимизация разрешенного внимания MiniMax M3 для архитектуры Nvidia Blackwell Инженеры Fireworks AI представили методы оптимизации для модели MiniMax M3, сфокусировавшись на ускорении работы разреженного внимания (sparse attention) на новейших графических процессорах Nvidia Blackwell. Благодаря кастомным ядрам CUDA удалось значительно повысить пропускную способность инференса, минимизировав накладные расходы при обработке длинных контекстов, что критически важно для эффективного развертывания современных LLM в продакшене. arXiv · Инфраструктура для агентов InferScale: оптимизация инференса через GPU-native KV-инъекции Исследователи представили InferScale — метод оптимизации инференса LLM, который ускоряет обработку персонализированного контекста. Вместо повторного префилла памяти при каждом запросе система выполняет прямую инъекцию KV-кэша на уровне GPU. Это позволяет значительно сократить задержки и вычислительные затраты при работе с долгосрочной памятью агентов, сохраняя при этом высокую точность генерации ответов. NVIDIA Technical Blog · Машинное обучение Оптимизация GPU-коммуникаций для масштабного молекулярного моделирования NVIDIA представила руководство по использованию GPU-initiated communication для ускорения молекулярной динамики. Метод позволяет графическим процессорам напрямую управлять передачей данных между узлами, минуя центральный процессор. Это значительно снижает задержки в высоконагруженных вычислительных системах, где симуляции атомных взаимодействий требуют обмена огромными массивами данных в реальном времени, повышая общую эффективность масштабируемых научных вычислений.

← Все материалы