Hacker News · 16.06.2026 ·Инференс и железо

AMD оптимизировала вычисления для ИИ-моделей на CDNA4

Компания AMD представила оптимизации для вычислений матричных операций (GEMM) в формате FP8 на архитектуре CDNA4. Это позволит ускорить работу ИИ-моделей на графических процессорах Instinct серии MI300X.

Оптимизации включают новые ядра для ускорения матричных операций, которые являются ключевыми для работы нейросетей. Разработчики утверждают, что новые решения обеспечивают высокую производительность при низком энергопотреблении.

CDNA4 — это архитектура, специально разработанная для вычислений в области искусственного интеллекта. Она поддерживает работу с моделями большого языка и другими сложными алгоритмами. Новые оптимизации могут быть полезны для разработчиков, работающих с локальным развёртыванием ИИ-моделей.

AMD продолжает развивать свои решения для ИИ, предлагая альтернативу продуктам NVIDIA. Компания делает ставку на открытые стандарты и совместимость с различными фреймворками.

Источник: Hacker News

Похожие материалы

Hacker News · Инференс и железо AMD представила оптимизированный FP8 GEMM для ускорения ИИ-вычислений AMD анонсировала новую технологию 4-Wave Interleave FP8 GEMM, направленную на ускорение вычислений в ИИ. Решение оптимизирует работу с тензорными ядрами, что позволяет значительно повысить производительность при инференсе моделей. Hacker News · Инференс и железо AMD оптимизирует инференс для своих GPU Instinct AMD представила Atom Inference Engine — фреймворк для оптимизации работы моделей машинного обучения на графических процессорах Instinct. Решение сочетает аппаратные и программные компоненты, что позволяет ускорить выполнение задач инференса. arXiv · Инференс и железо Оптимизация INT8 вычислений для диффузионных трансформеров на потребительских GPU Исследователи из Ideogram представили новый подход к оптимизации инференса диффузионных трансформеров на потребительских GPU. В статье, опубликованной на arXiv, они показывают, что посттрейнинговая квантование в INT8 (W8A8) часто оказывается медленнее, чем альтернативы в FP8 и NF4, несмотря на ожидания. Это связано с тем, что в текущих реализациях веса и активации квантуются только для того, чтобы сразу же деквантоваться обратно в bf16 и выполнять матричное умножение в этом формате. Hacker News · Инференс и железо AMD Ryzen AI Halo для разработчиков ИИ AMD представила Ryzen AI Halo — программу для разработчиков ИИ, которая включает доступ к новейшим процессорам с интегрированными нейросетевыми ускорителями. Это решение может значительно ускорить инференс моделей, что особенно важно для локального запуска ИИ-агентов. Hacker News · Инференс и железо Экономия 67% на инференсе с Ray и vLLM на AMD MI325X Команда Anyscale опубликовала исследование, в котором продемонстрировала значительную экономию на инференсе моделей большого языка. Используя Ray и vLLM на процессорах AMD MI325X, удалось достичь сокращения затрат на 67% за счёт разнесения (disaggregation) префикса и декодирования. Hacker News · Инференс и железо BLAKE3 на Zen 5: 13 ГБ/с для ускорения ИИ-агентов Разработчики из компании AMD представили впечатляющие результаты тестирования хеш-функции BLAKE3 на процессорах Zen 5. Новые чипы демонстрируют скорость хеширования до 13 ГБ/с, что в несколько раз превышает показатели предыдущих поколений. Это открывает новые возможности для оптимизации работы ИИ-агентов, особенно в задачах, требующих интенсивной обработки данных. Hacker News · Инференс и железо Tensordyne представила процессор Napier с логарифмической математикой Компания Tensordyne анонсировала новый AI-процессор под названием Napier, который отличается поддержкой логарифмической математики. Это открывает новые возможности для ускорения вычислений, особенно в задачах, связанных с обработкой больших объемов данных и сложными вычислениями, что критически важно для инференса моделей ИИ. NVIDIA Technical Blog · Модели и релизы Как NVIDIA ускорила обучение MoE-моделей на 30% NVIDIA представила новые методы оптимизации обучения Mixture-of-Experts (MoE) моделей, которые стали ключевым компонентом современных ИИ-систем. Исследователи компании разработали продвинутые ядра слияния (fusion kernels), которые позволяют значительно ускорить процесс обучения. AI | VentureBeat · Разработка и инструменты NousCoder-14B: открытая модель для кодинга от Nous Research Nous Research, стартап в области открытого ИИ, поддержанный венчурной фирмой Paradigm, представил новую модель для программирования NousCoder-14B. Модель была обучена всего за четыре дня на 48 графических процессорах Nvidia B200 и демонстрирует конкурентоспособные результаты с более крупными проприетарными системами. Lobsters · Инференс и железо Альтернативы CUDA и OpenCL для инференса ИИ Компания Modular, специализирующаяся на разработке инфраструктуры для ИИ, выпустила пятую часть своего исследования, посвящённую демократизации вычислительных ресурсов для ИИ. В этом материале рассматриваются альтернативы CUDA и OpenCL, которые могут быть полезны для разработчиков ИИ-агентов, особенно в условиях ограниченного доступа к специализированному железу.

← Все материалы