Hacker News · 16.06.2026 ·Инференс и железо

AMD представила оптимизированный FP8 GEMM для ускорения ИИ-вычислений

AMD анонсировала новую технологию 4-Wave Interleave FP8 GEMM, направленную на ускорение вычислений в ИИ. Решение оптимизирует работу с тензорными ядрами, что позволяет значительно повысить производительность при инференсе моделей.

Технология использует формат FP8 (8-битный с плавающей запятой), который обеспечивает баланс между точностью и скоростью. Это особенно важно для задач, требующих высокой производительности, таких как обработка больших языковых моделей и компьютерное зрение.

AMD утверждает, что новая технология может ускорить вычисления до 4 раз по сравнению с традиционными методами. Это достигнуто за счёт оптимизации параллельной обработки данных и уменьшения накладных расходов на вычисления.

Технология 4-Wave Interleave FP8 GEMM уже доступна в рамках экосистемы ROCm, что позволяет разработчикам интегрировать её в свои решения для ускорения ИИ-вычислений. Это важный шаг в развитии аппаратного обеспечения для ИИ, который может повлиять на производительность и эффективность многих приложений.

Источник: Hacker News

Похожие материалы

Hacker News · Инференс и железо AMD оптимизировала вычисления для ИИ-моделей на CDNA4 Компания AMD представила оптимизации для вычислений матричных операций (GEMM) в формате FP8 на архитектуре CDNA4. Это позволит ускорить работу ИИ-моделей на графических процессорах Instinct серии MI300X. Hacker News · Инференс и железо AMD оптимизирует инференс для своих GPU Instinct AMD представила Atom Inference Engine — фреймворк для оптимизации работы моделей машинного обучения на графических процессорах Instinct. Решение сочетает аппаратные и программные компоненты, что позволяет ускорить выполнение задач инференса. arXiv · Инференс и железо Оптимизация INT8 вычислений для диффузионных трансформеров на потребительских GPU Исследователи из Ideogram представили новый подход к оптимизации инференса диффузионных трансформеров на потребительских GPU. В статье, опубликованной на arXiv, они показывают, что посттрейнинговая квантование в INT8 (W8A8) часто оказывается медленнее, чем альтернативы в FP8 и NF4, несмотря на ожидания. Это связано с тем, что в текущих реализациях веса и активации квантуются только для того, чтобы сразу же деквантоваться обратно в bf16 и выполнять матричное умножение в этом формате. Hacker News · Инференс и железо BLAKE3 на Zen 5: 13 ГБ/с для ускорения ИИ-агентов Разработчики из компании AMD представили впечатляющие результаты тестирования хеш-функции BLAKE3 на процессорах Zen 5. Новые чипы демонстрируют скорость хеширования до 13 ГБ/с, что в несколько раз превышает показатели предыдущих поколений. Это открывает новые возможности для оптимизации работы ИИ-агентов, особенно в задачах, требующих интенсивной обработки данных. Hacker News · Инференс и железо Экономия 67% на инференсе с Ray и vLLM на AMD MI325X Команда Anyscale опубликовала исследование, в котором продемонстрировала значительную экономию на инференсе моделей большого языка. Используя Ray и vLLM на процессорах AMD MI325X, удалось достичь сокращения затрат на 67% за счёт разнесения (disaggregation) префикса и декодирования. Hacker News · Машинное обучение Новый метод параллельных вычислений на GPU для ИИ Исследователи представили новый подход к параллельным вычислениям на графических процессорах, который может значительно ускорить обучение и инференс нейросетей. В статье, опубликованной на arXiv, авторы предлагают метод, позволяющий избежать традиционных проблем с синхронизацией и конкуренцией за ресурсы. Hacker News · Инференс и железо Ускорение матричных операций на GPU в 2678 раз Исследователи обнаружили, что графические процессоры (GPU) могут ускорять матричные операции в 2678 раз по сравнению с традиционными методами. Это открытие имеет значительное значение для машинного обучения и обработки больших данных, где матричные вычисления являются ключевым элементом. Hacker News · Инференс и железо AMD Ryzen AI Halo для разработчиков ИИ AMD представила Ryzen AI Halo — программу для разработчиков ИИ, которая включает доступ к новейшим процессорам с интегрированными нейросетевыми ускорителями. Это решение может значительно ускорить инференс моделей, что особенно важно для локального запуска ИИ-агентов. Hacker News · Инференс и железо GateGPT: 56k токенов в секунду на FPGA Исследователи представили GateGPT — решение для ускоренного инференса трансформеров на FPGA. Система достигает скорости 56 000 токенов в секунду при частоте 80 МГц, используя кеш ключ-значение (KV cache). Это открывает новые возможности для развертывания больших языковых моделей на специализированном оборудовании. Hacker News · Инференс и железо Новый фреймворк для JIT-компиляции ускоряет работу ИИ-моделей Исследователи представили новый фреймворк для JIT-компиляции, который может значительно ускорить выполнение ИИ-моделей. Система использует многоуровневую JIT-компиляцию в рамках мета-трейсинга, что позволяет оптимизировать код на лету и повышать производительность.

← Все материалы