MarkTechPost · 22.06.2026 ·Инференс и железо

MoonMath AI представила оптимизированное ядро внимания для ускорителей AMD MI300X

Компания MoonMath AI опубликовала исходный код нового HIP-ядра (Heterogeneous-Compute Interface for Portability), предназначенного для ускорения операций внимания (attention) на графических процессорах AMD Instinct MI300X. Разработка призвана повысить производительность вычислений при работе с большими языковыми моделями на аппаратном обеспечении AMD.

Техническая реализация решения опирается на использование ассемблерных оберток с одной инструкцией и конвейерную архитектуру с восемью волнами (eight-wave pipeline). Такой подход позволил оптимизировать выполнение математических операций на низком уровне, обеспечив более эффективную загрузку вычислительных блоков GPU по сравнению со стандартными решениями.

Согласно результатам внутренних тестов, новое ядро демонстрирует превосходство над официальным решением AMD AITER v3. Улучшение показателей зафиксировано для всех конфигураций форм тензоров и режимов округления, что делает разработку значимым инструментом для повышения скорости инференса и обучения моделей на базе архитектуры AMD CDNA 3.

Источник: MarkTechPost

Похожие материалы

Hacker News · Инференс и железо Оптимизация Attention для ускорителей AMD MI300X на языке HIP Разработчики представили высокопроизводительное ядро (kernel) для вычисления механизма внимания (Attention), оптимизированное специально под архитектуру графических ускорителей AMD Instinct MI300X. В отличие от большинства существующих решений, требующих написания низкоуровневого кода на ассемблере, данная реализация выполнена на языке HIP (Heterogeneous-compute Interface for Portability). Это значительно упрощает поддержку, отладку и переносимость кода между различными поколениями оборудования AMD, сохраняя при этом высокую скорость работы. Hacker News · Инференс и железо AMD оптимизировала вычисления для ИИ-моделей на CDNA4 Компания AMD представила оптимизации для вычислений матричных операций (GEMM) в формате FP8 на архитектуре CDNA4. Это позволит ускорить работу ИИ-моделей на графических процессорах Instinct серии MI300X. Hacker News · Инференс и железо AMD оптимизирует инференс для своих GPU Instinct AMD представила Atom Inference Engine — фреймворк для оптимизации работы моделей машинного обучения на графических процессорах Instinct. Решение сочетает аппаратные и программные компоненты, что позволяет ускорить выполнение задач инференса. Hacker News · Инференс и железо AMD представила оптимизированный FP8 GEMM для ускорения ИИ-вычислений AMD анонсировала новую технологию 4-Wave Interleave FP8 GEMM, направленную на ускорение вычислений в ИИ. Решение оптимизирует работу с тензорными ядрами, что позволяет значительно повысить производительность при инференсе моделей. Hacker News · Инференс и железо BLAKE3 на Zen 5: 13 ГБ/с для ускорения ИИ-агентов Разработчики из компании AMD представили впечатляющие результаты тестирования хеш-функции BLAKE3 на процессорах Zen 5. Новые чипы демонстрируют скорость хеширования до 13 ГБ/с, что в несколько раз превышает показатели предыдущих поколений. Это открывает новые возможности для оптимизации работы ИИ-агентов, особенно в задачах, требующих интенсивной обработки данных. Hacker News · Инференс и железо Экономия 67% на инференсе с Ray и vLLM на AMD MI325X Команда Anyscale опубликовала исследование, в котором продемонстрировала значительную экономию на инференсе моделей большого языка. Используя Ray и vLLM на процессорах AMD MI325X, удалось достичь сокращения затрат на 67% за счёт разнесения (disaggregation) префикса и декодирования. Hacker News · Инференс и железо AMD Ryzen AI Halo для разработчиков ИИ AMD представила Ryzen AI Halo — программу для разработчиков ИИ, которая включает доступ к новейшим процессорам с интегрированными нейросетевыми ускорителями. Это решение может значительно ускорить инференс моделей, что особенно важно для локального запуска ИИ-агентов. Hacker News · Инференс и железо AMD расширяет поддержку ROCm для чипов Strix Halo Компания AMD официально подтвердила статус полноценной поддержки программной платформы ROCm для своих новых процессоров Strix Halo. Это решение знаменует собой важный сдвиг в стратегии компании, направленный на упрощение работы с высокопроизводительными вычислениями на архитектуре x86 в сочетании с мощной интегрированной графикой. Ранее разработчикам приходилось сталкиваться с ограничениями при запуске специфических ИИ-задач на мобильных чипах, однако теперь программный стек для обучения и инференса моделей становится доступным «из коробки». Hacker News · Инференс и железо Новый компилятор для Edge AI превосходит решения от Google и вендоров Компания DeepGate представила специализированный компилятор, предназначенный для оптимизации нейросетевых моделей при запуске на периферийных устройствах (Edge AI). Инструмент ориентирован на повышение производительности инференса и снижение энергопотребления, что является критическим фактором для работы ИИ вне облачных дата-центров. Разработчики заявляют, что их решение демонстрирует более высокую эффективность по сравнению с популярными стандартными инструментариями, включая проприетарные стеки от производителей аппаратного обеспечения и открытые решения от Google. Hacker News · Инференс и железо Расчёт загрузки GPU AMD MI355X для инференса моделей Инженеры из Indianspeedster опубликовали подробное руководство по расчёту загрузки GPU AMD MI355X. В статье разбираются ключевые параметры, влияющие на производительность при инференсе моделей: количество потоков, блоки вычислений и другие технические аспекты.

← Все материалы