Разработчики представили высокопроизводительное ядро (kernel) для вычисления механизма внимания (Attention), оптимизированное специально под архитектуру графических ускорителей AMD Instinct MI300X. В отличие от большинства существующих решений, требующих написания низкоуровневого кода на ассемблере, данная реализация выполнена на языке HIP (Heterogeneous-compute Interface for Portability). Это значительно упрощает поддержку, отладку и переносимость кода между различными поколениями оборудования AMD, сохраняя при этом высокую скорость работы.
Ключевой особенностью разработки является эффективное использование иерархии памяти ускорителя, включая быструю локальную память (LDS) и регистровый файл. Оптимизация позволяет минимизировать задержки при передаче данных между вычислительными блоками, что критически важно для работы с длинными контекстами в современных языковых моделях. Использование HIP позволяет разработчикам применять стандартные инструменты компиляции и профилирования, что делает внедрение решения в существующие фреймворки более доступным по сравнению с проприетарными ассемблерными вставками.
Данный подход демонстрирует возможность достижения производительности, сопоставимой с узкоспециализированными решениями, без необходимости глубокого погружения в архитектурные особенности конкретного чипа. Реализация открывает путь к более широкому использованию ускорителей AMD в задачах инференса LLM, где пропускная способность памяти и эффективность вычислений Attention являются главными узкими местами. Проект предоставляет готовый инструментарий для интеграции в высоконагруженные системы, ориентированные на работу с локальными или облачными кластерами на базе архитектуры CDNA 3.