AMD представила Atom Inference Engine — фреймворк для оптимизации работы моделей машинного обучения на графических процессорах Instinct. Решение сочетает аппаратные и программные компоненты, что позволяет ускорить выполнение задач инференса.
Ключевая особенность Atom Inference Engine — это интеграция с ROCm, открытой платформой для вычислений на GPU. Это позволяет разработчикам использовать стандартные инструменты и библиотеки, такие как TensorFlow и PyTorch, для развертывания моделей на оборудовании AMD.
AMD утверждает, что оптимизация программного обеспечения и аппаратного обеспечения позволяет достичь значительных улучшений в производительности. Например, в некоторых сценариях инференс ускоряется в несколько раз по сравнению с традиционными подходами.
Новый фреймворк особенно полезен для задач, требующих высокой производительности, таких как обработка естественного языка, компьютерное зрение и анализ больших данных. Atom Inference Engine также поддерживает различные форматы моделей, что делает его универсальным инструментом для разработчиков и исследователей.