Компания SambaNova Systems разработала специализированную архитектуру Reconfigurable Dataflow Unit (RDU), предназначенную для высокопроизводительного инференса и обучения нейросетей. В отличие от традиционных GPU, чипы RDU оптимизированы для потоковой передачи данных, что позволяет эффективно обрабатывать сложные модели с большим количеством параметров, снижая задержки и повышая пропускную способность при запуске LLM в корпоративной среде.
Архитектура RDU базируется на принципе реконфигурируемого потока данных, который позволяет аппаратно адаптироваться под конкретные вычислительные графы моделей. Это решение минимизирует накладные расходы на перемещение данных между памятью и вычислительными блоками, что является «узким местом» при работе с современными трансформерами. Система ориентирована на масштабируемые решения, позволяя объединять несколько чипов в единый вычислительный кластер для работы с моделями сверхбольшого размера.
Технология нацелена на компании, внедряющие генеративный ИИ в производственные процессы, где критически важна скорость отклика и предсказуемость затрат на инфраструктуру. Использование RDU позволяет сократить время инференса для моделей с миллиардами параметров, обеспечивая при этом высокую энергоэффективность по сравнению с универсальными графическими ускорителями.
Ключевые факты
- Архитектура RDU (Reconfigurable Dataflow Unit) спроектирована для минимизации задержек при выполнении операций с тензорами.
- Чипы поддерживают работу с моделями, содержащими сотни миллиардов параметров, за счет оптимизации пропускной способности памяти.
- Решение SambaNova ориентировано на снижение общей стоимости владения (TCO) при развертывании ИИ-инфраструктуры в дата-центрах.
- Технология позволяет динамически перенастраивать аппаратные ресурсы под структуру конкретной нейросетевой модели.