Инженеры представили технологию горизонтальной компоновки чипов, позволяющую значительно увеличить объем доступной памяти для ИИ-вычислений. Метод «боковой» укладки кристаллов решает проблему «узкого горлышка» передачи данных между процессором и памятью, что критически важно для работы с крупными языковыми моделями, требующими высокой пропускной способности и больших объемов оперативной памяти при инференсе.
Традиционные методы вертикальной укладки (HBM) сталкиваются с ограничениями по теплоотводу и сложности производства. Новый подход предполагает размещение чипов памяти непосредственно рядом с вычислительным ядром на общей подложке с использованием высокоплотных межсоединений. Это позволяет сократить физическое расстояние между компонентами, снижая задержки и энергопотребление при обмене данными.
Технология ориентирована на преодоление физических пределов масштабирования современных GPU и ускорителей. Переход к такой архитектуре может стать стандартом для следующего поколения аппаратного обеспечения, предназначенного для обучения и запуска тяжелых нейросетей, где пропускная способность памяти является главным ограничивающим фактором производительности.
Ключевые факты
- Технология использует горизонтальное размещение кристаллов памяти вокруг вычислительного чипа на общей кремниевой подложке.
- Метод позволяет существенно увеличить объем памяти в непосредственной близости к процессору по сравнению с традиционными схемами.
- Решение направлено на снижение тепловыделения, которое является критической проблемой при плотной вертикальной компоновке HBM.
- Архитектура сокращает длину путей передачи данных, что напрямую влияет на скорость обработки запросов в LLM.
- Разработка призвана устранить дефицит пропускной способности памяти, ограничивающий эффективность современных ИИ-ускорителей.