Hacker News · 14.07.2026 ·Инференс и железо

DFSX представила ускоритель DF1000 с архитектурой 3D near-memory

Компания DFSX анонсировала высокопроизводительную карту-ускоритель Peak DF1000, предназначенную для задач инференса ИИ. Ключевой особенностью устройства стало использование архитектуры 3D near-memory, которая позволяет значительно снизить задержки при передаче данных между памятью и вычислительными ядрами, обеспечивая высокую пропускную способность для работы с крупными языковыми моделями и сложными нейросетями в реальном времени.

Использование технологии near-memory (размещение памяти в непосредственной близости к процессору) решает одну из главных проблем современных систем — «узкое горлышко» шины данных. В отличие от традиционных GPU, где память отделена от вычислительного кристалла, архитектура DF1000 минимизирует энергопотребление при перемещении данных, что критически важно для развертывания моделей в дата-центрах с высокой плотностью вычислений.

Ускоритель ориентирован на задачи, требующие интенсивной работы с весами моделей и быстрой обработки контекста. Интеграция 3D-компоновки позволяет увеличить объем кэшируемой памяти непосредственно на ускорителе, что ускоряет выполнение операций матричного умножения. Это решение нацелено на оптимизацию стоимости владения инфраструктурой для компаний, занимающихся масштабированием собственных ИИ-сервисов.

Ключевые факты

Ускоритель Peak DF1000 использует архитектуру 3D near-memory для минимизации задержек.
Технология направлена на устранение ограничений пропускной способности шины данных при инференсе LLM.
Решение оптимизировано для работы с высокими нагрузками в корпоративных дата-центрах.
Архитектура позволяет снизить энергопотребление за счет сокращения дистанции перемещения данных между памятью и ядрами.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Инференс и железо Sophon PFG-1: новый ИИ-чип с 330 ГБ встроенной DRAM без HBM Компания Phantafield представила архитектуру Sophon PFG-1 — специализированный ИИ-процессор, использующий монолитную 3D-компоновку для интеграции 330 ГБ DRAM непосредственно на кристалле. Инновационный подход позволяет отказаться от дорогостоящей и энергозатратной памяти HBM, обеспечивая при этом высокую пропускную способность данных, необходимую для работы с крупными языковыми моделями и сложными агентными системами. Hacker News · Инференс и железо Энергоэффективность нейропроцессоров: бенчмарк Memryx MX3 на граничных устройствах Исследование производительности и энергопотребления специализированного ИИ-ускорителя Memryx MX3 демонстрирует возможности запуска глубоких нейронных сетей на периферийных устройствах. Автор тестирует чип в задачах инференса, сравнивая показатели энергоэффективности и задержки с традиционными решениями, что критически важно для развертывания автономных агентных систем вне облачной инфраструктуры и обеспечения работы ИИ в условиях ограниченного питания. The Decoder · Инфраструктура для агентов DeepSeek представила фреймворк DSpark для ускорения инференса до 85% Компания DeepSeek выпустила фреймворк DSpark, позволяющий значительно повысить скорость генерации ответов LLM. Технология использует связку из компактной модели-кандидата и основной крупной модели, что позволяет обрабатывать токены пакетами. Решение обеспечивает прирост производительности от 60% до 85%, позволяя эффективнее использовать имеющиеся вычислительные ресурсы в условиях ограничений на поставки высокопроизводительных чипов. Hacker News · Инференс и железо Tensordyne ускоряет ИИ-инференс через переход к логарифмическим вычислениям Стартап Tensordyne представил технологию, которая радикально ускоряет инференс нейросетей за счет замены традиционных матричных умножений на операции в логарифмическом пространстве. Этот подход позволяет упростить аппаратную реализацию вычислений, снижая энергопотребление и требования к пропускной способности памяти, что критически важно для эффективного развертывания крупных языковых моделей на специализированном оборудовании. NVIDIA Technical Blog · Инференс и железо Ускорение инференса в 15 раз на архитектуре NVIDIA Blackwell через DFlash NVIDIA представила технологию DFlash, предназначенную для оптимизации работы больших языковых моделей на аппаратной платформе Blackwell. Метод основан на технике спекулятивного декодирования, которая позволяет значительно сократить задержки при генерации текста. В отличие от стандартных подходов, DFlash использует специализированные механизмы предсказания токенов, что позволяет достичь ускорения инференса до 15 раз в зависимости от конфигурации системы и типа модели. Hacker News · Инференс и железо Оптимизация инференса Qwen 2.5 32B на мощностях DGX Автор статьи делится опытом развертывания и эксплуатации модели Qwen 2.5 32B на серверном оборудовании DGX. В материале рассматривается процесс настройки инфраструктуры для обеспечения высокой производительности инференса при решении задач генерации кода. Основное внимание уделено техническим аспектам оптимизации задержек и пропускной способности при работе с тяжелыми весами моделей в продакшн-окружении. Hacker News · Инференс и железо Etched представила специализированные кластеры для инференса трансформеров Компания Etched анонсировала создание специализированных вычислительных кластеров, оптимизированных исключительно для инференса архитектуры Transformer. В отличие от универсальных GPU, новая инфраструктура использует ASIC-чипы Sohu, что позволяет достичь кратного прироста производительности и снижения задержек при работе с крупными языковыми моделями. Решение ориентировано на масштабируемые задачи инференса в промышленном секторе. Hacker News · Инференс и железо Производительность GLM-5.2 на ускорителях AMD MI355X Компания Wafer представила результаты тестирования модели GLM-5.2 на базе ускорителей AMD Instinct MI355X. Система продемонстрировала скорость инференса 2626 токенов в секунду на узел. По расчетам разработчиков, стоимость эксплуатации данного решения оказывается более чем в два раза ниже по сравнению с использованием архитектуры NVIDIA Blackwell при сопоставимых задачах масштабирования. Hacker News · Инференс и железо Оптимизация инференса для длинного контекста на потребительских GPU Исследователи представили метод эффективной обработки контекста до миллиона токенов на обычном потребительском оборудовании. Технология использует разреженность (sparsity) вычислений в механизме внимания, что позволяет радикально снизить требования к видеопамяти и вычислительным мощностям. Это решение делает работу с огромными массивами данных доступной вне специализированных серверных кластеров, открывая новые возможности для локального запуска сложных моделей. MarkTechPost · Инференс и железо DFlash ускоряет генерацию LLM до 15 раз за счет параллельного предсказания блоков токенов Исследователи из Калифорнийского университета в Сан-Диего представили метод DFlash, который радикально ускоряет инференс LLM. Вместо последовательного предсказания токенов модель использует легковесную диффузионную архитектуру для генерации целых блоков токенов параллельно. Технология обеспечивает до 6-кратного ускорения на стандартных GPU и до 15-кратного прироста пропускной способности на архитектуре NVIDIA Blackwell при сохранении точности ответов.

← Все материалы