GitHub · 12.06.2026 ·Инференс и железо

Реализация архитектуры Transformer на уровне RTL для FPGA

Проект gateGPT демонстрирует возможность переноса архитектуры трансформеров непосредственно на аппаратный уровень с использованием языка описания аппаратуры (RTL). Разработчикам удалось реализовать полноценную модель на базе FPGA Virtex-5, что позволяет выполнять вычисления без участия центрального процессора или специализированных GPU-ускорителей.

Система достигает скорости генерации около 56 тысяч токенов в секунду. Столь высокая производительность обусловлена аппаратной параллелизацией операций, характерных для трансформеров, что открывает путь к созданию специализированных чипов для инференса ИИ-моделей с минимальными задержками и энергопотреблением.

Данный подход переосмысливает традиционный процесс исполнения нейросетей, где выполнение кода на CPU или GPU заменяется жестко заданной логикой на кристалле. Это решение демонстрирует потенциал оптимизации вычислительных ресурсов для задач генеративного ИИ встраиваемых систем, где критически важны скорость отклика и компактность аппаратного обеспечения.

Источник: GitHub

Похожие материалы

Hacker News · Инференс и железо GateGPT: 56k токенов в секунду на FPGA Исследователи представили GateGPT — решение для ускоренного инференса трансформеров на FPGA. Система достигает скорости 56 000 токенов в секунду при частоте 80 МГц, используя кеш ключ-значение (KV cache). Это открывает новые возможности для развертывания больших языковых моделей на специализированном оборудовании. arXiv · Машинное обучение Новый метод прунинга для оптимизации Transformer-моделей Исследователи представили метод Complementary Attention Head Pruning (CAHP), направленный на повышение эффективности архитектуры Transformer. Основная проблема современных LLM заключается в избыточном количестве параметров, что затрудняет их развертывание на устройствах с ограниченными вычислительными ресурсами. Существующие подходы к сжатию моделей часто опираются на градиентный анализ важности весов или стохастическое гейтирование, которые не всегда обеспечивают оптимальный баланс между скоростью работы и качеством генерации. arXiv · Машинное обучение Исследование: неравномерное распределение параметров в трансформерах Учёные изучили эффективность неравномерного распределения параметров в трансформерах. Обычно архитектуры трансформеров используют одинаковую ширину во всех слоях, что приводит к равномерному распределению вычислительных ресурсов. Однако новые исследования показывают, что разные слои могут выполнять разные роли, и их вычислительные потребности могут отличаться. MarkTechPost · Инфраструктура для агентов Как оптимизировать трансформеры с xFormers xFormers — это инструмент для создания быстрых и экономичных трансформеров на GPU. В статье разбирают ключевые техники: упакованные последовательности, группированное внимание (GQA), ALiBi, SwiGLU и причинное внимание. Hacker News · Инфраструктура для агентов Реализация библиотеки transformers на языке Rust Разработчики представили масштабный проект по переносу функциональности популярной библиотеки transformers на язык программирования Rust. Кодовая база проекта насчитывает около миллиона строк, что делает его одной из самых амбициозных попыток переписать стек машинного обучения для обеспечения высокой производительности и безопасности памяти. Hacker News · Инференс и железо Tensordyne оптимизирует вычисления для ИИ с помощью логарифмических операций Стартап Tensordyne представил подход к оптимизации вычислительных процессов для нейросетей, основанный на использовании логарифмической арифметики вместо стандартных операций с плавающей запятой. Традиционные вычисления, используемые в современных графических процессорах, требуют значительных затрат энергии и ресурсов при выполнении операций умножения, которые составляют основу работы трансформеров. arXiv · Машинное обучение Исследование: устойчивые и адаптивные трансформеры с фиксированной точкой Учёные предложили новый подход к трансформерам с циклической архитектурой, который решает проблему распространения сигнала на больших глубинах. В статье на arXiv представлены Fixed-Point Reasoners — модели, способные адаптироваться к сложным задачам, требующим составного рассуждения. arXiv · Инференс и железо Оптимизация INT8 вычислений для диффузионных трансформеров на потребительских GPU Исследователи из Ideogram представили новый подход к оптимизации инференса диффузионных трансформеров на потребительских GPU. В статье, опубликованной на arXiv, они показывают, что посттрейнинговая квантование в INT8 (W8A8) часто оказывается медленнее, чем альтернативы в FP8 и NF4, несмотря на ожидания. Это связано с тем, что в текущих реализациях веса и активации квантуются только для того, чтобы сразу же деквантоваться обратно в bf16 и выполнять матричное умножение в этом формате. Together.ai · Машинное обучение Parcae: модель с петлями вместо трансформеров Исследователи представили Parcae — модель с петлями, которая превосходит трансформеры по эффективности. Учёные показали, что увеличение рекурсии, а не данных, может быть вычислительно эффективным способом улучшения моделей. arXiv · Машинное обучение Трансформеры для решения уравнений на сложных геометриях Исследователи из MIT и других ведущих университетов представили новый подход к использованию трансформеров для решения задач, связанных с дифференциальными уравнениями на сложных геометриях. Традиционные методы, основанные на нейронных операторах, ограничены фиксированным размером области, что затрудняет их применение в реальных сценариях, где размеры могут варьироваться.

← Все материалы