MarkTechPost · 16.06.2026 ·Инфраструктура для агентов

Как оптимизировать трансформеры с xFormers

Как оптимизировать трансформеры с xFormers

xFormers — это инструмент для создания быстрых и экономичных трансформеров на GPU. В статье разбирают ключевые техники: упакованные последовательности, группированное внимание (GQA), ALiBi, SwiGLU и причинное внимание.

Авторы сравнивают эффективность памяти и скорость работы с базовыми реализациями. Особое внимание уделяется маскировке причинных последовательностей и обработке переменной длины.

В итоге все методы объединяются в обучаемую модель в стиле GPT. Это полезно для разработчиков, работающих с большими языковыми моделями и ограниченными ресурсами.

xFormers поддерживает PyTorch и может интегрироваться в существующие пайплайны. Код и примеры доступны в открытом доступе.

Источник: MarkTechPost

Похожие материалы

NVIDIA Technical Blog · Машинное обучение Как оптимизировать трансформеры для обучения с низкой точностью Трансформеры лежат в основе многих современных языковых и генеративных моделей. С ростом их размера увеличивается и потребление вычислительных ресурсов, особенно GPU. NVIDIA предложила методы оптимизации для обучения моделей с низкой точностью, что позволяет снизить нагрузку на оборудование. Together.ai · Машинное обучение FlashAttention-4: оптимизация для асимметричного масштабирования Команда Together.ai представила FlashAttention-4 — алгоритм, оптимизированный для современных GPU. Новая версия использует пиплайнинг для максимального перекрытия операций, что позволяет эффективно использовать пропускную способность графических процессоров. arXiv · Машинное обучение Трансформеры для решения уравнений на сложных геометриях Исследователи из MIT и других ведущих университетов представили новый подход к использованию трансформеров для решения задач, связанных с дифференциальными уравнениями на сложных геометриях. Традиционные методы, основанные на нейронных операторах, ограничены фиксированным размером области, что затрудняет их применение в реальных сценариях, где размеры могут варьироваться. Together.ai · Машинное обучение Parcae: модель с петлями вместо трансформеров Исследователи представили Parcae — модель с петлями, которая превосходит трансформеры по эффективности. Учёные показали, что увеличение рекурсии, а не данных, может быть вычислительно эффективным способом улучшения моделей. arXiv · Инференс и железо Оптимизация INT8 вычислений для диффузионных трансформеров на потребительских GPU Исследователи из Ideogram представили новый подход к оптимизации инференса диффузионных трансформеров на потребительских GPU. В статье, опубликованной на arXiv, они показывают, что посттрейнинговая квантование в INT8 (W8A8) часто оказывается медленнее, чем альтернативы в FP8 и NF4, несмотря на ожидания. Это связано с тем, что в текущих реализациях веса и активации квантуются только для того, чтобы сразу же деквантоваться обратно в bf16 и выполнять матричное умножение в этом формате. NVIDIA Technical Blog · Инференс и железо Квантование моделей для ускоренного инференса на NVIDIA TensorRT NVIDIA представила новый подход к квантованию моделей, позволяющий превращать FP8-чекпоинты в высокопроизводительные инференс-движки с использованием TensorRT. Этот метод оптимизирует модели для работы на графических процессорах, что особенно важно для разработчиков ИИ-агентов, где скорость и эффективность вычислений играют ключевую роль. The latest research from Google · Машинное обучение Sequential Attention: как ускорить модели без потери точности Исследователи Google предложили новый подход к оптимизации трансформеров — Sequential Attention. Он позволяет значительно сократить вычислительные затраты на инференс, не жертвуя точностью. В основе метода лежит идея последовательного внимания: вместо параллельной обработки всех токенов модель фокусируется на одном токене за раз, используя информацию из предыдущих шагов. Это снижает сложность вычислений с O(n²) до O(n log n), что делает модели более эффективными для локального развертывания и работы в реальном времени. Hacker News · Другое Компиляция алгоритмов матричного умножения в быстрые CUDA-ядра Исследователи представили новый подход к компиляции алгоритмов матричного умножения, основанных на методе Штрассена, в эффективные CUDA-ядра. Это позволяет значительно ускорить вычисления, что особенно важно для задач, связанных с обработкой больших матриц в ИИ-агентах. Hacker News · Инференс и железо Как масштабировать модели на TPU Команда Jax ML выпустила подробное руководство по масштабированию больших языковых моделей на тензорных процессорах (TPU). Документ охватывает ключевые аспекты инфраструктуры, включая распределение вычислений, оптимизацию памяти и управление ресурсами. Hugging Face - Blog · Инференс и железо Оптимизация MLP в PyTorch для ускорения инференса В новом посте на Hugging Face продолжается серия о профилировании и оптимизации PyTorch, на этот раз с акцентом на слияние слоёв в многослойных перцептронах (MLP). Авторы делятся подходами к ускорению вычислений, которые могут быть критичны для локального инференса моделей, особенно в условиях ограниченных ресурсов.

← Все материалы