Together.ai · 04.03.2026 ·Машинное обучение

FlashAttention-4: оптимизация для асимметричного масштабирования

Команда Together.ai представила FlashAttention-4 — алгоритм, оптимизированный для современных GPU. Новая версия использует пиплайнинг для максимального перекрытия операций, что позволяет эффективно использовать пропускную способность графических процессоров.

FlashAttention-4 вводит два режима матричной мультипликации (2-CTA MMA), которые снижают трафик в общей памяти. Это особенно важно, так как пропускная способность GPU растёт быстрее, чем доступная память.

Алгоритм также применяет гибридный подход к вычислению экспонент softmax, сочетая аппаратные и программные методы. Это позволяет ускорить вычисления и улучшить производительность моделей на асимметричных аппаратных платформах.

FlashAttention-4 предназначен для оптимизации работы с трансформерами и других моделей, требующих значительных вычислительных ресурсов. Новый алгоритм может быть полезен для разработчиков, работающих с большими языковыми моделями и другими сложными системами.

Источник: Together.ai

Похожие материалы

Hacker News · Инференс и железо FlashAttention-4 ускоряет инференс моделей Команда Modal выпустила обновлённую версию FlashAttention-4, которая значительно ускоряет инференс трансформеров. Это особенно важно для агентов, работающих с большими языковыми моделями, где скорость обработки запросов напрямую влияет на пользовательский опыт. Together.ai · Инференс и железо Как Together AI ускоряет работу моделей на GPU Команда Together AI, известная разработками FlashAttention и ThunderKittens, занимается оптимизацией работы моделей на графических процессорах. Их исследования направлены на сокращение разрыва между возможностями GPU и реальными задачами в производстве ИИ. Together.ai · Машинное обучение Together AI представила FlashAttention-4 и ThunderAgent На конференции AI Native Conf компания Together AI анонсировала несколько ключевых разработок в области инференса и оптимизации моделей. Среди них — FlashAttention-4, ускоряющая вычисления внимания, и ThunderAgent, платформа для развертывания агентов. MarkTechPost · Инференс и железо Flash-KMeans: ускорение K-Means на GPU в 200 раз Flash-KMeans — это открытая реализация алгоритма K-Means, оптимизированная для работы на GPU с использованием Triton. В отличие от существующих решений, она не меняет математическую основу алгоритма, но значительно ускоряет его выполнение за счёт оптимизации ввода-вывода и устранения проблем с конкуренцией за ресурсы. The latest research from Google · Машинное обучение Sequential Attention: как ускорить модели без потери точности Исследователи Google предложили новый подход к оптимизации трансформеров — Sequential Attention. Он позволяет значительно сократить вычислительные затраты на инференс, не жертвуя точностью. В основе метода лежит идея последовательного внимания: вместо параллельной обработки всех токенов модель фокусируется на одном токене за раз, используя информацию из предыдущих шагов. Это снижает сложность вычислений с O(n²) до O(n log n), что делает модели более эффективными для локального развертывания и работы в реальном времени. Together.ai · Инференс и железо Как Together оптимизировал MiniMax-M3 для эффективного инференса Компания Together.ai представила подход к оптимизации работы модели MiniMax-M3, позволяющий эффективно обрабатывать контекст из 1 миллиона токенов и поддерживать мультимодальность. В основе решения лежит использование KV-block-major sparse attention, что позволяет значительно сократить вычислительные затраты при работе с большими контекстами. Hacker News · Инференс и железо AMD оптимизирует инференс для своих GPU Instinct AMD представила Atom Inference Engine — фреймворк для оптимизации работы моделей машинного обучения на графических процессорах Instinct. Решение сочетает аппаратные и программные компоненты, что позволяет ускорить выполнение задач инференса. Hacker News · Машинное обучение Новый метод параллельных вычислений на GPU для ИИ Исследователи представили новый подход к параллельным вычислениям на графических процессорах, который может значительно ускорить обучение и инференс нейросетей. В статье, опубликованной на arXiv, авторы предлагают метод, позволяющий избежать традиционных проблем с синхронизацией и конкуренцией за ресурсы. arXiv · Машинное обучение Новый метод прунинга для оптимизации Transformer-моделей Исследователи представили метод Complementary Attention Head Pruning (CAHP), направленный на повышение эффективности архитектуры Transformer. Основная проблема современных LLM заключается в избыточном количестве параметров, что затрудняет их развертывание на устройствах с ограниченными вычислительными ресурсами. Существующие подходы к сжатию моделей часто опираются на градиентный анализ важности весов или стохастическое гейтирование, которые не всегда обеспечивают оптимальный баланс между скоростью работы и качеством генерации. MarkTechPost · Инфраструктура для агентов Как оптимизировать трансформеры с xFormers xFormers — это инструмент для создания быстрых и экономичных трансформеров на GPU. В статье разбирают ключевые техники: упакованные последовательности, группированное внимание (GQA), ALiBi, SwiGLU и причинное внимание.

← Все материалы