MarkTechPost · 17.06.2026 ·Модели и релизы

MiniMax представила MSA: эффективный механизм сжатого внимания

MiniMax представила MSA: эффективный механизм сжатого внимания

Компания MiniMax анонсировала MSA (MiniMax Sparse Attention) — новый механизм сжатого внимания, основанный на Grouped Query Attention (GQA). MSA использует двухветвую архитектуру: лёгкий Index Branch выбирает Top-k блоков ключ-значение для каждого запроса и группы GQA, а Main Branch обрабатывает только эти блоки.

По словам разработчиков, MSA демонстрирует сопоставимые результаты с GQA на бенчмарках, но снижает вычислительные затраты на внимание на 28,4 раза при контексте в 1 миллион токенов. Модель была обучена на MoE (Mixture of Experts) с 109 миллиардами параметров и бюджетом в 3 триллиона токенов.

MSA может стать важным шагом в оптимизации больших языковых моделей, особенно для задач с длинным контекстом, где вычислительные затраты традиционно высоки. Технология может найти применение в различных ИИ-сервисах, требующих обработки больших объёмов данных с минимальными затратами ресурсов.

Источник: MarkTechPost

Похожие материалы

Together.ai · Инференс и железо Как Together оптимизировал MiniMax-M3 для эффективного инференса Компания Together.ai представила подход к оптимизации работы модели MiniMax-M3, позволяющий эффективно обрабатывать контекст из 1 миллиона токенов и поддерживать мультимодальность. В основе решения лежит использование KV-block-major sparse attention, что позволяет значительно сократить вычислительные затраты при работе с большими контекстами. Hacker News · Модели и релизы SubQ 1.1: линейное масштабирование внимания с 98% точностью Исследователи представили обновлённую версию SubQ 1.1, модели, использующей линейно-масштабируемое разреженное внимание. Новый алгоритм обеспечивает 98% точность извлечения данных при работе с 12 миллионами токенов. NVIDIA Technical Blog · Инференс и железо MiniMax M3 и NVIDIA для агентных workflows с длинным контекстом NVIDIA и MiniMax представили решение для развёртывания агентных workflows с поддержкой длинного контекста. Это важно для разработчиков, которым приходится собирать фрагментированные пайплайны из разных моделей для текста, изображения и других задач. The latest research from Google · Машинное обучение Sequential Attention: как ускорить модели без потери точности Исследователи Google предложили новый подход к оптимизации трансформеров — Sequential Attention. Он позволяет значительно сократить вычислительные затраты на инференс, не жертвуя точностью. В основе метода лежит идея последовательного внимания: вместо параллельной обработки всех токенов модель фокусируется на одном токене за раз, используя информацию из предыдущих шагов. Это снижает сложность вычислений с O(n²) до O(n log n), что делает модели более эффективными для локального развертывания и работы в реальном времени. The Gradient · Инфраструктура для агентов Mamba: новая архитектура для обработки длинных последовательностей Mamba — это новая архитектура нейросетевых моделей, основанная на State Space Models (SSMs). Она позиционируется как серьезная альтернатива Transformer-моделям, которые, несмотря на свою популярность, сталкиваются с проблемами эффективности при обработке длинных последовательностей. Together.ai · Машинное обучение FlashAttention-4: оптимизация для асимметричного масштабирования Команда Together.ai представила FlashAttention-4 — алгоритм, оптимизированный для современных GPU. Новая версия использует пиплайнинг для максимального перекрытия операций, что позволяет эффективно использовать пропускную способность графических процессоров. Hacker News · Машинное обучение Meta-Attention: новый подход к архитектуре нейросетей Исследователи предложили концепцию Meta-Attention, которая может стать важным шагом в развитии архитектур нейросетей. В отличие от традиционного механизма внимания, который фокусируется на конкретных элементах данных, Meta-Attention позволяет модели динамически адаптировать свои параметры внимания в зависимости от контекста. Это может значительно улучшить способность моделей обрабатывать сложные и разнообразные задачи, что особенно важно для ИИ-агентов, которым требуется гибкость и адаптивность. Together.ai · Инференс и железо Mamba-3: новая модель для быстрого инференса Компания Together.ai представила Mamba-3 — новую модель на основе архитектуры Selective State Spaces (SSM). Она предназначена для ускоренного инференса и превосходит трансформеры по скорости декодирования. Microsoft Research · Оркестрация агентов MagenticLite: агентная система для малых моделей от Microsoft Research Microsoft Research представила MagenticLite — агентную систему, оптимизированную для работы с малыми моделями. Она поддерживает выполнение задач как в браузере, так и в локальной файловой системе, что делает её универсальным решением для повседневных задач. Система объединяет специализированные модели и оркестрацию, что позволяет эффективно использовать ограниченные вычислительные ресурсы. Hacker News · Память и RAG PagedAttention: зачем ИИ-агентам память с вытесняющей стратегией PagedAttention — это механизм, который позволяет эффективно управлять памятью в больших языковых моделях (LLM) и ИИ-агентах. В отличие от традиционных подходов, он не просто имитирует виртуальную память, а предлагает более гибкую и оптимизированную стратегию работы с данными. Это особенно важно для агентов, которые работают с большими объёмами информации и требуют быстрого доступа к контексту.

← Все материалы