MarkTechPost · 15.07.2026 ·Модели и релизы

Soofi представил гибридную модель Soofi S 30B-A3B на базе архитектуры Mamba-Transformer

Консорциум Soofi выпустил открытую языковую модель Soofi S 30B-A3B, объединяющую архитектуры Mamba и Transformer в формате Mixture-of-Experts (MoE). Модель оптимизирована для работы с немецким и английским языками. При общем объеме в 31,6 млрд параметров система активирует лишь 3,2 млрд параметров на каждый токен, что обеспечивает высокую производительность при сниженных вычислительных затратах на инференс.

Интеграция архитектуры Mamba позволяет модели эффективнее обрабатывать длинные контексты по сравнению с классическими трансформерами, сохраняя при этом стабильность обучения. Использование подхода MoE дает возможность масштабировать знания модели, не увеличивая линейно требования к VRAM, что делает её подходящим решением для специализированных задач в европейском сегменте, где требуется высокая точность в мультиязычных сценариях.

Разработка ориентирована на создание эффективных фундаментов для прикладных систем, требующих баланса между скоростью отклика и качеством генерации текста. Гибридная природа модели позволяет использовать преимущества линейного масштабирования Mamba для длинных последовательностей и проверенную временем способность трансформеров к глубокому семантическому анализу данных.

Ключевые факты

Общее количество параметров модели составляет 31,6 млрд.
Количество активных параметров при инференсе — 3,2 млрд.
Архитектура сочетает в себе принципы Mamba и Transformer в конфигурации MoE.
Модель специализируется на двуязычной поддержке: немецком и английском языках.
Релиз является открытым, что позволяет использовать модель для локального развертывания и дообучения.

Источник: MarkTechPost

Обсудить с ИИ

Похожие материалы

The Decoder · Модели и релизы Немецкий консорциум представил Soofi S — открытую модель на 30 млрд параметров Немецкий исследовательский консорциум представил Soofi S 30B-A3B — открытую языковую модель, обученную на облачной инфраструктуре Deutsche Telekom в Мюнхене. Модель использует гибридную архитектуру, активирующую лишь часть из 31,6 млрд параметров при генерации каждого токена. Это обеспечивает высокую пропускную способность и стабильную работу даже при обработке контекстов большой длины, демонстрируя лидерство в бенчмарках как для английского, так и для немецкого языков. The Decoder · Модели и релизы Tencent представила открытую модель Hy3 с архитектурой Mixture-of-Experts Компания Tencent выпустила открытую языковую модель Hy3, использующую архитектуру Mixture-of-Experts (MoE). При общем объеме в 295 миллиардов параметров, модель задействует лишь 21 миллиард параметров для обработки каждого токена. Разработчики заявляют, что Hy3 сопоставима по качеству с моделями, превосходящими её по размеру в 2–5 раз, при этом уровень галлюцинаций снижен до 5,4%. The Gradient · Инфраструктура для агентов Mamba: новая архитектура для обработки длинных последовательностей Mamba — это новая архитектура нейросетевых моделей, основанная на State Space Models (SSMs). Она позиционируется как серьезная альтернатива Transformer-моделям, которые, несмотря на свою популярность, сталкиваются с проблемами эффективности при обработке длинных последовательностей. arXiv · Инфраструктура для агентов FoMoE: новый подход к обучению MoE-моделей через федерацию экспертов Исследователи представили архитектуру FoMoE (Federation of Mixture-of-Experts), которая решает проблему жесткой привязки параметров модели к вычислительной инфраструктуре. Традиционные методы обучения крупных языковых моделей требуют использования массивов тесно связанных ускорителей, что ограничивает масштабируемость. Новый подход позволяет распределять экспертов в составе MoE-архитектуры между независимыми вычислительными узлами, снимая барьер «полной репликации» весов модели на каждом устройстве. Hacker News · Инфраструктура для агентов Обновление Modular 26.4: оптимизация MoE, агентные навыки и Mojo 1.0 Beta 2 Компания Modular представила обновление платформы 26.4, сфокусированное на высокопроизводительном инференсе и автоматизации разработки. Ключевые изменения включают оптимизацию работы с моделями типа Mixture-of-Experts (MoE), внедрение агентных навыков для ускорения развертывания моделей и выпуск второй бета-версии языка программирования Mojo 1.0, направленного на повышение эффективности системного программирования для задач искусственного интеллекта. Simon Willison's Weblog · Модели и релизы Tencent представила Hy3: MoE-модель на 295 млрд параметров Tencent выпустила Hy3 — новую языковую модель с архитектурой Mixture-of-Experts (MoE), насчитывающую 295 млрд параметров. Модель, распространяемая под лицензией Apache 2.0, прошла масштабный этап дообучения с использованием данных, собранных после тестирования превью-версии в более чем 50 продуктах компании. Разработчики заявляют о существенном превосходстве новинки над предыдущими итерациями в производительности и качестве генерации. Together.ai · Инференс и железо Mamba-3: новая модель для быстрого инференса Компания Together.ai представила Mamba-3 — новую модель на основе архитектуры Selective State Spaces (SSM). Она предназначена для ускоренного инференса и превосходит трансформеры по скорости декодирования. MarkTechPost · Модели и релизы Zyphra представила гибридные модели Zamba2-VL с ускоренным инференсом Zyphra выпустила семейство открытых визуально-языковых моделей Zamba2-VL с параметрами 1.2B, 2.7B и 7B. Они сочетают архитектуру Mamba2 и Transformer, что позволяет сократить время до первого токена в десять раз по сравнению с аналогами. The Decoder · Модели и релизы VibeThinker-3B: компактная модель с навыками рассуждения уровня гигантов Разработчики из Sina Weibo представили VibeThinker-3B — языковую модель с 3 миллиардами параметров, демонстрирующую производительность в математике и программировании на уровне моделей, превосходящих её по размеру в сотни раз. Исследователи выдвинули гипотезу, что логические способности эффективно сжимаются в малые архитектуры, тогда как хранение обширных фактологических знаний требует значительного масштабирования параметров. Hacker News · Модели и релизы Soofi: европейская суверенная LLM, обученная за два месяца Проект Soofi представил результаты обучения европейской суверенной языковой модели, процесс создания которой занял всего два месяца. Разработчики сфокусировались на эффективности вычислительных ресурсов и прозрачности архитектуры, стремясь создать альтернативу доминирующим американским решениям. Модель ориентирована на соблюдение европейских стандартов данных и обеспечение технологической независимости региона в сфере генеративного ИИ.

← Все материалы