Немецкий исследовательский консорциум представил Soofi S 30B-A3B — открытую языковую модель, обученную на облачной инфраструктуре Deutsche Telekom в Мюнхене. Модель использует гибридную архитектуру, активирующую лишь часть из 31,6 млрд параметров при генерации каждого токена. Это обеспечивает высокую пропускную способность и стабильную работу даже при обработке контекстов большой длины, демонстрируя лидерство в бенчмарках как для английского, так и для немецкого языков.

Ключевой особенностью Soofi S является сбалансированный подход к мультиязычности. В отличие от большинства моделей, где доминирует английский язык, обучающая выборка этой модели была специально адаптирована с учетом специфики немецкого языка. Это позволяет Soofi S показывать более качественные результаты в задачах, требующих понимания культурного и лингвистического контекста Германии, сохраняя при этом высокую производительность на английском языке.

Техническая реализация модели опирается на оптимизированную инфраструктуру, что подчеркивает стремление европейских разработчиков к созданию независимых инструментов в сфере генеративного ИИ. Использование гибридной архитектуры позволяет эффективно масштабировать модель, сохраняя баланс между вычислительными затратами и качеством генерации ответов, что делает её перспективным решением для корпоративного сектора и исследовательских задач.

Ключевые факты

  • Модель содержит 31,6 млрд параметров и использует гибридную архитектуру для повышения эффективности.
  • Обучение проводилось полностью на облачных мощностях Deutsche Telekom в Мюнхене.
  • Soofi S показывает лучшие результаты в бенчмарках среди открытых моделей в категории немецкого языка.
  • Архитектура обеспечивает стабильную пропускную способность при работе с длинными контекстами.