Китайский технологический гигант Meituan успешно обучил масштабную модель с 1,6 трлн параметров, полностью отказавшись от использования графических процессоров Nvidia. Инженеры компании перестроили вычислительную инфраструктуру, сделав ставку на альтернативные аппаратные решения и оптимизацию распределенных вычислений, что позволило преодолеть ограничения, связанные с доступностью высокопроизводительных чипов на фоне экспортных ограничений.

Проект стал ответом на ужесточение санкций, ограничивающих поставки передовых ускорителей в Китай. Вместо стандартного стека на базе Nvidia, команда Meituan разработала собственные методы параллелизации и оптимизации передачи данных между узлами. Это позволило эффективно использовать гетерогенные вычислительные кластеры, состоящие из менее мощных или специализированных процессоров, обеспечив стабильное обучение модели такого колоссального размера.

Технический успех компании демонстрирует возможность масштабирования обучения LLM в условиях дефицита специализированного «железа». Опыт Meituan подчеркивает важность программной оптимизации: за счет глубокой настройки сетевых протоколов и управления памятью инженерам удалось минимизировать задержки, которые обычно возникают при использовании менее производительных вычислительных мощностей в крупных кластерах.

Ключевые факты

  • Модель содержит 1,6 трлн параметров, что сопоставимо с крупнейшими современными архитектурами.
  • Обучение проводилось без использования графических процессоров Nvidia, что стало ответом на экспортные ограничения США.
  • Инженеры внедрили кастомные методы распределенного обучения для работы на альтернативной аппаратной базе.
  • Проект подтверждает жизнеспособность стратегии масштабирования ИИ через программную оптимизацию при отсутствии доступа к топовым GPU.