Meta (признана экстремистской организацией, деятельность запрещена в РФ) объявила о двукратном повышении эффективности обучения своей базовой модели для рекомендаций рекламы — GEM. Инженерам удалось достичь показателя утилизации вычислительных мощностей (MFU) на уровне 20–25% при четырехкратном увеличении общего объема вычислений, что позволяет эффективнее масштабировать рекламные алгоритмы в Instagram (принадлежит Meta, признанной экстремистской и запрещённой в РФ) и Facebook.

Переход на архитектуру обучения, сопоставимую с масштабами больших языковых моделей (LLM), потребовал оптимизации работы с тысячами графических процессоров последнего поколения. Основной фокус был сделан на устранении «узких мест» в передаче данных и синхронизации вычислений между узлами кластера. Это позволило значительно сократить время обучения модели при сохранении качества рекомендаций, что критически важно для рекламных систем с миллиардами ежедневных взаимодействий.

Технологический стек включает переработанные пайплайны обработки данных и улучшенные методы параллелизма, которые минимизируют простои GPU. Внедрение этих подходов позволило компании не только ускорить итерации модели, но и оптимизировать затраты на инфраструктуру, обеспечивая более точный таргетинг рекламы за счет использования более глубоких и сложных архитектур нейронных сетей.

Ключевые факты

  • Эффективность обучения (E2E) выросла в 2 раза, достигнув 20–25% MFU.
  • Объем вычислительных операций (FLOPs) при обучении модели увеличен в 4 раза.
  • Модель GEM является фундаментом для рекламных рекомендаций в Instagram и Facebook.
  • Обучение проводится на кластерах из нескольких тысяч GPU последнего поколения.
  • Оптимизация позволила масштабировать рекламную модель до уровня сложности современных LLM.