Исследователи представили Expert Subspace Separation Index (ESSI) — метрику для оценки качества маршрутизации токенов в разреженных моделях Mixture-of-Experts (MoE). Метод позволяет разделить влияние когерентности маршрутов, качества экспертов и их взаимодействия с контекстом, опровергая упрощенное представление о том, что эффективность MoE зависит исключительно от геометрической комплементарности векторов представления экспертов.
Традиционные подходы к анализу MoE часто смешивают различные факторы, затрудняя понимание того, почему конкретные комбинации экспертов работают лучше других. Разработанный индекс ESSI позволяет детально изучить, как именно модель распределяет вычислительную нагрузку между экспертами и какие подпространства представлений при этом задействуются. Это дает более глубокое понимание внутренней архитектуры современных LLM.
Авторы работы показывают, что когерентность выбора экспертов не всегда коррелирует с их геометрической независимостью. Исследование подчеркивает важность учета контекстуальных взаимодействий при обучении и оптимизации роутеров, что может привести к созданию более эффективных стратегий маршрутизации в будущих архитектурах с большим количеством экспертов.
Ключевые факты
- Представлен Expert Subspace Separation Index (ESSI) для количественного анализа роутинга в MoE.
- Метод разделяет три ключевых фактора: когерентность маршрута, качество кандидатов и контекстуальные взаимодействия.
- Исследование опровергает гипотезу о том, что успех MoE обусловлен только геометрической комплементарностью векторов.
- Работа направлена на оптимизацию процессов обучения и инференса в разреженных архитектурах моделей.