Исследователи представили новый подход к дообучению LLM в рамках федеративного обучения, анализируя эффективность разделения матриц LoRA между клиентами. Авторы предложили стратегию адаптивного выбора ранга, которая позволяет гибко распределять веса матриц A и B, минимизируя объем передаваемых данных и повышая точность модели при сохранении конфиденциальности пользовательских данных на локальных узлах.
Традиционные методы федеративного LoRA часто сталкиваются с проблемой избыточности параметров при масштабировании на большое количество клиентов. В данной работе авторы детально исследуют асимметричные роли матриц адаптации. Выяснилось, что разделение матрицы A при сохранении уникальности матрицы B для каждого клиента (или наоборот) существенно влияет на сходимость и итоговое качество модели в условиях гетерогенных данных.
Предложенный метод Rank-Aware Adaptive Approach динамически определяет, какая часть низкоранговых весов должна быть глобальной, а какая — локальной. Это позволяет системе лучше адаптироваться к специфике данных каждого клиента, не перегружая при этом сеть избыточными обновлениями градиентов. Такой подход открывает новые возможности для эффективного дообучения моделей на распределенных устройствах с ограниченными вычислительными ресурсами.
Ключевые факты
- Метод фокусируется на оптимизации передачи матриц A и B в архитектуре LoRA для федеративного обучения.
- Исследование доказывает, что асимметричное разделение факторов (Share-A/Local-B или наоборот) критически важно для производительности.
- Адаптивный подход к рангу позволяет снизить коммуникационные затраты при сохранении высокой точности дообучения.
- Предложенная методология направлена на решение проблем гетерогенности данных в распределенных системах обучения моделей.