Исследователи представили метод Co-Adaptive Multi-Task LoRA, который решает проблему конфликтов при одновременном дообучении LLM на данных из разных доменов. В отличие от стандартных подходов с фиксированным смешиванием данных, новый алгоритм динамически управляет участием каждого домена в процессе обучения, оптимизируя распределение весов адаптера для предотвращения взаимного ухудшения качества моделей при многозадачном обучении.
Традиционные пайплайны fine-tuning часто игнорируют различия в распределении данных между доменами, что приводит к «забыванию» или снижению производительности на отдельных задачах. Предложенный метод вводит механизм адаптивного контроля, который позволяет модели самостоятельно определять степень влияния каждого домена на итоговые веса LoRA. Это обеспечивает более эффективный перенос знаний между задачами без необходимости ручного подбора коэффициентов смешивания.
Технология опирается на концепцию «transfer-aware» обучения, где система оценивает полезность данных конкретного домена для других задач в реальном времени. Такой подход позволяет масштабировать дообучение на большое количество разнородных наборов данных, сохраняя высокую точность как на общих, так и на узкоспециализированных бенчмарках. Метод не требует наличия размеченных меток для каждого домена, что упрощает внедрение в пайплайны с неструктурированными данными.
Ключевые факты
- Метод Co-Adaptive Multi-Task LoRA автоматизирует управление участием доменов при многозадачном дообучении.
- Алгоритм исключает необходимость фиксированного и равномерного смешивания данных, которое часто приводит к деградации производительности.
- Технология работает без использования меток доменов, что делает её применимой для широкого спектра неразмеченных наборов данных.
- Подход оптимизирует совместное использование параметров адаптера, минимизируя негативное влияние доменов друг на друга.