Исследователи представили метод DeltaMerge-LowRes, позволяющий адаптировать мультиязычные энкодеры к новым языкам и задачам без дорогостоящего совместного дообучения. Вместо объединения параметров в процессе обучения, подход предполагает раздельное вычисление языковых и целевых «дельт» (изменений весов) с последующей их комбинацией в пространстве весов, что критически важно для условий с крайне ограниченным объемом размеченных данных.
Традиционные методы дообучения требуют значительных вычислительных ресурсов и больших наборов данных, чтобы модель успешно освоила как лингвистические особенности, так и специфику конкретной задачи. Новый метод разделяет эти процессы: языковая дельта извлекается из неразмеченных моноязычных текстов, а задача — из небольшого количества примеров. Это позволяет гибко комбинировать уже обученные компоненты, избегая катастрофического забывания и снижая требования к инфраструктуре.
Технология открывает путь к созданию специализированных NLP-систем для редких языков, где получение качественной разметки затруднено. Метод демонстрирует, что композиция весовых дельт может быть эффективной альтернативой полному fine-tuning, обеспечивая высокую точность при минимальных затратах на обучение и хранение весов для каждой отдельной комбинации «язык-задача».
Ключевые факты
- Метод DeltaMerge-LowRes позволяет адаптировать модель к новым условиям, используя всего несколько сотен размеченных примеров.
- Подход основан на раздельном обучении языковой дельты (на неразмеченных данных) и дельты задачи с последующим объединением в пространстве весов.
- Технология решает проблему высокой стоимости одновременного обучения модели по двум осям: языковой адаптации и адаптации к конкретной задаче.
- Метод минимизирует риск катастрофического забывания, характерный для стандартных процессов дообучения мультиязычных энкодеров.