Исследователи представили новый подход к обучению моделей в условиях неразмеченных данных, направленный на повышение стабильности адаптации доменов (UDA). Метод использует парную выборку для борьбы с высокой дисперсией функций потерь, что позволяет применять классические алгоритмы стохастической оптимизации. Это решение устраняет ограничения существующих подходов, таких как выравнивание корреляций и максимальное среднее расхождение, обеспечивая более точную настройку моделей при смене домена.
Традиционные методы адаптации доменов часто сталкиваются с проблемой нестабильности при оптимизации на мини-батчах. Высокая дисперсия функций потерь затрудняет сходимость, а отсутствие структуры конечной суммы в целевых функциях делает невозможным использование стандартных методов снижения дисперсии, таких как SVRG или SAGA. Авторы работы переформулировали задачу, внедрив парную выборку, что позволило привести функции потерь к виду, совместимому с современными методами стохастической оптимизации.
Предложенный подход значительно улучшает качество обучения в сценариях, где распределение данных в обучающей и тестовой выборках существенно различается. Это особенно актуально для задач компьютерного зрения и обработки естественного языка, где сбор размеченных данных для каждого нового домена экономически невыгоден или невозможен. Математическое обоснование метода подтверждает, что снижение дисперсии напрямую влияет на скорость сходимости и итоговую точность модели.
Ключевые факты
- Разработан метод адаптации доменов (UDA) на основе парной выборки, снижающий дисперсию функций потерь.
- Новый подход делает целевые функции совместимыми с классическими алгоритмами стохастической оптимизации с уменьшенной дисперсией.
- Решение устраняет недостатки популярных методов выравнивания распределений, таких как Correlation Alignment (CORAL) и Maximum Mean Discrepancy (MMD).
- Метод позволяет эффективно использовать мини-батч оптимизацию в задачах, где ранее наблюдалась нестабильность обучения.