Исследователи представили AlphaWiSE — метод адаптивной интерполяции весов, решающий проблему деградации мультимодальных моделей при дообучении на новых данных. В отличие от стандартных подходов, сохраняющих единый чекпоинт, AlphaWiSE позволяет гибко настраивать баланс между стабильностью и пластичностью, предотвращая потерю кросс-модального выравнивания, достигнутого на предыдущих этапах обучения, что критически важно для сохранения качества поиска в динамических системах.
Мультимодальные модели, такие как CLIP, обучаются формировать общее векторное пространство для текста и изображений. При последовательном дообучении (continual learning) на новых наборах данных модель часто «забывает» исходные связи, что приводит к снижению точности поиска. Традиционные методы непрерывного обучения обычно фиксируют параметры модели в одной точке, что ограничивает возможности адаптации к специфическим задачам без ущерба для общей производительности.
Метод AlphaWiSE работает как пост-хок процедура, не требующая повторного обучения всей архитектуры. Он анализирует изменения в весах модели и динамически подбирает оптимальную интерполяцию между исходным состоянием и дообученным вариантом. Это позволяет системе сохранять высокую точность кросс-модального сопоставления, адаптируясь к новым данным без катастрофического забывания старых знаний.
Ключевые факты
- Метод AlphaWiSE предназначен для решения проблемы катастрофического забывания в мультимодальных моделях при последовательном обучении.
- Подход позволяет избежать фиксации модели на одном чекпоинте, обеспечивая гибкий баланс между сохранением старых знаний и усвоением новых.
- Технология является пост-хок решением, что значительно снижает вычислительные затраты по сравнению с полным переобучением или использованием сложных буферных стратегий.
- Метод направлен на улучшение стабильности кросс-модального выравнивания в архитектурах типа CLIP при работе с непрерывно поступающими потоками данных.