Исследователи представили Omega-S — легковесный метод для борьбы с «катастрофическим забыванием» при дообучении больших языковых моделей. В отличие от существующих подходов, он не требует хранения старых данных или сложных матриц Фишера. Интеграция решения занимает всего три строки кода и увеличивает вычислительные затраты на обучение менее чем на 4%, сохраняя функциональность модели при освоении новых задач.

Проблема потери знаний при дообучении (fine-tuning) остается одним из главных барьеров для адаптации LLM под узкие домены. Традиционные методы регуляризации часто требуют доступа к исходным наборам данных или значительных ресурсов для вычисления весовых коэффициентов. Omega-S работает исключительно с матрицей весов текущей модели, что делает его универсальным инструментом для оптимизации процесса дообучения без необходимости хранить исторические данные.

Метод демонстрирует высокую эффективность при использовании популярных техник адаптации, таких как LoRA. Благодаря минимальному влиянию на скорость обучения и отсутствию требований к дополнительной памяти, Omega-S может быть внедрен в стандартные пайплайны подготовки моделей для сохранения их производительности в широком спектре задач, от написания кода до специализированных бизнес-интерфейсов.

Ключевые факты

  • Omega-S вычисляется напрямую из матрицы весов без использования данных предыдущих задач.
  • Интеграция метода требует добавления всего трех строк кода в цикл обучения.
  • Дополнительные вычислительные затраты на один шаг обучения составляют менее 4%.
  • Метод не требует хранения копий старых весов или вычисления матрицы Фишера.
  • Эффективность решения подтверждена на модели Llama-3-8B с применением LoRA.