Исследователи представили метод Manifold-Constrained Hyper-Connections (mHC), который предлагает новый подход к эффективному дообучению (PEFT) нейросетей. Вместо модификации весов или активаций, метод фокусируется на оптимизации остаточных связей (residual connections) в архитектуре Transformer. В экспериментах с моделью OLMo-2 подход mHC продемонстрировал высокую эффективность при сохранении замороженных весов основной архитектуры, открывая новые возможности для адаптации моделей.

Традиционные методы PEFT, такие как LoRA, обычно внедряют дополнительные обучаемые параметры в слои внимания или полносвязные блоки. Метод mHC меняет эту парадигму, рассматривая остаточные связи как динамические маршрутизаторы. Обучаемые модули маршрутизации позволяют модели гибко перенаправлять потоки данных, что обеспечивает лучшую адаптацию к новым задачам без необходимости переобучения всей архитектуры или значительного увеличения количества параметров.

Использование mHC позволяет эффективно использовать предобученные «замороженные» веса, что критически важно при работе с крупными языковыми моделями, где полная дообучение требует огромных вычислительных мощностей. Исследование показывает, что такая архитектурная модификация позволяет достичь конкурентоспособных результатов, сохраняя стабильность исходной модели и минимизируя риск катастрофического забывания при дообучении на специфических датасетах.

Ключевые факты

  • Метод mHC фокусируется на оптимизации остаточных связей, которые ранее оставались неизменными в большинстве PEFT-подходов.
  • В качестве базовой архитектуры для тестирования метода использовалась модель OLMo-2.
  • Метод внедряет обучаемые модули маршрутизации, которые обертывают замороженные веса основной модели.
  • Подход позволяет адаптировать сложные архитектуры Transformer с минимальным количеством дополнительных обучаемых параметров.