Исследователи представили работу, объясняющую феномен «благословения размерности» при адаптации больших языковых моделей. Авторы доказывают, что близость к ортогональности векторов в пространствах высокой размерности позволяет эффективно переносить знания между задачами без необходимости дополнительного обучения или использования обучающих данных, что критически важно для оптимизации процессов дообучения и использования методов типа LoRA.
Работа фокусируется на механизме PortLLM — схеме, которая позволяет адаптировать модели после непрерывного претрейна без затрат на повторные вычисления. Математическое обоснование показывает, что при работе с огромным количеством параметров векторы признаков естественным образом стремятся к ортогональности. Это свойство минимизирует интерференцию между различными доменами знаний, позволяя «патчам» LoRA сохранять работоспособность при смене контекста задачи.
Данное открытие дает теоретическую базу для понимания того, почему методы эффективной настройки параметров (PEFT) работают стабильно даже при минимальном объеме данных. Понимание геометрических свойств весов в многомерном пространстве открывает путь к созданию более легких и быстрых алгоритмов адаптации моделей под узкоспециализированные бизнес-задачи без необходимости полноценного дообучения.
Ключевые факты
- Исследование опирается на концепцию «благословения размерности» (Blessing of Dimensionality) в контексте переноса знаний.
- Метод PortLLM позволяет адаптировать LLM без использования обучающих данных и дополнительных циклов обучения.
- Доказано, что близость векторов к ортогональности в высокоразмерных пространствах снижает риск катастрофического забывания при адаптации.
- Работа объясняет устойчивость LoRA-патчей при их переносе между различными доменами задач.
- Теоретические выводы позволяют снизить вычислительные затраты на развертывание специализированных ИИ-решений.