Исследователи представили метод эффективного дообучения моделей с длинным контекстом, решающий проблему нехватки видеопамяти. Комбинируя иерархическое глобальное внимание (HGA), сегментированное обратное распространение ошибки и многоуровневое хранение KV-кэша, авторы добились возможности обучения на длинных последовательностях без необходимости в огромных вычислительных мощностях, выгружая неактивные сегменты данных в оперативную память или на накопители NVMe.
Традиционные методы дообучения, даже при использовании техник снижения количества параметров, сталкиваются с резким ростом потребления VRAM из-за плотных механизмов внимания. Новый подход позволяет удерживать в видеопамяти только текущий активный сегмент, в то время как исторические данные KV-кэша динамически перемещаются во внешние хранилища. Это существенно снижает порог входа для дообучения моделей на больших массивах данных на потребительском или ограниченном серверном оборудовании.
Иерархическое глобальное внимание (HGA) обеспечивает сохранение точности модели, загружая ограниченный набор наиболее значимых исторических токенов для каждого сегмента. Такой подход минимизирует потерю контекстной связи, сохраняя при этом вычислительную эффективность. Метод позволяет эффективно масштабировать длину контекста при дообучении, не прибегая к покупке дорогостоящих кластеров с большим объемом памяти GPU.
Ключевые факты
- Метод сочетает Hierarchical Global Attention (HGA) с сегментированным обратным распространением ошибки.
- KV-кэш разделяется на уровни: активные данные остаются в VRAM, исторические выгружаются в RAM или NVMe.
- HGA ограничивает количество токенов, участвующих в вычислениях, сохраняя при этом точность длинного контекста.
- Технология позволяет значительно снизить требования к видеопамяти при дообучении LLM на длинных последовательностях.