Исследователи представили PALS (Percentile-Aware Layerwise Sparsity) — новый метод оптимизации больших языковых моделей, который динамически распределяет коэффициент разреженности между слоями нейросети. В отличие от традиционных подходов, применяющих фиксированный коэффициент ко всей архитектуре, PALS учитывает важность каждого слоя на основе 99-го перцентиля амплитуд активаций, что позволяет сохранять точность модели при значительном сокращении количества параметров.

Традиционные методы «однократного» прунинга, такие как Wanda или SparseGPT, часто игнорируют тот факт, что разные слои трансформеров вносят неодинаковый вклад в итоговый результат. PALS решает эту проблему, анализируя распределение весов и активаций, и корректирует степень разреженности каждого слоя в пределах ±5% от целевого показателя. Это обеспечивает более гибкую настройку модели, минимизируя деградацию качества после удаления весов.

В ходе экспериментов на модели LLaMA-2-7B при достижении 50% разреженности метод PALS продемонстрировал существенное преимущество перед стандартными алгоритмами. Использование адаптивного подхода позволяет эффективнее сжимать модели для их последующего запуска на устройствах с ограниченными вычислительными ресурсами, сохраняя при этом высокую производительность на задачах обработки естественного языка.

Ключевые факты

  • Метод PALS адаптирует уровень разреженности (sparsity) для каждого слоя индивидуально, основываясь на 99-м перцентиле амплитуд активаций.
  • Алгоритм ограничивает отклонение коэффициента разреженности каждого слоя в пределах ±5% от заданного целевого значения.
  • При тестировании на LLaMA-2-7B с 50% разреженностью PALS показал улучшение метрик качества по сравнению с методами Wanda и SparseGPT.
  • Технология направлена на оптимизацию LLM для инференса, позволяя снизить требования к памяти и вычислительной мощности без критической потери точности.