Исследователи представили новые законы масштабирования (Scaling Laws), описывающие зависимость точности нейросетей от параметров при использовании обучения с учетом квантования (QAT). Работа доказывает, что при правильном подходе потери от снижения битности весов можно минимизировать, сохраняя предсказуемую производительность модели, что критически важно для эффективного развертывания LLM на устройствах с ограниченными вычислительными ресурсами.

Авторы статьи анализируют, как именно процесс квантования влияет на сходимость модели в процессе обучения. В отличие от стандартного пост-тренировочного квантования (PTQ), которое часто приводит к деградации качества, QAT позволяет модели адаптироваться к низкобитному представлению данных еще на этапе формирования весов. Исследование предлагает математическую модель, позволяющую заранее оценить, сколько вычислительных мощностей потребуется для достижения целевой точности при заданном уровне сжатия.

Полученные результаты позволяют разработчикам точнее планировать ресурсы для дообучения моделей под конкретное «железо». Это снижает неопределенность при переходе от полноразмерных моделей к компактным версиям, предназначенным для инференса на периферийных устройствах или специализированных ускорителях, где каждый бит памяти имеет значение.

Ключевые факты

  • Исследование формализует зависимость между количеством параметров, объемом обучающих данных и точностью модели в условиях квантования.
  • Предложенная методология позволяет предсказывать итоговую ошибку (loss) модели до начала процесса обучения.
  • Работа демонстрирует, что при достаточном масштабировании QAT-модели практически не уступают по качеству своим FP16-аналогам.
  • Результаты применимы для оптимизации моделей при переходе к форматам 4-бит и ниже без существенной потери производительности.