Разработчики представили новое ядро на языке Triton для деквантования весов формата NF4, которое обеспечивает прирост производительности в 1,41 раза по сравнению с популярной библиотекой bitsandbytes. Решение ориентировано на ускорение инференса больших языковых моделей, работающих в квантованном виде, и позволяет эффективнее использовать вычислительные ресурсы графических процессоров при выполнении операций с низкоразрядными весами.

Квантование формата NF4 (4-битное нормализованное число с плавающей запятой) является стандартом для эффективного запуска LLM на потребительском и серверном оборудовании с ограниченным объемом видеопамяти. Использование Triton позволяет писать высокопроизводительный код для GPU, минуя сложности написания низкоуровневых CUDA-ядер, что делает подобные оптимизации более доступными для интеграции в существующие фреймворки инференса.

Данная реализация фокусируется на устранении узких мест при распаковке весов «на лету» в процессе вычислений. Ускорение деквантования напрямую влияет на общую скорость генерации токенов, особенно в сценариях, где пропускная способность памяти является ограничивающим фактором. Инструмент может быть интегрирован в пайплайны, использующие 4-битные веса для снижения требований к VRAM без существенной потери точности модели.

Ключевые факты

  • Прирост скорости деквантования составляет 1,41x по сравнению с реализацией в bitsandbytes.
  • Реализация выполнена на языке Triton, что упрощает поддержку и модификацию кода для различных архитектур GPU.
  • Ядро оптимизировано для работы с форматом NF4, широко используемым в методах квантования QLoRA.
  • Решение предназначено для снижения задержек при инференсе моделей, работающих в сжатом 4-битном формате.