Исследователи представили метод Negative Squaring, позволяющий проводить 3-битную квантованность весов нейросетей с качеством, превосходящим стандартное 4-битное сжатие. Техника использует предварительный наклон (pre-tilted) распределения весов, что минимизирует потери точности при экстремальном снижении разрядности. Это решение значительно сокращает требования к видеопамяти для запуска крупных языковых моделей на потребительском оборудовании.

Квантование моделей до 3 бит традиционно сопровождается резким падением производительности из-за ошибок округления и потери информации в весах. Новый подход меняет способ представления данных, смещая распределение значений перед квантованием. Это позволяет эффективнее использовать доступный диапазон значений, сохраняя семантическую целостность модели при меньшем объеме занимаемой памяти.

Применение данной техники особенно актуально для локального инференса, где ограничение объема VRAM является основным препятствием для работы с современными LLM. Метод позволяет запускать более тяжелые модели на картах с меньшим объемом памяти без существенного ущерба для точности ответов, что делает локальный запуск доступнее для широкого круга задач.

Ключевые факты

  • Метод Negative Squaring обеспечивает более высокую точность, чем наивное 4-битное квантование.
  • Техника фокусируется на оптимизации распределения весов через предварительный наклон (pre-tilted) данных.
  • Подход позволяет существенно снизить требования к VRAM при сохранении качества генерации.
  • Решение ориентировано на оптимизацию инференса моделей с низким количеством бит на параметр.