arXiv · 29.07.2026 ·Машинное обучение

GPTQ-2D: новый метод квантования весов нейросетей

Исследователи представили метод GPTQ-2D, который оптимизирует процесс квантования весов LLM. В отличие от классического алгоритма GPTQ, работающего с односторонним округлением, новый подход применяет двухстороннее адаптивное округление с использованием базисных матриц. Это позволяет эффективнее минимизировать квадратичную ошибку при переводе весов модели в целочисленный формат, сохраняя точность при высокой степени сжатия.

Традиционные методы квантования, такие как GPTQ, обрабатывают элементы матрицы последовательно, передавая ошибку округления через треугольную матрицу обратной связи. Метод GPTQ-2D расширяет эту концепцию, вводя невырожденные базисные матрицы, которые действуют с обеих сторон весовой матрицы. Такой подход обеспечивает более гибкую настройку параметров и позволяет точнее аппроксимировать исходные веса в условиях ограниченных вычислительных ресурсов.

Разработка направлена на решение проблемы деградации качества моделей при их квантовании до низких битовых представлений. Использование двухстороннего подхода позволяет лучше учитывать взаимосвязи между весами, что критически важно для сохранения производительности больших языковых моделей при их запуске на потребительском «железе» или специализированных ускорителях с поддержкой целочисленных операций.

Ключевые факты

Метод GPTQ-2D основан на двухстороннем адаптивном округлении весовых матриц.
Алгоритм использует невырожденные базисные матрицы для минимизации ошибки квантования.
Метод является развитием классического алгоритма GPTQ, который эквивалентен алгоритму ближайшей плоскости Бабая.
Технология позволяет повысить точность сжатых моделей за счет более эффективного распределения ошибок округления.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Машинное обучение Законы масштабирования для обучения с учетом квантования Исследователи представили новые законы масштабирования (Scaling Laws), описывающие зависимость точности нейросетей от параметров при использовании обучения с учетом квантования (QAT). Работа доказывает, что при правильном подходе потери от снижения битности весов можно минимизировать, сохраняя предсказуемую производительность модели, что критически важно для эффективного развертывания LLM на устройствах с ограниченными вычислительными ресурсами. arXiv · Инференс и железо LogbQuant: новый метод логарифмической квантования для оптимизации LLM Исследователи представили метод LogbQuant, который переводит квантование языковых моделей в логарифмическое пространство. В отличие от традиционных подходов с равномерным распределением весов, этот метод эффективнее обрабатывает высокоамплитудные веса с низкой частотой появления. Это позволяет значительно снизить требования к памяти и ускорить инференс моделей на потребительском оборудовании и edge-устройствах без существенной потери точности. Hacker News · Инференс и железо Метод Negative Squaring для 3-битной квантованности моделей Исследователи представили метод Negative Squaring, позволяющий проводить 3-битную квантованность весов нейросетей с качеством, превосходящим стандартное 4-битное сжатие. Техника использует предварительный наклон (pre-tilted) распределения весов, что минимизирует потери точности при экстремальном снижении разрядности. Это решение значительно сокращает требования к видеопамяти для запуска крупных языковых моделей на потребительском оборудовании. arXiv · Исследования и наука Оптимизация квантовых ядер в задачах обучения с подкреплением Исследователи представили новый подход к оптимизации в рамках гауссовских процессов (GP) с использованием квантовых ядер. Работа фокусируется на поиске баланса между выразительностью модели и её обучаемостью в условиях ограниченных вычислительных ресурсов эпохи NISQ. Метод позволяет эффективнее решать задачи квантового контроля и подготовки состояний, минимизируя вычислительные затраты при сохранении высокой точности предсказаний в пространстве воспроизводящего ядра (RKHS). Lobsters · Оценка и бенчмарки Комплексный подход к оценке квантованных LLM для продакшена Статья анализирует ограничения стандартных метрик при оценке квантованных моделей, предназначенных для реального развертывания. Авторы доказывают, что использование одного показателя точности недостаточно для понимания деградации качества. Вместо этого предлагается многоуровневая методология тестирования, учитывающая влияние сжатия весов на логику рассуждений, генерацию кода и устойчивость ответов в специфических сценариях использования. arXiv · Исследования и наука Решение проблемы «бесплодных плато» в квантовом машинном обучении Исследователи предложили новый подход к архитектуре квантовых нейронных сетей, основанный на динамических алгебрах Ли. Метод позволяет преодолеть фундаментальный парадокс квантового машинного обучения, где повышение выразительной способности модели неизбежно ведет к возникновению «бесплодных плато» (barren plateaus), делающих обучение градиентным спуском практически невозможным. Новая математическая база обеспечивает стабильную сходимость при масштабировании квантовых систем. arXiv · Инфраструктура для агентов GSRQ: новый метод сжатия KV-кэша до уровня ниже 1 бита Исследователи представили метод Gain-Shape Residual Quantization (GSRQ), позволяющий сжимать KV-кэш в больших языковых моделях до значений менее 1 бита на параметр. Технология решает проблему линейного роста потребления памяти при увеличении контекстного окна, сохраняя при этом высокую точность генерации за счет раздельного кодирования амплитуды и формы векторов активаций. arXiv · Исследования и наука Квантование LLM меняет поведение моделей сильнее, чем показывают метрики точности Исследователи доказали, что стандартные метрики оценки квантованных моделей, такие как перплексия и точность, не отражают реальных изменений в поведении нейросетей. Авторы работы предложили новую метрику «correctness agreement», которая отслеживает совпадение правильных ответов между базовой и сжатой моделями, выявляя скрытые деградации в логике и принятии решений, которые остаются незамеченными при обычном тестировании. Lobsters · Инференс и железо Глубокий разбор методов квантования нейронных сетей Квантование стало ключевым методом оптимизации нейросетей, позволяющим сократить размер моделей и ускорить их работу без существенной потери точности. Статья подробно описывает переход от высокоточных вычислений с плавающей запятой к форматам с низкой разрядностью, таким как INT8, и объясняет математические принципы, лежащие в основе снижения вычислительной сложности при инференсе современных LLM. Hacker News · Машинное обучение Основы квантования больших языковых моделей Квантование стало ключевым методом оптимизации нейросетей, позволяющим запускать тяжелые модели на потребительском оборудовании. Процесс заключается в снижении точности весов модели, например, с 16-битных чисел с плавающей запятой до 8-битных или 4-битных целых чисел. Это радикально сокращает объем занимаемой оперативной памяти и ускоряет инференс при минимальной потере качества генерации.

← Все материалы