arXiv · 23.07.2026 ·Обучение и дообучение

KroQuant: новый метод квантования диффузионных трансформеров

Исследователи представили KroQuant — метод квантования диффузионных трансформеров (DiTs) до формата W4A4, решающий проблему потери качества при сжатии моделей. Использование блочных преобразований Кронекера позволяет эффективно обрабатывать выбросы в активациях, которые обычно препятствуют точному 4-битному представлению данных, обеспечивая высокую производительность при значительном снижении требований к вычислительным ресурсам и памяти.

Стандартные подходы к пост-тренировочному квантованию (PTQ) часто сталкиваются с деградацией вывода из-за специфики распределения активаций в линейных слоях трансформеров. KroQuant внедряет обратимые линейные преобразования, которые адаптируются к структуре нейронной сети, минимизируя ошибки округления. Метод учитывает наличие слоев нормализации, которые ранее ограничивали применение подобных трансформаций, позволяя сохранять высокую точность генерации изображений даже при экстремальном сжатии весов и активаций.

Технология ориентирована на оптимизацию тяжелых диффузионных моделей, что критически важно для их развертывания на устройствах с ограниченными аппаратными мощностями. Благодаря структурной эффективности преобразований Кронекера, метод снижает вычислительную сложность процесса квантования, сохраняя при этом визуальное качество, сопоставимое с полноразмерными моделями.

Ключевые факты

Метод KroQuant оптимизирует диффузионные трансформеры до формата W4A4 (4-битные веса и активации).
Использование блочных преобразований Кронекера позволяет эффективно компенсировать влияние выбросов в активациях.
Решение устраняет ограничения, накладываемые слоями нормализации на стандартные методы PTQ.
Подход значительно снижает требования к памяти и вычислительной мощности при сохранении высокого качества генерации.
Исследование направлено на ускорение инференса тяжелых генеративных моделей в условиях ограниченных ресурсов.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Машинное обучение OrbitQuant: новый метод квантования для диффузионных трансформеров Исследователи представили OrbitQuant — метод посттренировочного квантования (PTQ), оптимизирующий работу диффузионных трансформеров (DiT) без необходимости подстройки под конкретные данные. Решение устраняет проблему нестабильности активаций при смене временных шагов и промптов, позволяя значительно ускорить инференс тяжелых моделей для генерации изображений и видео без потери качества и переобучения под каждую новую архитектуру. arXiv · Машинное обучение Ускорение квантовых автокодировщиков для анализа данных в физике высоких энергий Исследователи предложили метод аппаратного ускорения квантовых автокодировщиков для обнаружения аномалий в реальном времени в экспериментах на коллайдерах. Использование квантового машинного обучения позволяет эффективнее обрабатывать многомерные данные с высокой степенью корреляции, требуя при этом меньшего количества параметров по сравнению с классическими нейронными сетями, что критически важно для систем триггеров в физике высоких энергий. arXiv · Исследования и наука Исследование авторегрессионного дрейфа при синтезе квантовых схем Исследователи проанализировали проблему накопления ошибок при использовании трансформеров для синтеза квантовых схем. В работе показано, что авторегрессионные модели склонны к «дрейфу», который нарушает функциональную эквивалентность схем. Для решения задачи оптимизации ресурсов, таких как T-гейты, авторы использовали компактную модель на 44,8 млн параметров, протестировав её на параметризованных и Clifford+T схемах малой размерности. Lobsters · Инференс и железо Глубокий разбор методов квантования нейронных сетей Квантование стало ключевым методом оптимизации нейросетей, позволяющим сократить размер моделей и ускорить их работу без существенной потери точности. Статья подробно описывает переход от высокоточных вычислений с плавающей запятой к форматам с низкой разрядностью, таким как INT8, и объясняет математические принципы, лежащие в основе снижения вычислительной сложности при инференсе современных LLM. Hacker News · Инференс и железо Оптимизация деквантования NF4: новый Triton-ядро ускоряет работу моделей Разработчики представили новое ядро на языке Triton для деквантования весов формата NF4, которое обеспечивает прирост производительности в 1,41 раза по сравнению с популярной библиотекой bitsandbytes. Решение ориентировано на ускорение инференса больших языковых моделей, работающих в квантованном виде, и позволяет эффективнее использовать вычислительные ресурсы графических процессоров при выполнении операций с низкоразрядными весами. arXiv · Инфраструктура для агентов UltraQuant: оптимизация KV-кэша до 4 бит для работы с длинным контекстом Исследователи представили метод UltraQuant, направленный на решение проблемы нехватки памяти при работе с длинными контекстами в ИИ-агентах. Основная нагрузка в таких системах ложится на KV-кэш (Key-Value cache), который хранит промежуточные состояния модели. Использование 4-битного квантования позволяет значительно сократить объем занимаемой видеопамяти, сохраняя при этом точность генерации текста. Hacker News · Инференс и железо Метод Negative Squaring для 3-битной квантованности моделей Исследователи представили метод Negative Squaring, позволяющий проводить 3-битную квантованность весов нейросетей с качеством, превосходящим стандартное 4-битное сжатие. Техника использует предварительный наклон (pre-tilted) распределения весов, что минимизирует потери точности при экстремальном снижении разрядности. Это решение значительно сокращает требования к видеопамяти для запуска крупных языковых моделей на потребительском оборудовании. Lobsters · Инференс и железо TurboQuant ускоряет инференс моделей на 30% без потери точности Команда Baseten представила TurboQuant — метод оптимизации инференса, который ускоряет работу моделей на 30% без потери точности. Разработчики провели 31 час на математических выкладках, чтобы создать алгоритм, который автоматически выбирает оптимальные параметры квантования для различных моделей. Это особенно важно для агентов, где скорость обработки запросов напрямую влияет на пользовательский опыт. Hacker News · Машинное обучение Законы масштабирования для обучения с учетом квантования Исследователи представили новые законы масштабирования (Scaling Laws), описывающие зависимость точности нейросетей от параметров при использовании обучения с учетом квантования (QAT). Работа доказывает, что при правильном подходе потери от снижения битности весов можно минимизировать, сохраняя предсказуемую производительность модели, что критически важно для эффективного развертывания LLM на устройствах с ограниченными вычислительными ресурсами. arXiv · Исследования и наука Квантование LLM меняет поведение моделей сильнее, чем показывают метрики точности Исследователи доказали, что стандартные метрики оценки квантованных моделей, такие как перплексия и точность, не отражают реальных изменений в поведении нейросетей. Авторы работы предложили новую метрику «correctness agreement», которая отслеживает совпадение правильных ответов между базовой и сжатой моделями, выявляя скрытые деградации в логике и принятии решений, которые остаются незамеченными при обычном тестировании.

← Все материалы