Hugging Face - Blog · 22.07.2026 ·Инференс и железо

Интеграция метода Nunchaku для 4-битного инференса диффузионных моделей в Diffusers

Библиотека Diffusers теперь поддерживает метод Nunchaku, позволяющий выполнять инференс диффузионных моделей в 4-битном квантовании. Это решение существенно снижает требования к видеопамяти при сохранении высокого качества генерации изображений. Интеграция упрощает развертывание тяжелых моделей на потребительском оборудовании, делая процесс генерации более доступным и эффективным для локальных сред и агентных систем.

Метод Nunchaku основан на технике квантования весов, которая минимизирует потери точности при сжатии модели до 4 бит. В отличие от стандартных подходов, этот метод оптимизирован специально для архитектур диффузионных моделей, что позволяет достичь баланса между скоростью работы и визуальным качеством выходных данных. Разработчики могут использовать этот инструмент для ускорения пайплайнов генерации контента без необходимости в дорогостоящих серверных GPU.

Поддержка в Diffusers реализована через интеграцию с библиотекой `optimum-quanto`, что обеспечивает бесшовную работу с существующими весами моделей. Пользователи могут применять квантование как к базовым моделям, так и к их дообученным версиям (LoRA), что расширяет возможности кастомизации при ограниченных аппаратных ресурсах. Это обновление является важным шагом для оптимизации инференса в реальном времени.

Ключевые факты

Метод Nunchaku обеспечивает 4-битное квантование весов для диффузионных моделей, снижая потребление VRAM.
Интеграция реализована в библиотеке Diffusers с использованием инструментов `optimum-quanto`.
Технология позволяет запускать сложные генеративные модели на видеокартах с меньшим объемом памяти без существенной деградации качества.
Поддерживается работа с LoRA-адаптерами, что сохраняет гибкость настройки моделей после квантования.

Источник: Hugging Face - Blog

Обсудить с ИИ

Похожие материалы

Hugging Face - Blog · Обучение и дообучение Масштабируемое дообучение моделей NVIDIA NeMo и Hugging Face Diffusers NVIDIA и Hugging Face представили интеграцию библиотеки NeMo с фреймворком Diffusers, позволяющую эффективно дообучать генеративные модели для работы с изображениями и видео. Решение ориентировано на крупномасштабные задачи, обеспечивая высокую производительность при работе с большими наборами данных и распределенными вычислительными мощностями, что значительно упрощает процесс адаптации моделей под специфические бизнес-задачи и визуальные стили. NVIDIA Technical Blog · Инференс и железо Оптимизация NVIDIA Nemotron-3 с использованием формата NVFP4 NVIDIA представила метод оптимизации больших языковых моделей с использованием формата NVFP4, реализованный через NVIDIA Model Optimizer. Этот подход позволяет значительно сократить объем весов модели Nemotron-3 8B, сохраняя при этом высокую точность инференса. Технология направлена на повышение эффективности работы моделей с длинным контекстом, где передача весов становится критическим узким местом для производительности системы. Hacker News · Инференс и железо Оптимизация деквантования NF4: новый Triton-ядро ускоряет работу моделей Разработчики представили новое ядро на языке Triton для деквантования весов формата NF4, которое обеспечивает прирост производительности в 1,41 раза по сравнению с популярной библиотекой bitsandbytes. Решение ориентировано на ускорение инференса больших языковых моделей, работающих в квантованном виде, и позволяет эффективнее использовать вычислительные ресурсы графических процессоров при выполнении операций с низкоразрядными весами. Hacker News · Инференс и железо Оптимизация инференса моделей через формат NVFP4 Компания Cohere представила обновленную версию своей модели North Mini Code, оптимизированную для работы с использованием нового формата данных NVFP4. Технология позволяет значительно повысить производительность инференса при сохранении исходного качества генерации кода. Использование этого формата обеспечивает ускорение вычислений в 1,65 раза по сравнению со стандартным форматом FP8, при этом потребление видеопамяти снижается на 40%. Hacker News · Машинное обучение NVFP4: новый подход к обучению моделей с 4-битной точностью Исследователи представили метод NVFP4 (NVIDIA Floating Point 4), оптимизирующий обучение нейросетей с использованием 4-битной точности. Технология решает проблему нестабильности градиентов при экстремальном квантовании, позволяя значительно снизить требования к памяти и ускорить вычисления без существенной потери качества моделей. Это открывает возможности для более эффективного обучения крупных архитектур на ограниченном аппаратном обеспечении. NVIDIA Technical Blog · Инференс и железо Квантование моделей для ускоренного инференса на NVIDIA TensorRT NVIDIA представила новый подход к квантованию моделей, позволяющий превращать FP8-чекпоинты в высокопроизводительные инференс-движки с использованием TensorRT. Этот метод оптимизирует модели для работы на графических процессорах, что особенно важно для разработчиков ИИ-агентов, где скорость и эффективность вычислений играют ключевую роль. Hacker News · Инференс и железо Оптимизация инференса: объединение шагов декодирования 27B модели в один CUDA-ядро Исследователи представили метод оптимизации инференса для 27-миллиардных тернарных LLM, объединяющий весь процесс декодирования в единое CUDA-ядро. Это решение радикально снижает накладные расходы на передачу данных между памятью и вычислительными блоками GPU, позволяя значительно увеличить пропускную способность и скорость генерации токенов при сохранении высокой точности работы квантованных моделей на потребительском и серверном железе. arXiv · Инференс и железо Оптимизация INT8 вычислений для диффузионных трансформеров на потребительских GPU Исследователи из Ideogram представили новый подход к оптимизации инференса диффузионных трансформеров на потребительских GPU. В статье, опубликованной на arXiv, они показывают, что посттрейнинговая квантование в INT8 (W8A8) часто оказывается медленнее, чем альтернативы в FP8 и NF4, несмотря на ожидания. Это связано с тем, что в текущих реализациях веса и активации квантуются только для того, чтобы сразу же деквантоваться обратно в bf16 и выполнять матричное умножение в этом формате. NVIDIA Technical Blog · Инференс и железо Оптимизация инференса DiffusionGemma на графических процессорах NVIDIA NVIDIA представила рекомендации по запуску модели DiffusionGemma, направленные на повышение производительности генерации текста в реальном времени. Основной акцент сделан на устранении задержек при посимвольном выводе, что критически важно для работы чат-ботов, копайлотов и сложных агентных систем. Использование специализированных библиотек и методов оптимизации позволяет значительно увеличить пропускную способность инференса на аппаратном обеспечении компании. Hacker News · Инференс и железо Ускорение инференса блочных низкоранговых моделей на GPU с ограниченной памятью Исследователи представили метод оптимизации инференса для блочных низкоранговых (BLR) моделей, позволяющий значительно снизить требования к видеопамяти при сохранении точности вычислений. Технология ориентирована на работу с крупными нейросетями на GPU с ограниченными ресурсами, обеспечивая ускорение обработки данных за счет эффективного управления матричными операциями и снижения объема передаваемой информации между памятью и вычислительными ядрами.

← Все материалы