Hacker News · 03.08.2026 ·Машинное обучение

Квантование моделей: нелинейная деградация знаний на примере Qwen2.5 72B

Исследование влияния квантования на производительность LLM показывает, что снижение точности весов приводит к нелинейной потере знаний. Анализ модели Qwen2.5 72B выявил, что при переходе к низким битовым форматам (4-bit и ниже) модель начинает терять специфические фактологические данные быстрее, чем общие способности к рассуждению, что критично для RAG-систем и специализированных бизнес-приложений.

Авторы работы проанализировали, как различные методы сжатия влияют на способность модели извлекать точную информацию из своих внутренних весов. Выяснилось, что деградация знаний происходит неравномерно: некоторые области знаний «стираются» значительно раньше других при одинаковом уровне квантования. Это создает риски для компаний, использующих сжатые модели для задач, требующих высокой фактологической точности, так как стандартные бенчмарки на логику могут не отражать реальную потерю экспертных данных.

Результаты подчеркивают необходимость тщательного тестирования моделей после квантования, особенно в сценариях, где модель выступает в роли базы знаний. Использование методов сжатия требует баланса между экономией ресурсов и сохранением критически важной информации, так как даже незначительное снижение точности весов может привести к галлюцинациям в специфических доменах.

Ключевые факты

Исследование сфокусировано на модели Qwen2.5 72B, демонстрирующей нелинейную потерю знаний при квантовании.
При переходе к форматам ниже 4-bit наблюдается резкое падение фактологической точности, опережающее снижение общих когнитивных способностей.
Квантование неравномерно затрагивает различные пласты знаний, что делает поведение модели непредсказуемым в узкоспециализированных задачах.
Авторы рекомендуют проводить стресс-тестирование моделей на специфических для бизнеса данных после применения методов сжатия.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Оценка и бенчмарки Влияние квантования на точность моделей Qwen 2.5 Исследование компании Quesma анализирует, как различные методы квантования влияют на производительность и качество ответов модели Qwen 2.5 32B. Авторы проверяют гипотезу о деградации логических способностей при сжатии весов, сравнивая результаты на стандартных бенчмарках. Выяснилось, что выбор формата квантования критически важен для сохранения точности при работе с длинным контекстом и сложными инструкциями. arXiv · Исследования и наука Законы масштабирования надежности для квантованных LLM Исследователи проанализировали, как квантование весов влияет на устойчивость больших языковых моделей к искаженным входным данным. Несмотря на сохранение высокой точности на стандартных бенчмарках, квантованные модели демонстрируют специфические закономерности деградации при работе с зашумленными промптами. Работа предлагает новые метрики надежности, позволяющие предсказывать поведение моделей при снижении разрядности параметров, что критично для внедрения компактных систем в реальные условия. Lobsters · Оценка и бенчмарки Комплексный подход к оценке квантованных LLM для продакшена Статья анализирует ограничения стандартных метрик при оценке квантованных моделей, предназначенных для реального развертывания. Авторы доказывают, что использование одного показателя точности недостаточно для понимания деградации качества. Вместо этого предлагается многоуровневая методология тестирования, учитывающая влияние сжатия весов на логику рассуждений, генерацию кода и устойчивость ответов в специфических сценариях использования. arXiv · Исследования и наука Квантование LLM меняет поведение моделей сильнее, чем показывают метрики точности Исследователи доказали, что стандартные метрики оценки квантованных моделей, такие как перплексия и точность, не отражают реальных изменений в поведении нейросетей. Авторы работы предложили новую метрику «correctness agreement», которая отслеживает совпадение правильных ответов между базовой и сжатой моделями, выявляя скрытые деградации в логике и принятии решений, которые остаются незамеченными при обычном тестировании. arXiv · Машинное обучение Исследование: риски методов сжатия моделей при реальном развертывании Исследователи проанализировали влияние методов разреживания (sparsification) и сжатия нейросетей на их поведение в реальных условиях эксплуатации. Выяснилось, что популярные подходы, такие как гипотеза «лотерейных билетов», часто демонстрируют нестабильные результаты. В отличие от лабораторных тестов, при фиксированной логике принятия решений сжатые модели могут терять точность и надежность, что критично для промышленного внедрения ИИ-систем. Hacker News · Машинное обучение Законы масштабирования для обучения с учетом квантования Исследователи представили новые законы масштабирования (Scaling Laws), описывающие зависимость точности нейросетей от параметров при использовании обучения с учетом квантования (QAT). Работа доказывает, что при правильном подходе потери от снижения битности весов можно минимизировать, сохраняя предсказуемую производительность модели, что критически важно для эффективного развертывания LLM на устройствах с ограниченными вычислительными ресурсами. Hacker News · Исследования и наука Сжатие LLM: почему высокая точность не гарантирует безопасность ответов Исследователи обнаружили, что методы сжатия LLM, такие как квантование и прунинг, позволяют моделям сохранять высокую точность на стандартных бенчмарках, но при этом провоцируют рост галлюцинаций. Даже при прохождении автоматических проверок качества сжатые модели начинают чаще выдумывать факты, что ставит под сомнение надежность оптимизированных систем в критических сценариях использования. Hacker News · Оценка и бенчмарки Анализ производительности модели Qwen 27B в реальных задачах Автор блога Barajas подверг сомнению статус модели Qwen 27B как «золотой середины» между компактными и флагманскими LLM. Несмотря на высокие показатели в синтетических бенчмарках, практическое тестирование выявило существенные ограничения модели в сложных логических задачах и при работе с длинным контекстом, что делает её менее эффективной альтернативой более крупным моделям для продакшн-задач. arXiv · Исследования и наука Исследование влияния KV-кэша на точность генерации LLM Исследователи проанализировали механизм работы KV-кэша в моделях семейства Qwen2.5, изучив влияние повторного использования промежуточных состояний на итоговый результат генерации. Эксперимент показал, что при реконструкции токенов через «stage-replay» возникают расхождения в предсказаниях по сравнению с полным пересчетом префикса. Это ставит под сомнение точность стандартных методов кэширования при выполнении сложных логических цепочек. arXiv · Машинное обучение GPTQ-2D: новый метод квантования весов нейросетей Исследователи представили метод GPTQ-2D, который оптимизирует процесс квантования весов LLM. В отличие от классического алгоритма GPTQ, работающего с односторонним округлением, новый подход применяет двухстороннее адаптивное округление с использованием базисных матриц. Это позволяет эффективнее минимизировать квадратичную ошибку при переводе весов модели в целочисленный формат, сохраняя точность при высокой степени сжатия.

← Все материалы