Исследователи доказали, что стандартные метрики оценки квантованных моделей, такие как перплексия и точность, не отражают реальных изменений в поведении нейросетей. Авторы работы предложили новую метрику «correctness agreement», которая отслеживает совпадение правильных ответов между базовой и сжатой моделями, выявляя скрытые деградации в логике и принятии решений, которые остаются незамеченными при обычном тестировании.
Традиционные методы оптимизации LLM для работы на ограниченных ресурсах опираются на показатели, которые усредняют производительность, скрывая локальные ошибки. В статье демонстрируется, что даже при сохранении высокого уровня точности квантованная модель может начать ошибаться в задачах, с которыми успешно справлялась исходная версия. Это создает «иллюзию эквивалентности», когда модель кажется работоспособной, но теряет надежность в специфических сценариях.
Новый подход позволяет более точно оценивать влияние методов сжатия на когнитивные способности моделей. Использование предложенной метрики дает возможность разработчикам лучше понимать, как именно квантование искажает внутренние представления данных, и выбирать оптимальные параметры сжатия, минимизируя риск непредсказуемого поведения в продакшн-средах.
Ключевые факты
- Стандартные метрики (перплексия и точность) не способны зафиксировать поведенческие сдвиги после квантования.
- Предложена метрика «correctness agreement» для измерения совпадения правильных ответов между исходной и сжатой моделями.
- Квантование вызывает изменения в принятии решений на уровне отдельных токенов, которые не видны в агрегированной статистике.
- Исследование подчеркивает необходимость перехода от простых бенчмарков к анализу согласованности ответов при оценке сжатых моделей.