arXiv · 06.08.2026 ·Машинное обучение

BaKron: новый метод квантования нейросетей через аппроксимацию Гессиана

Исследователи представили BaKron — метод эффективного квантования нейронных сетей, использующий аппроксимацию Гессиана в форме произведения Кронекера. В отличие от стандартных алгоритмов типа GPTQ, которые опираются преимущественно на входные активации, новый подход учитывает корреляции между выходными координатами. Это позволяет значительно повысить точность сжатых моделей при сохранении высокой вычислительной эффективности процесса квантования.

Традиционные методы адаптивного округления, такие как GPTQ, часто ограничиваются односторонней информацией, что может приводить к потере точности при сильном сжатии весов. Использование аппроксимаций Гессиана, факторизованных по Кронекеру, позволяет более точно моделировать геометрию функции потерь. Это дает возможность учитывать взаимосвязи между весами в выходных слоях, что критически важно для сохранения производительности больших языковых моделей после квантования.

Применение данного подхода позволяет оптимизировать процесс подготовки моделей к инференсу на устройствах с ограниченными ресурсами. Метод демонстрирует, что учет двусторонней информации о кривизне поверхности потерь позволяет достичь лучших результатов по сравнению с классическими методами адаптивного округления, не требуя при этом существенного увеличения вычислительных затрат на этапе конвертации весов.

Ключевые факты

BaKron использует аппроксимацию Гессиана через произведение Кронекера для более точного квантования.
Метод учитывает корреляции между выходными координатами, в отличие от стандартных подходов типа GPTQ.
Алгоритм направлен на минимизацию потерь точности при сжатии нейронных сетей.
Подход позволяет эффективнее использовать информацию о геометрии функции потерь при адаптивном округлении весов.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Обучение и дообучение KroQuant: новый метод квантования диффузионных трансформеров Исследователи представили KroQuant — метод квантования диффузионных трансформеров (DiTs) до формата W4A4, решающий проблему потери качества при сжатии моделей. Использование блочных преобразований Кронекера позволяет эффективно обрабатывать выбросы в активациях, которые обычно препятствуют точному 4-битному представлению данных, обеспечивая высокую производительность при значительном снижении требований к вычислительным ресурсам и памяти. arXiv · Машинное обучение GPTQ-2D: новый метод квантования весов нейросетей Исследователи представили метод GPTQ-2D, который оптимизирует процесс квантования весов LLM. В отличие от классического алгоритма GPTQ, работающего с односторонним округлением, новый подход применяет двухстороннее адаптивное округление с использованием базисных матриц. Это позволяет эффективнее минимизировать квадратичную ошибку при переводе весов модели в целочисленный формат, сохраняя точность при высокой степени сжатия. arXiv · Машинное обучение Асимметричная функция потерь повышает точность GNN в прогнозировании взаимодействий лекарств Исследователи представили метод улучшения графовых нейронных сетей (GNN) для предсказания побочных эффектов при приеме нескольких лекарств одновременно. Использование асимметричной функции потерь (Asymmetric Focal Loss) вместо стандартной бинарной кросс-энтропии позволяет модели эффективнее фокусироваться на сложных клинически значимых взаимодействиях, которые часто игнорируются при обучении на несбалансированных наборах данных. arXiv · Машинное обучение Новый метод оптимизации для нелинейных задач в машинном обучении Исследователи представили усовершенствованный метод Левенберга-Марквардта, использующий геометрические обновления высшего порядка через нормальные координаты Римана. Новый подход позволяет эффективнее справляться с кривизной параметров в нелинейных задачах наименьших квадратов, что критически важно для обучения физико-информированных нейронных сетей (PINN) и задач регрессии, где стандартные методы часто сталкиваются с ограничениями из-за высокой нелинейности. arXiv · Исследования и наука Новый подход к борьбе с катастрофическим забыванием через энтропию параметров Исследователи предложили метод борьбы с катастрофическим забыванием в нейросетях, основанный на анализе энтропии Больцмана. В отличие от стандартных метрик обучения, новый подход фокусируется на поиске решений, занимающих большие объемы в пространстве параметров. Это позволяет моделям сохранять стабильность при дообучении, предотвращая деградацию ранее усвоенных знаний и обеспечивая более устойчивые представления данных. arXiv · Машинное обучение Выпуклая аппроксимация для байесовских обратных задач на базе нейросетей Исследователи представили новый фреймворк для решения сложных байесовских обратных задач, объединяющий нейросетевое моделирование правдоподобия с методами выпуклой оптимизации. Подход позволяет преодолеть вычислительные ограничения классических методов, таких как марковские цепи Монте-Карло, обеспечивая эффективную работу в высокоразмерных пространствах, где традиционное моделирование физических процессов становится слишком затратным или неточным из-за неопределенности измерений. arXiv · Исследования и наука Новый подход к реконструкции генных регуляторных сетей с помощью глубоких вероятностных моделей Исследователи представили новый метод реконструкции генных регуляторных сетей (GRN), объединяющий глубокое обучение и вероятностное моделирование. Подход позволяет эффективнее связывать факторы транскрипции с целевыми генами, преодолевая ограничения традиционных эвристических методов выбора моделей и неполноты эталонных данных, что критически важно для анализа сложных биологических систем и понимания механизмов экспрессии генов на основе полногеномных данных. Hacker News · Исследования и наука Новый подход к интерпретируемости нейросетей через блочно-разреженные признаки Исследователи Goodfire представили метод анализа нейронной геометрии в моделях компьютерного зрения, использующий блочно-разреженные признаки (Block-Sparse Featurizers). Подход позволяет декомпозировать сложные представления моделей на интерпретируемые компоненты. Это дает возможность точнее понимать, как именно нейросети классифицируют объекты, и открывает пути для более эффективного управления поведением моделей без необходимости их полного переобучения. arXiv · Машинное обучение Энтропийная кривизна как новый метод борьбы с проблемами GNN Исследователи представили метод «энтропийной кривизны» (Entropic Curvature) для графовых нейронных сетей (GNN). В отличие от существующих подходов, опирающихся на локальные метрики, таких как кривизна Оливье-Риччи или Формана, новый метод позволяет анализировать глобальное распространение информации в графах. Это решение помогает эффективно бороться с фундаментальными ограничениями архитектур GNN, включая эффекты чрезмерного сглаживания и «сжатия» данных. arXiv · Исследования и наука Новый подход к оптимизации нейронных декодеров для квантовых вычислений Исследователи представили метод повышения эффективности фундаментальных нейронных декодеров, критически важных для отказоустойчивых квантовых вычислений. Предложенный подход решает проблему масштабируемости при работе с большими кодовыми расстояниями, значительно снижая вычислительные затраты на генерацию синдромов и оптимизацию нейронных сетей. Это открывает путь к более надежной коррекции ошибок в крупномасштабных квантовых системах.

← Все материалы