Исследователи представили BiSCo-LLM — метод сжатия больших языковых моделей, который позволяет достичь экстремально низких значений бит на параметр без использования таблиц поиска (lookup-free). Технология решает проблему деградации качества при квантовании ниже 2 бит, предлагая эффективную альтернативу традиционным скалярным и групповым методам, что критически важно для развертывания тяжелых моделей на устройствах с ограниченной памятью.

Существующие подходы к квантованию часто сталкиваются с потерей точности при попытке радикально сократить размер весов. BiSCo-LLM использует бинарное сферическое кодирование, которое перераспределяет веса в пространстве признаков, сохраняя репрезентативную способность модели даже при крайне сжатых параметрах. Это позволяет значительно снизить требования к пропускной способности памяти и объему хранилища для чекпоинтов без необходимости в сложных вычислительных операциях при инференсе.

Метод ориентирован на оптимизацию инфраструктуры развертывания, где критически важна экономия ресурсов. В отличие от многих других техник сжатия, BiSCo-LLM не требует дополнительных этапов поиска значений, что упрощает интеграцию в существующие низкоуровневые ядра вычислений. Это открывает возможности для запуска более мощных моделей на периферийных устройствах и снижения затрат на хостинг в облачных средах.

Ключевые факты

  • Метод BiSCo-LLM исключает использование таблиц поиска (lookup-free), что упрощает аппаратную реализацию.
  • Технология направлена на решение проблем нехватки памяти и пропускной способности при развертывании LLM.
  • Метод эффективно работает в условиях экстремально низкого бюджета — менее 2 бит на параметр.
  • Подход позволяет сохранить высокую точность модели при значительном уменьшении размера весов по сравнению с классическим скалярным квантованием.