Исследователи представили метод CACHE-UK, решающий проблему деградации знаний при последовательном обновлении квантованных LLM. В динамичных финансовых средах модели часто теряют точность после внесения правок в 4-битные веса. Новый подход позволяет эффективно редактировать память модели, сохраняя стабильность и фактическую достоверность данных без необходимости полной переобучки системы при изменении рыночных условий или нормативных требований.

Традиционные методы редактирования весов в сжатых моделях часто приводят к катастрофическому забыванию, когда новые данные вытесняют критически важную информацию. CACHE-UK использует механизм оценки стабильности, который определяет, какие параметры можно безопасно изменять, а какие должны оставаться неизменными для поддержания общей производительности. Это критически важно для финансовых организаций, где актуальность данных напрямую влияет на качество принимаемых решений.

Технология ориентирована на развертывание в условиях ограниченных вычислительных ресурсов, где использование полноразмерных моделей экономически нецелесообразно. Метод позволяет поддерживать актуальность базы знаний модели в режиме реального времени, что минимизирует риск галлюцинаций при работе с постоянно меняющимися корпоративными отчетами и регуляторными актами.

Ключевые факты

  • CACHE-UK разработан специально для 4-битных квантованных моделей, работающих в высокодинамичных финансовых средах.
  • Метод предотвращает катастрофическое забывание, возникающее при последовательном редактировании весов сжатых LLM.
  • Алгоритм внедряет механизм «стабильности-осознанности» (stability-aware), который защищает ключевые параметры модели от деградации при обновлении знаний.
  • Решение позволяет поддерживать актуальность фактов в модели без необходимости проведения дорогостоящего дообучения (fine-tuning) на каждом этапе обновления данных.