Исследователи предложили метод борьбы с катастрофическим забыванием в нейросетях, основанный на анализе энтропии Больцмана. В отличие от стандартных метрик обучения, новый подход фокусируется на поиске решений, занимающих большие объемы в пространстве параметров. Это позволяет моделям сохранять стабильность при дообучении, предотвращая деградацию ранее усвоенных знаний и обеспечивая более устойчивые представления данных.
Традиционные методы оптимизации часто приводят нейронные сети к узким локальным минимумам, которые крайне чувствительны к изменениям в данных. Авторы работы доказывают, что «гроккинг» (grokking) — процесс внезапного улучшения обобщающей способности модели после длительного переобучения — напрямую связан с поиском состояний, обладающих более высокой энтропией. Такие состояния соответствуют более широким и плоским областям в ландшафте потерь, что делает модель менее склонной к резкой потере навыков при смене домена.
Использование принципов статистической механики для оценки весов модели позволяет предсказывать, насколько устойчивым будет обучение. Вместо того чтобы полагаться исключительно на точность на тестовой выборке, разработчики могут количественно оценивать «объем» найденного решения. Это открывает путь к созданию более надежных систем, способных к непрерывному обучению без необходимости хранения огромных массивов исторических данных для предотвращения забывания.
Ключевые факты
- Метод использует энтропию Больцмана для оценки объема, занимаемого решением в пространстве параметров нейросети.
- Исследование подтверждает, что решения с большей энтропией демонстрируют лучшую обобщающую способность и устойчивость к катастрофическому забыванию.
- Авторы связывают феномен гроккинга с переходом модели в состояния равновесия, которые менее подвержены деградации при дообучении.
- Предложенный подход позволяет оценивать надежность представлений модели вне зависимости от стандартных метрик точности.