Исследователи предложили новую теоретическую модель для объяснения эмерджентных свойств больших языковых моделей через призму физики конденсированного состояния. Авторы работы описывают процесс обучения как реорганизацию плотности состояний во временной шкале, что позволяет моделям формировать устойчивые «когнитивные поля» и эффективно минимизировать забывание информации за счет накопления медленных релаксационных мод в инфракрасном спектре.
В основе исследования лежит концепция «инфракрасной организации» динамики трансформеров. Ученые утверждают, что в процессе тренировки веса модели перестраиваются таким образом, чтобы максимизировать самоэнергию памяти. Это позволяет системе удерживать долгосрочные зависимости, которые ранее считались случайными артефактами обучения, а теперь интерпретируются как физически обоснованное формирование когнитивных структур.
Данный подход предлагает математический аппарат для анализа того, как именно архитектура трансформера «сжимает» данные и формирует внутренние представления. Вместо эмпирического наблюдения за поведением моделей, теория когнитивных полей позволяет предсказывать моменты возникновения новых способностей, опираясь на спектральные характеристики динамики обучения и изменение временных масштабов обработки информации внутри слоев нейросети.
Ключевые факты
- Теория когнитивных полей связывает динамику обучения LLM с физическими процессами накопления медленных релаксационных мод.
- Реорганизация плотности состояний (TDOS) во временной шкале напрямую коррелирует с уменьшением когнитивного разрыва при забывании данных.
- Увеличение самоэнергии памяти позволяет моделям эффективнее сохранять контекстные зависимости в процессе масштабирования.
- Исследование предлагает новый аналитический метод для понимания эмерджентных способностей, выходящий за рамки стандартного статистического анализа весов.