LLM как ассоциативная память: новый взгляд на логические рассуждения

Исследователи представили новую теоретическую модель, рассматривающую большие языковые модели не как простые авторегрессионные генераторы, а как высокоразмерные ассоциативные памяти. Авторы доказывают, что цепочки логических рассуждений соответствуют глубоким аттракторам в энергетическом ландшафте модели. Использование минимизации энергии по Гиббсу позволяет извлекать скрытые паттерны мышления, что открывает новые пути для повышения точности и надежности ИИ в сложных математических задачах.

Традиционный подход к LLM фокусируется на предсказании следующего токена, что часто приводит к накоплению ошибок в длинных рассуждениях. Новая концепция переосмысляет процесс генерации как поиск состояния с минимальной энергией, где правильные логические шаги выступают в роли устойчивых точек притяжения. Это позволяет модели «вспоминать» корректные структуры рассуждений, заложенные в процессе обучения, вместо того чтобы полагаться исключительно на вероятностную последовательность слов.

Метод Gibbs-Weighted Energy Minimization позволяет динамически корректировать процесс вывода, направляя модель к наиболее вероятным и логически обоснованным траекториям. Такой подход особенно эффективен в задачах, требующих многошаговой верификации, где малейшее отклонение от верного пути ведет к галлюцинациям. Исследование предлагает математический аппарат для управления этим процессом, превращая инференс в процесс оптимизации энергетического состояния системы.

Ключевые факты

• Модели рассматриваются как Dense Associative Memories, где знания хранятся в виде латентных аттракторов.
• Логические цепочки определены как пути в энергетическом ландшафте с глубокими минимумами.
• Метод минимизации энергии по Гиббсу используется для динамического извлечения паттернов рассуждения.
• Подход позволяет снизить вероятность ошибок в длинных цепочках математических вычислений.
• Исследование меняет парадигму инференса с чисто генеративной на оптимизационную.