Исследователи представили метод, позволяющий языковым моделям самостоятельно генерировать и сохранять промежуточные заметки в процессе решения сложных логических задач. Этот подход значительно повышает точность рассуждений, позволяя модели структурировать мысли и возвращаться к ключевым выводам, что имитирует процесс ведения рабочих записей человеком при выполнении интеллектуальной работы.
Традиционные методы цепочки рассуждений (Chain-of-Thought) часто ограничены объемом контекстного окна и линейностью вывода. Новый подход вводит механизм «внешней памяти», где модель в процессе генерации текста создает краткие резюме или промежуточные гипотезы. Эти заметки сохраняются в отдельном пространстве, к которому модель может обращаться на последующих этапах решения задачи, что снижает вероятность накопления ошибок и «галлюцинаций».
Эксперименты показали, что использование такой системы заметок позволяет моделям эффективнее справляться с многошаговыми математическими задачами и задачами на планирование. В отличие от стандартных методов, где модель вынуждена удерживать все промежуточные вычисления в текущем контексте, данный метод позволяет динамически фильтровать важную информацию, отсекая шум и фокусируясь на критических узлах логической цепочки.
Ключевые факты
- Метод основан на итеративном процессе записи и чтения промежуточных состояний рассуждения.
- Модели демонстрируют повышенную точность в задачах, требующих долгосрочного планирования и многошаговой логики.
- Подход снижает когнитивную нагрузку на модель за счет выноса ключевых данных во внешнюю память.
- Исследование подтверждает эффективность использования «саморефлексии» через структурированные текстовые заметки для повышения качества ответов.