Исследователи провели детальный анализ того, как устроена функция памяти в ChatGPT. Изучение показало, что система работает не как классическая база данных, а через динамическое обновление контекста, где модель сама решает, какие факты из прошлых диалогов стоит сохранить, а какие — удалить, чтобы оптимизировать использование токенов и точность ответов.
В основе механизма лежит процесс, при котором модель периодически «просматривает» историю взаимодействия, выделяя ключевые сущности и предпочтения пользователя. Эти данные структурируются и внедряются в системный промпт при начале новой сессии. Такой подход позволяет ChatGPT сохранять персонализированный контекст без необходимости хранить всю историю переписки в «оперативной памяти» модели.
Анализ выявил, что система использует специфические триггеры для записи новых воспоминаний. Модель классифицирует информацию на основе её важности и частоты упоминаний. Это позволяет избежать переполнения контекстного окна нерелевантными деталями, сохраняя при этом долгосрочную связность диалога. Исследование подчеркивает переход от статических RAG-систем к более гибким агентным методам управления контекстом.
Ключевые факты
- Система памяти работает через автоматическую классификацию фактов в процессе диалога.
- Механизм минимизирует расход токенов за счет фильтрации и сжатия накопленной информации.
- Память интегрируется в системный промпт, обеспечивая доступ к данным в начале каждой новой сессии.
- Исследование подтверждает использование агентных паттернов для управления состоянием (state management) в LLM.
- Метод позволяет модели самостоятельно определять приоритетность данных без участия пользователя.