Исследование выявило критическую уязвимость в системах долгосрочной памяти LLM: данные не только записываются с ошибками, но и подвержены «порче» в процессе эксплуатации. Со временем накопленная информация искажается из-за особенностей механизмов извлечения и контекстного окна, что приводит к деградации точности ответов агента даже при наличии корректных исходных данных в базе.
Проблема заключается в том, что при многократном обращении к накопленному опыту модель начинает «галлюцинировать» на основе собственных прошлых записей. Этот эффект напоминает накопление ошибок при копировании цифровых данных, где каждое последующее извлечение информации из векторного хранилища и её повторная интерпретация LLM вносят микроскопические искажения. В долгосрочной перспективе это делает накопленную «память» агента менее надежной, чем свежие данные.
Авторы исследования предлагают пересмотреть подходы к управлению контекстом и хранению истории взаимодействий. Вместо простого накопления всех событий в векторных базах данных, рекомендуется внедрять механизмы периодической верификации и «очистки» памяти. Это позволяет минимизировать влияние накопленных искажений и поддерживать актуальность знаний агента на протяжении длительных сессий работы.
Ключевые факты
- Эффект «порчи памяти» возникает из-за итеративного процесса извлечения и переинтерпретации данных моделью.
- Ошибки накапливаются экспоненциально при увеличении количества циклов чтения и записи в долгосрочное хранилище.
- Традиционные методы RAG (Retrieval-Augmented Generation) не учитывают риск деградации данных при их повторном использовании в контексте.
- Рекомендуется внедрение стратегий «валидации памяти» для предотвращения накопления ложных ассоциаций в агентных системах.