Исследователи выявили критическую уязвимость в архитектурах ИИ-агентов: системы часто не способны распознать момент, когда их долгосрочная память или контекстное окно переполняются или искажаются. Это приводит к «галлюцинациям забывания», когда агент продолжает генерировать ответы, основываясь на устаревших или неполных данных, не уведомляя пользователя о потере доступа к важной информации из истории взаимодействия.
Основная проблема заключается в отсутствии механизмов самодиагностики у современных RAG-систем и векторных хранилищ. Агенты воспринимают извлеченные данные как истину в последней инстанции, даже если процесс поиска (retrieval) вернул нерелевантные фрагменты из-за деградации индексов или превышения лимитов памяти. В результате агент теряет нить рассуждений, что делает автоматизированные процессы ненадежными при работе с длинными сессиями.
Авторы работы предлагают внедрение «мета-слоя» мониторинга, который отслеживает целостность данных в реальном времени. Такой подход позволяет агенту сигнализировать о нехватке контекста или необходимости принудительной очистки кэша, вместо того чтобы пытаться интерпретировать поврежденные или неполные данные. Это критически важно для построения автономных систем, работающих в сложных бизнес-сценариях с большими объемами документации.
Ключевые факты
- Исследование подтверждает, что до 30% ошибок агентов в сложных задачах связаны с некорректным извлечением данных из памяти при накоплении истории.
- Выявлен эффект «семантического дрейфа», при котором агент постепенно теряет точность ответов из-за накопления шума в векторных индексах.
- Предложен протокол верификации состояния памяти, позволяющий агенту определять порог достоверности извлеченной информации.
- Установлено, что стандартные методы RAG не имеют встроенных инструментов для уведомления системы о «забывании» или потере актуальности данных в долгосрочной перспективе.