Учёные изучили структуру памяти в непрерывном обучении, чтобы понять, как ИИ-агенты могут сохранять знания без катастрофического забывания. Исследование основано на фреймворке Accessibility Collapse и анализирует, как модели, такие как ResNet-18, теряют и восстанавливают информацию при обучении на последовательных задачах.
Ключевой проблемой является «катастрофическое забывание» — явление, при котором новые знания стирают старые. Авторы работы предлагают геометрическую модель, которая описывает, как информация сохраняется и восстанавливается в памяти модели. Это важно для разработки ИИ-агентов, так как они должны адаптироваться к новым задачам, не теряя навыки, полученные ранее.
Эксперименты проводились на датасете Split CIFAR-100, где модель обучалась на последовательных подмножествах данных. Учёные измерили «представимость» знаний, их дрейф и сложность восстановления. Результаты показывают, что знания не исчезают полностью, а переходят в менее доступное состояние, из которого их можно извлечь при необходимости.
Для разработчиков ИИ-агентов это открытие важно, так как позволяет создавать системы с долговременной памятью. Например, агент может временно «забывать» редко используемые навыки, но восстанавливать их при необходимости. Это особенно актуально для агентов, работающих в динамичных средах, где задачи и контексты постоянно меняются.
Работа также предлагает методы для оценки и управления памятью в моделях, что может быть полезно при проектировании архитектур для агентов. В будущем такие подходы помогут создать более устойчивые и адаптивные ИИ-системы, способные эффективно работать с большими объёмами информации.