Исследователи проанализировали феномен «забывания» в ИИ-моделях, разделив процесс на работу «мировой модели» (world model), которая сохраняет знания, и «актора» (actor), который их теряет. Работа демонстрирует, как оптимизация на одном GPU позволяет эффективно отслеживать динамику потери информации, предлагая новые методы контроля стабильности обучения и предотвращения катастрофического забывания в агентных системах.
Авторы работы сосредоточились на архитектурных различиях между компонентами, отвечающими за репрезентацию среды и принятие решений. Выяснилось, что при ограниченных вычислительных ресурсах агент склонен к быстрой деградации накопленного опыта, если веса модели обновляются без учета долгосрочной памяти. Эксперименты показывают, что разделение весов на «стабильные» и «адаптивные» позволяет значительно снизить скорость забывания без необходимости использования кластеров из множества видеокарт.
Данный подход критически важен для разработки компактных агентов, способных обучаться в режиме реального времени. Понимание того, как именно модель теряет информацию, позволяет инженерам точнее настраивать гиперпараметры обучения и архитектуру нейросети, обеспечивая баланс между гибкостью агента и сохранением критически важных навыков, полученных на ранних этапах тренировки.
Ключевые факты
- Исследование сфокусировано на разделении функций «мировой модели» и «актора» для минимизации забывания.
- Экспериментальная база ограничена использованием одного GPU, что делает методы применимыми для локального дообучения.
- Выявлена прямая зависимость между скоростью обновления весов актора и потерей накопленных знаний.
- Предложенный метод позволяет стабилизировать обучение без значительного увеличения вычислительных затрат.