Исследователи из MIT и других университетов предложили фреймворк DYNA, который решает проблему забывания знаний у больших языковых моделей (LLM). DYNA использует временной знаний граф, где события — это узлы, а временные отношения — направленные, временно помеченные рёбра. Этот граф служит внешней, обновляемой памятью, что позволяет LLM работать с новыми данными без переобучения.
Ключевая идея DYNA — в использовании случайных блужданий по графу для извлечения релевантных узлов при запросе. Это позволяет модели учитывать временные зависимости и контекст, что особенно важно для агентов, работающих в динамических средах. Например, агент может использовать такую память для хранения и обновления информации о событиях, пользователях или окружении.
DYNA особенно полезен для непрерывного обучения, так как позволяет модели адаптироваться к новым данным без потери старых знаний. Это решает одну из ключевых проблем в разработке ИИ-агентов — баланс между обучением и забыванием. В статье показано, что DYNA улучшает точность ответов на 15-20% по сравнению с базовыми LLM.
Для разработчиков ИИ-агентов, таких как Jarv, DYNA представляет собой важный шаг вперёд. Внешняя память на основе временных графов может быть интегрирована в архитектуру агента для улучшения его способности работать с динамическими данными и контекстами. Это особенно актуально для агентов, которые должны адаптироваться к изменениям в окружении или пользовательских предпочтениях.