Исследователи из MIT и Google Research представили метод KVEraser, который решает проблему точного удаления контекста из кэша ключ-значение (KV) в больших языковых моделях. Проблема заключается в том, что при удалении части контекста его влияние распространяется на все последующие токены, что делает локальные правки сложными.
KVEraser использует обучаемый механизм для точного управления кэшем KV, что позволяет эффективно удалять устаревшие факты, некорректные наблюдения инструментов, изменённые предпочтения пользователей или вредоносные инъекции. Это особенно важно для приложений с длинным контекстом, где актуальность информации критична.
Метод был протестирован на различных моделях, включая Llama-2 и Mistral, и показал значительное улучшение в точности удаления контекста по сравнению с базовыми подходами. Исследователи отмечают, что KVEraser может быть интегрирован в существующие системы без значительных изменений в архитектуре.
Для разработчиков ИИ-агентов, таких как Jarv, этот метод представляет собой важный шаг вперёд в управлении контекстом. Возможность точного удаления устаревшей или некорректной информации позволяет улучшить качество работы агентов и повысить их надёжность в реальных сценариях использования.