Исследователи представили концепцию Token-Native Storage — метод хранения данных, оптимизированный под работу LLM. В отличие от классических векторных БД, система оперирует непосредственно токенами, что позволяет агентам считывать и записывать информацию в «родном» для них формате. Это значительно сокращает задержки при извлечении контекста и повышает точность работы с долгосрочной памятью в агентных системах.
Традиционные подходы к RAG (Retrieval-Augmented Generation) часто страдают от потерь при преобразовании данных в векторные эмбеддинги и обратно. Новый метод исключает этап промежуточной сериализации, позволяя модели напрямую взаимодействовать с хранилищем как с расширением собственного контекстного окна. Это критически важно для сложных агентов, которым требуется высокая скорость доступа к большим массивам структурированной и неструктурированной информации.
Архитектура системы поддерживает прямую запись токенов, что устраняет необходимость в постоянной переиндексации при обновлении знаний агента. Такой подход снижает вычислительные затраты на инференс и позволяет агентам эффективнее управлять состоянием своей «памяти» в процессе выполнения многошаговых задач. Технология ориентирована на интеграцию в современные агентные фреймворки, где критически важна минимизация «галлюцинаций» за счет точного и быстрого доступа к внешним источникам.
Ключевые факты
- Метод Token-Native Storage исключает этап векторной сериализации, работая напрямую с токенизированным представлением данных.
- Система позволяет агентам выполнять операции чтения и записи в хранилище без потери семантической точности, характерной для сжатых эмбеддингов.
- Использование нативного формата токенов снижает задержки (latency) при извлечении контекста в сложных агентных сценариях.
- Технология направлена на решение проблемы ограниченного контекстного окна за счет эффективного управления долгосрочной памятью агента.