arXiv · 03.08.2026 ·Память и RAG

Метод PRECOG ускоряет RAG для SSM-моделей до константного времени

Исследователи представили метод PRECOG (Pre-Computed Context Injection), который радикально меняет работу RAG в моделях на базе State-Space Models (SSM). Технология позволяет сократить затраты на префилл с линейной зависимости от длины контекста до константного времени O(1). Это устраняет вычислительные задержки при извлечении данных, делая работу с большими корпусами документов на периферийных устройствах значительно эффективнее.

Традиционные архитектуры Transformer требуют значительных ресурсов на KV-кэш, который растет вместе с генерацией токенов, а стандартный RAG добавляет к этому тяжелый этап префилла. Использование SSM-архитектур уже решает проблему масштабирования кэша, однако PRECOG дополняет этот подход, позволяя «впрыскивать» состояние контекста напрямую. Такой подход превращает процесс поиска и интеграции внешней информации в практически мгновенную операцию, не зависящую от объема индексируемых данных.

Данная разработка критически важна для запуска сложных агентных систем на локальном оборудовании с ограниченной памятью. Устранение зависимости времени обработки от длины контекста открывает путь к созданию ИИ-ассистентов, способных мгновенно обращаться к огромным базам знаний без необходимости пересчета векторов или длительного ожидания ответа при каждом запросе.

Ключевые факты

Метод PRECOG снижает сложность префилла при RAG с O(L_context) до O(1).
Технология оптимизирована для State-Space Models (SSM), исключая необходимость в растущем KV-кэше.
Решение позволяет выполнять поиск по корпусу документов без линейного роста вычислительных затрат на каждый запрос.
Метод ориентирован на повышение производительности Edge-устройств при работе с большими объемами данных.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

Hacker News · Инфраструктура для агентов Метод Prefill Tax: оптимизация контекста для локальных LLM Разработчики представили концепцию «Prefill Tax» — метод оптимизации работы локальных LLM, при котором модель повторно анализирует собственный системный промпт перед генерацией ответа. Этот подход позволяет снизить вычислительные затраты на обработку длинных контекстных окон и повысить точность следования инструкциям, минимизируя галлюцинации при работе с большими объемами данных в агентных системах. Hacker News · Память и RAG Оптимизация RAG: как отсеивать 68% лишнего контекста с помощью компактной LLM Команда Kapa.ai разработала метод фильтрации контекста для RAG-систем, позволяющий отсеивать до 68% нерелевантных данных перед подачей в основную модель. Использование компактной LLM для предварительной оценки фрагментов позволяет снизить затраты на токены и повысить точность ответов, исключая «шум» из поисковой выдачи векторных баз данных без потери качества генерации. Hacker News · Память и RAG Почему бесконечное контекстное окно — не панацея для работы с данными Разработчики всё чаще отказываются от идеи бесконечного расширения контекстного окна LLM в пользу архитектур с внешним управлением памятью. Вместо того чтобы загружать огромные массивы данных напрямую в модель, эффективнее использовать специализированные системы поиска и извлечения информации. Это позволяет снизить затраты на инференс, повысить точность ответов и избежать проблем с «забыванием» данных при длинных контекстах. Hacker News · Инфраструктура для агентов Оптимизация веб-поиска для локальных LLM без перерасхода контекстного окна Разработан метод эффективного подключения веб-поиска к локальным языковым моделям, позволяющий минимизировать потребление токенов. Вместо передачи полного содержимого веб-страниц в контекстное окно, решение использует специализированные инструменты для извлечения релевантных фрагментов данных. Это позволяет компактным моделям выполнять поисковые задачи, сохраняя производительность и избегая ограничений контекста, характерных для работы с объемным контентом в реальном времени. Hacker News · Память и RAG Новый метод RAG от Emory и IBM повышает точность до 97% при снижении затрат токенов Исследователи из Университета Эмори и IBM представили метод управляемого поиска (Governed AI retrieval), который значительно оптимизирует работу RAG-систем. Технология позволяет достичь 97% точности ответов, сокращая при этом расход токенов на 67%. Подход фокусируется на строгом контроле контекста, что минимизирует галлюцинации и повышает эффективность обработки данных в корпоративных ИИ-решениях. arXiv · Память и RAG GeoRAG: новый подход к оптимизации контекста в RAG-системах Исследователи представили GeoRAG — метод оптимизации выбора контекста для RAG-систем, решающий проблему неполного охвата информации при сложных запросах. Вместо стандартного ранжирования чанков по близости к одному эмбеддингу, система переосмысливает поиск как задачу покрытия информационных потребностей. Это позволяет эффективно обрабатывать многоходовые и неоднозначные вопросы, избегая избыточности и потери важных деталей. Hacker News · Память и RAG Альтернатива RAG: файловая система как метод управления контекстом Разработчики представили подход CEM888.AI, предлагающий использовать файловую систему в качестве основного механизма хранения и извлечения контекста для языковых моделей. В отличие от традиционных RAG-систем (Retrieval-Augmented Generation), которые опираются на векторный поиск по эмбеддингам, данный метод фокусируется на прямой работе с файловой структурой. Это позволяет модели обращаться к данным более предсказуемо, сохраняя иерархические связи и метаданные документов без потерь, характерных для семантического поиска. Hacker News · Инфраструктура для агентов Автоматическое кэширование префиксов в vLLM Команда vLLM представила механизм автоматического кэширования префиксов (Automatic Prefix Caching), который значительно ускоряет работу с длинными контекстами и многократными запросами. Технология позволяет повторно использовать KV-кэш для общих частей промптов, таких как системные инструкции или большие документы в RAG-системах, что снижает потребление памяти и сокращает время генерации токенов. Hacker News · Память и RAG Proactive Memory: новый подход к управлению памятью для долгосрочных ИИ-агентов Исследователи представили архитектуру Proactive Memory, которая решает проблему забывания контекста в задачах с длинным горизонтом планирования. Система позволяет агентам самостоятельно определять, какую информацию из прошлого необходимо извлечь для текущего шага, снижая зависимость от стандартных методов RAG и повышая точность выполнения многоэтапных инструкций в сложных сценариях взаимодействия. arXiv · Инфраструктура для агентов InferScale: оптимизация инференса через GPU-native KV-инъекции Исследователи представили InferScale — метод оптимизации инференса LLM, который ускоряет обработку персонализированного контекста. Вместо повторного префилла памяти при каждом запросе система выполняет прямую инъекцию KV-кэша на уровне GPU. Это позволяет значительно сократить задержки и вычислительные затраты при работе с долгосрочной памятью агентов, сохраняя при этом высокую точность генерации ответов.

← Все материалы