Hacker News · 06.07.2026 ·Память и RAG

Оптимизация RAG: как отсеивать 68% лишнего контекста с помощью компактной LLM

Команда Kapa.ai разработала метод фильтрации контекста для RAG-систем, позволяющий отсеивать до 68% нерелевантных данных перед подачей в основную модель. Использование компактной LLM для предварительной оценки фрагментов позволяет снизить затраты на токены и повысить точность ответов, исключая «шум» из поисковой выдачи векторных баз данных без потери качества генерации.

Традиционные RAG-системы часто сталкиваются с проблемой «потери в середине», когда избыточный контекст снижает внимание модели к ключевым деталям. Авторы внедрили промежуточный этап классификации, где легковесная модель анализирует каждый найденный фрагмент на предмет полезности для конкретного запроса. Это позволяет передавать в контекстное окно только те данные, которые действительно содержат ответ, сокращая общую стоимость инференса.

Такой подход решает проблему перегрузки контекстного окна, что особенно актуально при работе с длинными документами или сложными техническими базами знаний. Вместо слепого добавления топ-N результатов поиска, система динамически формирует «чистый» промпт, что делает работу агентов более предсказуемой и экономически эффективной.

Ключевые факты

Метод позволяет удалять до 68% извлеченного контекста без снижения точности ответов.
В качестве фильтра используется компактная LLM, которая оценивает релевантность каждого фрагмента до его отправки в основную модель.
Оптимизация направлена на снижение затрат на токены и решение проблемы «потери в середине» (lost in the middle).
Технология позволяет повысить качество ответов за счет исключения нерелевантной информации из промпта.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Память и RAG Новый метод RAG от Emory и IBM повышает точность до 97% при снижении затрат токенов Исследователи из Университета Эмори и IBM представили метод управляемого поиска (Governed AI retrieval), который значительно оптимизирует работу RAG-систем. Технология позволяет достичь 97% точности ответов, сокращая при этом расход токенов на 67%. Подход фокусируется на строгом контроле контекста, что минимизирует галлюцинации и повышает эффективность обработки данных в корпоративных ИИ-решениях. Hacker News · Инфраструктура для агентов Субмодулярный отбор контекста для оптимизации работы LLM-агентов Исследователи представили метод субмодулярного отбора контекста, который позволяет динамически выбирать наиболее релевантную информацию для LLM-агентов. Этот подход выступает в роли подключаемого модуля, оптимизирующего подачу данных в контекстное окно. Технология позволяет агентам эффективнее обрабатывать длинные последовательности, снижая количество избыточных токенов и повышая точность ответов при работе со сложными задачами. arXiv · Память и RAG GeoRAG: новый подход к оптимизации контекста в RAG-системах Исследователи представили GeoRAG — метод оптимизации выбора контекста для RAG-систем, решающий проблему неполного охвата информации при сложных запросах. Вместо стандартного ранжирования чанков по близости к одному эмбеддингу, система переосмысливает поиск как задачу покрытия информационных потребностей. Это позволяет эффективно обрабатывать многоходовые и неоднозначные вопросы, избегая избыточности и потери важных деталей. Hacker News · Память и RAG Почему одной памяти недостаточно: управление контекстом в ИИ-агентах Для создания эффективных ИИ-агентов простой реализации памяти недостаточно. Разработчики сталкиваются с проблемой «зашумления» контекста, когда избыточная информация снижает точность ответов модели. Статья объясняет, почему управление контекстом — фильтрация, приоритизация и структурирование данных — становится критическим этапом в архитектуре агентных систем, позволяя моделям фокусироваться на актуальных задачах и избегать галлюцинаций при работе с большими массивами данных. Hacker News · Оркестрация агентов Проблема избыточной памяти в ИИ-агентах и методы оптимизации контекста Разработчики сталкиваются с проблемой «засорения» памяти ИИ-агентов нерелевантными данными из сессий. Постоянное сохранение всех транскриптов диалогов приводит к деградации качества ответов и росту затрат на токены. Для решения этой задачи предлагаются стратегии фильтрации контекста, которые позволяют агентам фокусироваться на значимой информации, игнорируя «шум» и случайные детали прошлых взаимодействий. arXiv · Память и RAG Многоагентный фреймворк для защиты конфиденциальности в RAG-системах Исследователи представили многоагентный подход к защите данных в RAG-системах, предотвращающий утечки конфиденциальной информации через вредоносные промпты. Метод использует семантическое переписывание извлеченного контекста, позволяя сохранять точность ответов модели при строгом соблюдении приватности. Система разделяет задачи анализа, фильтрации и реконструкции данных между специализированными агентами, что минимизирует риски компрометации чувствительных документов в процессе генерации. arXiv · Машинное обучение Новый метод RAG для разрешения конфликтов знаний Исследователи представили метод Regime-Aware Peer Specialization (RAPS), повышающий устойчивость RAG-систем при работе с противоречивыми данными. Алгоритм классифицирует конфликты между внешним контекстом и параметрическими знаниями модели, адаптируя стратегию генерации в зависимости от степени надежности найденных источников. Это позволяет минимизировать галлюцинации и повысить точность ответов в условиях неоднородных и потенциально вредоносных данных. Hacker News · Память и RAG Сравнение методов работы с контекстом: графы, векторный поиск и сырые данные Разбор подходов к управлению контекстом для LLM выявил ключевые различия между классическим векторным RAG, графовыми структурами и подачей сырых данных. Выбор метода напрямую влияет на точность ответов при работе со сложными связями в данных, объемы потребляемых токенов и общую производительность агентных систем в задачах поиска и анализа информации. Hacker News · Память и RAG Альтернатива RAG: файловая система как метод управления контекстом Разработчики представили подход CEM888.AI, предлагающий использовать файловую систему в качестве основного механизма хранения и извлечения контекста для языковых моделей. В отличие от традиционных RAG-систем (Retrieval-Augmented Generation), которые опираются на векторный поиск по эмбеддингам, данный метод фокусируется на прямой работе с файловой структурой. Это позволяет модели обращаться к данным более предсказуемо, сохраняя иерархические связи и метаданные документов без потерь, характерных для семантического поиска. arXiv · Исследования и наука Метод ReContext повышает точность работы LLM с длинными контекстами Исследователи представили метод ReContext, решающий проблему неэффективного использования длинных контекстов в LLM. Несмотря на увеличение объема входных данных, модели часто игнорируют важные фрагменты информации. Новый подход использует рекурсивное воспроизведение доказательств (Recursive Evidence Replay), что позволяет моделям лучше извлекать и связывать разрозненные данные, значительно повышая качество логических выводов в задачах с большими массивами текста.

← Все материалы