arXiv · 27.07.2026 ·Память и RAG

Новый подход к управлению контекстным окном LLM через теорию оценивания

Исследователи предложили переосмыслить управление ограниченной памятью языковых моделей как задачу статистического оценивания. Вместо эвристических методов отсечения токенов авторы рассматривают процесс как сглаживание с фиксированным лагом. Это позволяет оптимизировать выбор данных для удержания в кэше, повышая эффективность работы моделей с длинным контекстом при ограниченных аппаратных ресурсах.

Существующие методы, такие как StreamingLLM, H2O или SnapKV, принимают решения об удалении данных на основе локальных правил в момент поступления токена. Новый подход вводит понятие «лага фиксации» (commit lag), который позволяет модели отложить решение об удалении элемента до накопления достаточного объема информации о его полезности. Это превращает задачу управления памятью из реактивной фильтрации в задачу предсказания вероятности повторного использования конкретного фрагмента данных.

Математическая модель показывает, что при определенных условиях стратегия «измерения» (отложенного принятия решения) значительно превосходит стратегию «накопления» (постоянного удержания). Это критически важно для систем, работающих с потоковыми данными или длинными документами, где память является узким местом. Метод позволяет динамически адаптировать стратегию вытеснения к характеру входного потока, минимизируя потери точности при сжатии контекста.

Ключевые факты

Исследование переводит задачу управления памятью (KV-кэшем) из области эвристик в область теории оценивания сигналов.
Введено понятие «лага фиксации» (commit lag), определяющего момент принятия решения об удалении токена из рабочей памяти.
Метод позволяет сравнивать существующие алгоритмы (StreamingLLM, H2O, SnapKV) в единой системе координат параметров задержки.
Доказано, что отложенное принятие решения об удалении (измерение) эффективнее жестких стратегий накопления в условиях ограниченного контекстного окна.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Обучение и дообучение Оптимизация дообучения LLM с длинным контекстом при ограниченной VRAM Исследователи представили метод эффективного дообучения моделей с длинным контекстом, решающий проблему нехватки видеопамяти. Комбинируя иерархическое глобальное внимание (HGA), сегментированное обратное распространение ошибки и многоуровневое хранение KV-кэша, авторы добились возможности обучения на длинных последовательностях без необходимости в огромных вычислительных мощностях, выгружая неактивные сегменты данных в оперативную память или на накопители NVMe. Hacker News · Инференс и железо Архитектура аппаратного восстановления при сбоях в обучении LLM Исследователи представили концепцию совместного проектирования аппаратного и программного обеспечения для повышения отказоустойчивости при обучении крупномасштабных языковых моделей. Решение направлено на минимизацию потерь данных при аппаратных сбоях за счет использования механизмов обхода памяти HBM и интеграции специализированных логических схем, что позволяет значительно сократить время простоя кластеров при обучении моделей с миллиардами параметров. arXiv · Инфраструктура для агентов Новый метод сжатия KV-кэша для LLM снижает нагрузку на память Исследователи предложили метод AnchorKV для сжатия ключевых значений (KV) в кэше языковых моделей. Это решение направлено на уменьшение нагрузки на память и энергопотребление при инференсе, что особенно актуально для крупных языковых моделей (LLM). Hacker News · Инфраструктура для агентов Persistent State Machine: новый подход к преодолению ограничений памяти LLM Исследователи представили концепцию Persistent State Machine (PSM), направленную на решение проблемы «фон-неймановского бутылочного горлышка» при работе с механизмом внимания в LLM. Метод позволяет оптимизировать передачу данных между памятью и вычислительными блоками, существенно снижая задержки при обработке длинных контекстов и повышая общую эффективность инференса моделей за счет изменения архитектуры хранения состояний. Hacker News · Исследования и наука Автоматизированный поиск алгоритмов удаления концепций в LLM Исследователи представили новый подход к автоматическому поиску алгоритмов для удаления нежелательных концепций из весов нейронных сетей. Используя агентную систему, авторы смогли обнаружить эффективные методы «стирания» знаний, которые превосходят существующие ручные подходы. Это позволяет точечно корректировать поведение моделей, минимизируя побочные эффекты для общей производительности и сохраняя функциональность системы после удаления конкретных данных или концепций. arXiv · Машинное обучение Новый метод оценки ошибок при сжатии KV-кэша через рандомизацию Исследователи предложили новый подход к управлению KV-кэшем в LLM, решающий проблему непредсказуемых ошибок при удалении токенов. Традиционные детерминированные методы удаления часто приводят к неконтролируемому росту погрешности вычислений внимания. Авторы доказали, что рандомизированное проектирование позволяет восстановить консистентность оценок ошибки, обеспечивая более надежную работу систем инференса при ограничении памяти. Hacker News · Инференс и железо Метод управления LLM без использования Autograd и видеопамяти Исследователи представили новый подход к управлению поведением больших языковых моделей, исключающий необходимость использования Autograd и потребление видеопамяти (VRAM). Метод основан на концепции «непрерывного волнового поля», позволяющей направлять генерацию текста через альтернативные вычислительные пути. Это решение значительно снижает аппаратные требования при тонкой настройке или управлении логикой моделей в условиях ограниченных ресурсов. Hacker News · Инференс и железо Фундаментальный разбор архитектуры и оптимизации LLM-инференса Материал представляет собой глубокий технический обзор современных методов организации инференса больших языковых моделей. Автор систематизирует подходы к оптимизации задержек и пропускной способности, рассматривая ключевые узкие места в работе с памятью и вычислительными ресурсами. Статья охватывает эволюцию технологий от базовых реализаций до сложных распределенных систем, необходимых для масштабируемого обслуживания моделей в продакшене. Hacker News · Инфраструктура для агентов Оптимизация инференса LLM через использование In-Memory слоев Разработчики Mapbox представили метод оптимизации работы с большими языковыми моделями, позволяющий снизить нагрузку на систему за счет использования промежуточных слоев памяти. Подход фокусируется на композиции моделей, где часть вычислений переносится в оперативную память, что позволяет эффективно обрабатывать сложные запросы без необходимости постоянного обращения к тяжелым весам основной модели. The latest research from Google · Исследования и наука Исследование Google: как цепочки рассуждений улучшают извлечение знаний из LLM Исследователи Google представили метод, который значительно повышает точность извлечения фактов из внутренней памяти больших языковых моделей. Вместо прямого запроса модель сначала генерирует цепочку рассуждений, что позволяет ей эффективнее активировать параметрические знания. Этот подход помогает преодолеть ограничения стандартных моделей при ответе на вопросы, требующие глубокого контекстного понимания или редких данных.

← Все материалы