arXiv · 30.07.2026 ·Память и RAG

CoMem: новый метод работы с бесконечным контекстом через разделение слоев LLM

Исследователи предложили метод CoMem, использующий неравномерное распределение функций внутри слоев трансформеров. Нижние и средние слои отвечают за формирование семантических представлений, а верхние — за предсказание. Новый подход позволяет кэшировать промежуточные состояния и перевычислять только верхние слои, что обеспечивает эффективную работу с неограниченным контекстом без необходимости обработки всей последовательности на каждом шаге.

Архитектура современных LLM демонстрирует специализацию слоев: начальные блоки модели заняты извлечением смысловых связей из входных данных, тогда как финальные слои адаптируют эти данные для генерации конкретных токенов. Метод CoMem эксплуатирует эту особенность, разделяя процесс обработки на два этапа: сжатие контекста в промежуточное представление и последующую генерацию на основе кэшированных данных.

Такой подход значительно снижает вычислительные затраты при работе с длинными текстами. Вместо того чтобы пропускать огромные объемы данных через всю глубину модели, система сохраняет «понимание» текста на промежуточном уровне. Это позволяет масштабировать контекстное окно, сохраняя при этом высокую точность предсказаний и снижая требования к оперативной памяти при инференсе.

Ключевые факты

Метод CoMem разделяет слои трансформера на семантические (нижние/средние) и предиктивные (верхние).
Система записывает каждый фрагмент контекста через промежуточный слой, минимизируя избыточные вычисления.
Использование кэшированных остаточных состояний позволяет эффективно обрабатывать неограниченный объем входных данных.
Перевычисление только верхних слоев, обусловленное конкретным запросом, ускоряет генерацию ответов при работе с длинным контекстом.

Источник: arXiv

Обсудить с ИИ

Похожие материалы

arXiv · Память и RAG Co-LMLM: новый подход к обучению моделей с внешней базой знаний Исследователи представили архитектуру Co-LMLM (Continuous-Query Limited Memory Language Models), которая переносит хранение фактологических знаний из весов нейросети во внешнюю базу данных. В отличие от стандартных LLM, такая модель в процессе генерации текста динамически обращается к внешним источникам, что позволяет обновлять знания без необходимости дорогостоящего дообучения и обеспечивает лучший контроль над достоверностью информации. Hacker News · Инференс и железо Ускорение LLM через разреженное внимание и конечные автоматы Исследователи представили новый метод ускорения работы больших языковых моделей, основанный на использовании разреженного внимания (Sparse Attention) в сочетании с архитектурой конечных автоматов с постоянным состоянием. Этот подход позволяет значительно сократить вычислительные затраты при инференсе, сохраняя при этом точность генерации текста, что критически важно для развертывания тяжелых моделей на ограниченных аппаратных ресурсах. Hacker News · Инфраструктура для агентов Оптимизация инференса LLM через использование In-Memory слоев Разработчики Mapbox представили метод оптимизации работы с большими языковыми моделями, позволяющий снизить нагрузку на систему за счет использования промежуточных слоев памяти. Подход фокусируется на композиции моделей, где часть вычислений переносится в оперативную память, что позволяет эффективно обрабатывать сложные запросы без необходимости постоянного обращения к тяжелым весам основной модели. arXiv · Машинное обучение Метод Message Passing ускоряет логический вывод в LLM Исследователи представили метод Message Passing, который оптимизирует процесс рассуждения больших языковых моделей. В отличие от традиционных цепочек мыслей (CoT), требующих последовательных вычислений, новый подход использует параллельную обработку через обмен сообщениями между потоками модели. Это позволяет значительно сократить вычислительные затраты и время инференса при сохранении высокой точности решения сложных логических задач. Hacker News · Исследования и наука Анализ избыточности: сколько раз LLM перечитывают один и тот же текст Исследование процесса обработки контекста в больших языковых моделях выявило значительные потери вычислительных ресурсов из-за многократного повторного чтения одних и тех же фрагментов текста. Автор эксперимента замерил количество обращений к токенам при выполнении стандартных задач и обнаружил, что текущие архитектуры тратят избыточное время на переобработку уже известных данных, что напрямую влияет на задержки и стоимость инференса. arXiv · Машинное обучение Оптимизация инференса LLM через адаптивную глубину декодирования Исследователи представили метод Depth Exploration, оптимизирующий процесс генерации токенов в авторегрессионных моделях. Вместо прогона каждого токена через все слои нейросети, система динамически определяет глубину вычислений, необходимую для уверенного предсказания. Это позволяет существенно сократить вычислительные затраты при сохранении точности, так как многие токены становятся предсказуемыми на промежуточных этапах обработки данных внутри архитектуры модели. arXiv · Исследования и наука Метод ReContext повышает точность работы LLM с длинными контекстами Исследователи представили метод ReContext, решающий проблему неэффективного использования длинных контекстов в LLM. Несмотря на увеличение объема входных данных, модели часто игнорируют важные фрагменты информации. Новый подход использует рекурсивное воспроизведение доказательств (Recursive Evidence Replay), что позволяет моделям лучше извлекать и связывать разрозненные данные, значительно повышая качество логических выводов в задачах с большими массивами текста. Hacker News · Память и RAG Почему бесконечное контекстное окно — не панацея для работы с данными Разработчики всё чаще отказываются от идеи бесконечного расширения контекстного окна LLM в пользу архитектур с внешним управлением памятью. Вместо того чтобы загружать огромные массивы данных напрямую в модель, эффективнее использовать специализированные системы поиска и извлечения информации. Это позволяет снизить затраты на инференс, повысить точность ответов и избежать проблем с «забыванием» данных при длинных контекстах. Hacker News · Память и RAG Концепция Claude.md: почему контекстное окно — это RAM, а не диск Автор концепции Claude.md предлагает рассматривать контекстное окно LLM как оперативную память (RAM), а не как постоянное хранилище (диск). В этой модели данные, загружаемые в контекст, существуют только во время сессии, обеспечивая высокую скорость доступа и актуальность, но требуя иного подхода к управлению структурой данных и их жизненным циклом при работе с ИИ-агентами. Hacker News · Исследования и наука Tapered Language Models: новый подход к оптимизации архитектуры LLM Исследователи представили концепцию Tapered Language Models — архитектурный подход, при котором ширина слоев нейросети постепенно уменьшается по мере углубления модели. Такой метод позволяет значительно снизить вычислительные затраты на инференс и объем используемой памяти, сохраняя при этом производительность, сопоставимую с традиционными трансформерами фиксированной ширины, что критически важно для эффективного развертывания моделей.

← Все материалы