Hacker News · 25.07.2026 ·Инфраструктура для агентов

Persistent State Machine: новый подход к преодолению ограничений памяти LLM

Исследователи представили концепцию Persistent State Machine (PSM), направленную на решение проблемы «фон-неймановского бутылочного горлышка» при работе с механизмом внимания в LLM. Метод позволяет оптимизировать передачу данных между памятью и вычислительными блоками, существенно снижая задержки при обработке длинных контекстов и повышая общую эффективность инференса моделей за счет изменения архитектуры хранения состояний.

Традиционные архитектуры сталкиваются с ограничением пропускной способности при постоянном обращении к оперативной памяти для обновления KV-кэша. PSM предлагает переосмыслить взаимодействие с памятью, превращая процесс обработки внимания в состояние, которое обновляется инкрементально. Это позволяет минимизировать избыточные операции чтения и записи, что критически важно для систем, работающих с потоковыми данными и агентными сценариями, требующими удержания больших объемов контекста.

Реализация данного подхода позволяет перенести часть логики управления состоянием непосредственно в вычислительный контур, приближая вычисления к данным. Такой сдвиг в проектировании инфраструктуры инференса помогает масштабировать работу с длинными последовательностями без линейного роста затрат на пропускную способность шины памяти, что является одним из главных препятствий для современных высокопроизводительных ИИ-систем.

Ключевые факты

Концепция PSM направлена на устранение ограничений фон-неймановской архитектуры при выполнении операций внимания (Attention) в LLM.
Метод оптимизирует работу с KV-кэшем, снижая нагрузку на шину памяти при обработке длинных контекстов.
Архитектура предполагает переход от классического обращения к памяти к инкрементальному обновлению состояний внутри вычислительного узла.
Решение ориентировано на повышение эффективности инференса в задачах, требующих высокой пропускной способности и работы с большими объемами данных в реальном времени.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Инференс и железо Ускорение инференса LLM за счет вычислений внутри оперативной памяти Исследователи представили архитектурный подход, позволяющий выполнять операции инференса больших языковых моделей непосредственно внутри оперативной памяти (Processing-in-Memory). Это решение устраняет проблему «узкого места памяти», ограничивающую скорость передачи данных между процессором и RAM, что критически важно для эффективного запуска тяжелых моделей на локальном оборудовании и снижения задержек при генерации токенов. Hacker News · Инфраструктура для агентов Оптимизация инференса LLM через использование In-Memory слоев Разработчики Mapbox представили метод оптимизации работы с большими языковыми моделями, позволяющий снизить нагрузку на систему за счет использования промежуточных слоев памяти. Подход фокусируется на композиции моделей, где часть вычислений переносится в оперативную память, что позволяет эффективно обрабатывать сложные запросы без необходимости постоянного обращения к тяжелым весам основной модели. Hacker News · Машинное обучение Применение LLM для оптимизации управления памятью в ядре Linux Разработчики представили два экспериментальных патч-сета, использующих возможности больших языковых моделей для автоматизации управления памятью в ядре Linux. Решения направлены на оптимизацию распределения ресурсов и минимизацию фрагментации, что является критически важной задачей для производительности систем. Использование ИИ позволяет динамически адаптировать стратегии выделения памяти на основе анализа паттернов нагрузки в реальном времени. Hacker News · Инфраструктура для агентов KV-psi: управление кэшем LLM через метрики Linux PSI Проект KV-psi предлагает новый подход к оптимизации работы LLM, используя механизм Linux Pressure Stall Information (PSI) для динамического управления KV-кэшем. Инструмент отслеживает нагрузку на ресурсы системы в реальном времени и автоматически урезает кэш при возникновении дефицита памяти, предотвращая критические сбои и замедления при выполнении инференса на локальных вычислительных узлах. Hacker News · Инференс и железо DualPath: новый метод оптимизации пропускной способности памяти при работе LLM Исследователи представили DualPath — архитектурное решение, устраняющее «узкое горлышко» пропускной способности памяти при инференсе агентных LLM. Метод разделяет потоки данных для обработки весов модели и контекста, что позволяет значительно ускорить генерацию токенов в сценариях с длинным контекстом и частыми обращениями к памяти, характерными для современных автономных агентов. arXiv · Обучение и дообучение Оптимизация дообучения LLM с длинным контекстом при ограниченной VRAM Исследователи представили метод эффективного дообучения моделей с длинным контекстом, решающий проблему нехватки видеопамяти. Комбинируя иерархическое глобальное внимание (HGA), сегментированное обратное распространение ошибки и многоуровневое хранение KV-кэша, авторы добились возможности обучения на длинных последовательностях без необходимости в огромных вычислительных мощностях, выгружая неактивные сегменты данных в оперативную память или на накопители NVMe. Hacker News · Память и RAG Proactive Memory: новый подход к управлению памятью для долгосрочных ИИ-агентов Исследователи представили архитектуру Proactive Memory, которая решает проблему забывания контекста в задачах с длинным горизонтом планирования. Система позволяет агентам самостоятельно определять, какую информацию из прошлого необходимо извлечь для текущего шага, снижая зависимость от стандартных методов RAG и повышая точность выполнения многоэтапных инструкций в сложных сценариях взаимодействия. arXiv · Память и RAG Shared Selective Persistent Memory: новый подход к памяти для ИИ-агентов Исследователи представили архитектуру Shared Selective Persistent Memory, решающую проблему «амнезии» у ИИ-агентов при работе с кодом. Вместо сохранения всей истории диалогов, система избирательно накапливает конфигурации, доменные ограничения и паттерны использования инструментов. Это повышает эффективность работы агентов в многосессионных задачах, снижая потребление токенов и предотвращая деградацию контекста из-за накопления нерелевантной информации. Hacker News · Инференс и железо Архитектура аппаратного восстановления при сбоях в обучении LLM Исследователи представили концепцию совместного проектирования аппаратного и программного обеспечения для повышения отказоустойчивости при обучении крупномасштабных языковых моделей. Решение направлено на минимизацию потерь данных при аппаратных сбоях за счет использования механизмов обхода памяти HBM и интеграции специализированных логических схем, что позволяет значительно сократить время простоя кластеров при обучении моделей с миллиардами параметров. arXiv · Исследования и наука Latent Memory Palace: новый подход к адаптивному рассуждению в задачах управления Исследователи представили метод Latent Memory Palace, который переносит способности LLM к адаптивному рассуждению в область непрерывного управления робототехникой. В отличие от стандартных моделей, работающих в языковом пространстве, этот подход использует вариационный вывод для создания скрытых представлений, что позволяет агентам гибко переключаться между мгновенными реакциями и длительным планированием действий в сложных динамических средах.

← Все материалы