Hacker News · 30.07.2026 ·Инфраструктура для агентов

Персистентные машины состояний для оптимизации внимания в LLM

Исследователи представили концепцию персистентных машин состояний (Persistent State Machines) для управления механизмом внимания в LLM. Подход направлен на радикальное снижение энергопотребления при выполнении операций инференса, достигая показателя 0,0267 пДж на операцию (PJ/Op) при моделировании на базе Vivado. Это решение предлагает новый способ организации памяти и вычислений для агентных систем, работающих с длинным контекстом.

Традиционные архитектуры трансформеров требуют значительных затрат ресурсов на пересчет весов внимания при каждом новом токене. Использование персистентных состояний позволяет сохранять промежуточные вычисления в специализированных структурах, минимизируя обращения к основной памяти и повышая общую энергоэффективность аппаратных ускорителей. Данный метод особенно актуален для локального запуска моделей на устройствах с ограниченным питанием.

Разработка фокусируется на аппаратной реализации алгоритмов внимания, что критически важно для создания автономных агентов, требующих постоянной работы в фоновом режиме. Переход от классических матричных вычислений к потоковой обработке состояний позволяет оптимизировать пайплайны данных, снижая задержки и тепловыделение чипов при выполнении сложных логических задач.

Ключевые факты

Энергоэффективность инференса достигает 0,0267 пДж на операцию (PJ/Op).
Методология базируется на использовании персистентных машин состояний для управления механизмом внимания.
Оценка производительности и энергопотребления проводилась с использованием среды проектирования Vivado.
Подход ориентирован на снижение накладных расходов при обработке длинных последовательностей в LLM.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Инфраструктура для агентов Persistent State Machine: новый подход к преодолению ограничений памяти LLM Исследователи представили концепцию Persistent State Machine (PSM), направленную на решение проблемы «фон-неймановского бутылочного горлышка» при работе с механизмом внимания в LLM. Метод позволяет оптимизировать передачу данных между памятью и вычислительными блоками, существенно снижая задержки при обработке длинных контекстов и повышая общую эффективность инференса моделей за счет изменения архитектуры хранения состояний. Hacker News · Инференс и железо Ускорение LLM через разреженное внимание и конечные автоматы Исследователи представили новый метод ускорения работы больших языковых моделей, основанный на использовании разреженного внимания (Sparse Attention) в сочетании с архитектурой конечных автоматов с постоянным состоянием. Этот подход позволяет значительно сократить вычислительные затраты при инференсе, сохраняя при этом точность генерации текста, что критически важно для развертывания тяжелых моделей на ограниченных аппаратных ресурсах. Hacker News · Инфраструктура для агентов Новый подход к компиляции для LLM и моделей мира Исследователи представили концепцию специализированного компилятора, предназначенного для оптимизации работы LLM и моделей мира. Система переводит высокоуровневые агентные задачи в эффективный машинный код, минимизируя задержки при выполнении сложных логических цепочек. Это решение направлено на повышение производительности систем, работающих в режиме реального времени, и создание более надежной инфраструктуры для будущих автономных ИИ-агентов. Hacker News · Инференс и железо Ускорение инференса LLM за счет вычислений внутри оперативной памяти Исследователи представили архитектурный подход, позволяющий выполнять операции инференса больших языковых моделей непосредственно внутри оперативной памяти (Processing-in-Memory). Это решение устраняет проблему «узкого места памяти», ограничивающую скорость передачи данных между процессором и RAM, что критически важно для эффективного запуска тяжелых моделей на локальном оборудовании и снижения задержек при генерации токенов. arXiv · Исследования и наука Термодинамические вычисления как способ снижения энергопотребления ИИ Исследователи представили архитектурный проект термодинамических вычислений, направленный на решение проблем энергоэффективности и задержек при выполнении задач машинного обучения. Система использует стохастические аналоговые процессы в физическом оборудовании, опираясь на динамику Ланжевена с настраиваемыми энергетическими потенциалами. Такой подход позволяет выполнять вычисления непосредственно в физической среде, минимизируя затраты энергии, характерные для традиционных цифровых архитектур. Hacker News · Исследования и наука Масштабируемость LLM и проблема «титановых транзиентов» Исследователи проанализировали влияние кратковременных, но интенсивных всплесков нагрузки, названных «титановыми транзиентами», на производительность крупномасштабных систем с LLM. Эти микро-события вызывают перегрузки в инфраструктуре инференса, приводя к деградации задержек и сбоям в распределенных вычислениях. Статья предлагает новые подходы к управлению ресурсами для обеспечения стабильной работы моделей при пиковых нагрузках в облачных средах. Hacker News · Инференс и железо Фундаментальный разбор архитектуры и оптимизации LLM-инференса Материал представляет собой глубокий технический обзор современных методов организации инференса больших языковых моделей. Автор систематизирует подходы к оптимизации задержек и пропускной способности, рассматривая ключевые узкие места в работе с памятью и вычислительными ресурсами. Статья охватывает эволюцию технологий от базовых реализаций до сложных распределенных систем, необходимых для масштабируемого обслуживания моделей в продакшене. Hacker News · Инфраструктура для агентов Оптимизация инференса LLM через использование In-Memory слоев Разработчики Mapbox представили метод оптимизации работы с большими языковыми моделями, позволяющий снизить нагрузку на систему за счет использования промежуточных слоев памяти. Подход фокусируется на композиции моделей, где часть вычислений переносится в оперативную память, что позволяет эффективно обрабатывать сложные запросы без необходимости постоянного обращения к тяжелым весам основной модели. Hacker News · Инференс и железо Почему пропускная способность памяти важнее TOPS при выборе железа для локальных LLM При выборе оборудования для запуска локальных языковых моделей пользователи часто ориентируются на показатель TOPS (триллионы операций в секунду), однако он не отражает реальную производительность. В задачах инференса LLM ключевым ограничивающим фактором является пропускная способность оперативной памяти, а не вычислительная мощность NPU, что делает выбор архитектуры памяти критически важным для скорости генерации токенов. Hacker News · Инфраструктура для агентов Инференс-инжиниринг: как оптимизировать работу LLM в продакшене Инференс-инжиниринг стал критически важной дисциплиной для компаний, внедряющих LLM. Это область на стыке машинного обучения и системной инженерии, сфокусированная на снижении задержек (latency), оптимизации стоимости токенов и обеспечении стабильности моделей при высоких нагрузках. Основная задача инженеров — превратить экспериментальные модели в масштабируемые сервисы, способные эффективно обрабатывать тысячи запросов в секунду.

← Все материалы