Hacker News · 09.07.2026 ·Инференс и железо

Прямая передача состояний между LLM на одном GPU

Исследователи реализовали механизм обмена «мыслями» между двумя нейросетями через передачу «сырых» активаций в оперативной памяти одного потребительского GPU. Метод позволяет моделям взаимодействовать напрямую, минуя стадию генерации текста, что значительно ускоряет процесс передачи контекста и снижает накладные расходы при совместной работе нескольких агентов на ограниченном аппаратном обеспечении.

Традиционные подходы к агентной оркестрации требуют, чтобы одна модель полностью сформировала текстовый ответ, который затем парсится и передается другой модели. Новый подход, реализованный в проекте One-GPU-Lab, работает на уровне скрытых состояний (hidden states). Это позволяет передавать семантическую информацию между слоями разных моделей практически мгновенно, сохраняя векторное представление данных без потерь, характерных для токенизации.

Технология открывает возможности для создания сложных агентных систем, где специализированные модели могут «общаться» друг с другом в реальном времени. Использование одного GPU для таких задач делает архитектуру доступной для локального запуска и тестирования, устраняя необходимость в сложных сетевых запросах или распределенных вычислительных кластерах для простых агентных цепочек.

Ключевые факты

Метод использует прямую передачу тензоров активации между слоями разных моделей в памяти видеокарты.
Реализация позволяет избежать этапа декодирования текста, что сокращает задержки и экономит вычислительные ресурсы.
Проект протестирован на потребительском GPU, доказывая эффективность подхода для локальных систем.
Технология ориентирована на оптимизацию взаимодействия между агентами в рамках единого вычислительного процесса.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Инфраструктура для агентов LLM-d: распределенный инференс больших языковых моделей Проект LLM-d предлагает архитектурное решение для распределенного запуска LLM, позволяя объединять вычислительные мощности нескольких узлов для инференса моделей, которые не помещаются в память одного GPU. Система использует механизм разделения весов модели между участниками сети, что снижает требования к локальному «железу» и позволяет запускать тяжелые архитектуры на потребительском оборудовании. Hacker News · Инференс и железо DualPath: новый метод оптимизации пропускной способности памяти при работе LLM Исследователи представили DualPath — архитектурное решение, устраняющее «узкое горлышко» пропускной способности памяти при инференсе агентных LLM. Метод разделяет потоки данных для обработки весов модели и контекста, что позволяет значительно ускорить генерацию токенов в сценариях с длинным контекстом и частыми обращениями к памяти, характерными для современных автономных агентов. Hacker News · Инфраструктура для агентов Новый подход к компиляции для LLM и моделей мира Исследователи представили концепцию специализированного компилятора, предназначенного для оптимизации работы LLM и моделей мира. Система переводит высокоуровневые агентные задачи в эффективный машинный код, минимизируя задержки при выполнении сложных логических цепочек. Это решение направлено на повышение производительности систем, работающих в режиме реального времени, и создание более надежной инфраструктуры для будущих автономных ИИ-агентов. Hacker News · Машинное обучение Компиляция агентных рабочих процессов в веса LLM Исследователи представили метод компиляции сложных агентных рабочих процессов непосредственно в веса больших языковых моделей. Вместо использования внешних оркестраторов или многошаговых промптов, логика выполнения задач «запекается» в архитектуру модели. Это позволяет значительно сократить задержки при инференсе и снизить потребность в дополнительных вычислительных ресурсах для управления цепочками рассуждений агента. NVIDIA Technical Blog · Машинное обучение Оптимизация GPU-коммуникаций для масштабного молекулярного моделирования NVIDIA представила руководство по использованию GPU-initiated communication для ускорения молекулярной динамики. Метод позволяет графическим процессорам напрямую управлять передачей данных между узлами, минуя центральный процессор. Это значительно снижает задержки в высоконагруженных вычислительных системах, где симуляции атомных взаимодействий требуют обмена огромными массивами данных в реальном времени, повышая общую эффективность масштабируемых научных вычислений. NVIDIA Technical Blog · Машинное обучение Оптимизация обучения LLM через неравномерный тензорный параллелизм NVIDIA представила метод неравномерного тензорного параллелизма (Nonuniform Tensor Parallelism), направленный на повышение эффективности обучения крупномасштабных языковых моделей. Технология позволяет оптимизировать использование вычислительных ресурсов при работе на тысячах GPU, минимизируя время простоя и повышая показатель goodput — долю полезного времени вычислений в общем процессе обучения, что критически важно для сокращения затрат и ускорения разработки моделей. Hacker News · Оркестрация агентов Latent Collaboration: новый подход к взаимодействию в мультиагентных системах Исследователи представили фреймворк Latent Collaboration, который оптимизирует взаимодействие между ИИ-агентами через скрытые представления, а не только через текстовые промпты. Метод позволяет агентам обмениваться высокоуровневой информацией, что значительно повышает эффективность выполнения сложных задач и снижает количество ошибок при координации действий в динамических средах, где требуется высокая степень согласованности между участниками системы. Hacker News · Безопасность и алайнмент Скрытая передача данных в мультиагентных системах через использование инструментов Исследователи обнаружили новый вектор скрытой передачи информации в мультиагентных системах, использующих LLM. Метод позволяет агентам обмениваться данными через вызовы инструментов (tool use), которые остаются незаметными для стандартных систем мониторинга и фильтрации контента. Это создает риски для безопасности, так как скрытые сообщения могут быть встроены в параметры функций, не вызывая подозрений у систем безопасности. Hacker News · Оркестрация агентов Перенос оркестрации ИИ-агентов в браузер Разработчики Esri представили концепцию переноса логики оркестрации ИИ-агентов непосредственно в браузер пользователя. Такой подход позволяет минимизировать задержки при обработке запросов, повысить приватность данных за счет локальных вычислений и снизить нагрузку на серверную инфраструктуру. Использование клиентских мощностей открывает новые возможности для создания интерактивных агентных систем, работающих в режиме реального времени без постоянного обращения к облачным API. Hacker News · Инференс и железо Запуск мультимодальной модели LFM-2.0 через WebGPU в браузере Liquid AI представила реализацию мультимодальной модели LFM-2.0, работающую полностью в браузере через технологию WebGPU. Решение позволяет выполнять инференс нейросети на стороне клиента без необходимости обращения к серверным мощностям. Это открывает возможности для создания легковесных агентных интерфейсов и интерактивных приложений, требующих обработки изображений и текста непосредственно на устройстве пользователя с минимальной задержкой.

← Все материалы