arXiv · 15.06.2026 ·Оптимизация инференса в ИИ-агентах

Как снизить задержки в системах с потоковыми данными

Исследователи из MIT и Google предложили новый подход к обработке потоковых данных в системах машинного обучения, который может существенно снизить задержки и нагрузку на серверы. В статье, опубликованной на arXiv, они описывают метод, который отделяет процесс инференса от обновления состояния, используя вероятностное прореживание (probabilistic thinning).

Проблема в том, что в традиционных системах каждое входящее событие вызывает операцию чтения-модификации-записи в постоянное хранилище. Это приводит к высоким задержкам, конкуренции за ресурсы и высоким операционным затратам. Авторы предлагают решать эту проблему, обновляя состояние не при каждом событии, а с определённой вероятностью, что позволяет значительно снизить нагрузку.

Для разработчиков ИИ-агентов этот подход может быть полезен, так как многие агенты работают с потоковыми данными и требуют низкой задержки. Например, в системах, где агент должен быстро реагировать на изменения в окружении, такой метод может существенно улучшить производительность.

Исследование также показывает, что предложенный метод может снизить задержки на 30-50% при сохранении точности предсказаний. Это делает его особенно привлекательным для применения в реальных системах, где задержки критичны.

Источник: arXiv

Похожие материалы

arXiv · Оптимизация декодирования в ИИ-агентах Новый метод декодирования для ускорения работы ИИ-агентов Исследователи из MIT и Google Research предложили новый подход к декодированию в языковых моделях, который может значительно ускорить работу ИИ-агентов. В статье, опубликованной на arXiv, они представляют метод Mean-Field Parallel Decoding, который позволяет генерировать токены параллельно, минимизируя задержки. arXiv · Робототехника и ИИ-агенты Как улучшить надёжность ИИ-агентов в робототехнике Исследователи из MIT и других ведущих университетов предложили новый подход к улучшению надёжности ИИ-агентов в робототехнике. В своей работе, опубликованной на arXiv, они рассматривают проблему обнаружения аномалий в поведении роботов, управляемых генеративными моделями. The latest research from Google · Оптимизация моделей для ИИ-агентов Sequential Attention: как ускорить модели без потери точности Исследователи Google предложили новый подход к оптимизации трансформеров — Sequential Attention. Он позволяет значительно сократить вычислительные затраты на инференс, не жертвуя точностью. В основе метода лежит идея последовательного внимания: вместо параллельной обработки всех токенов модель фокусируется на одном токене за раз, используя информацию из предыдущих шагов. Это снижает сложность вычислений с O(n²) до O(n log n), что делает модели более эффективными для локального развертывания и работы в реальном времени. Hugging Face - Blog · Оптимизация инференса Как асинхронность ускоряет обработку запросов в ИИ-агентах Исследователи из Hugging Face представили новый подход к обработке запросов в ИИ-моделях — асинхронный континуальный батчинг. Этот метод позволяет значительно ускорить обработку запросов, особенно в сценариях с высокой нагрузкой, что критически важно для ИИ-агентов, работающих в реальном времени. The latest research from Google · Оркестрация и планирование задач Новые алгоритмы планирования для динамических систем Исследователи Google представили новый подход к планированию задач в условиях изменяющейся пропускной способности. В статье рассматриваются алгоритмы, которые оптимизируют распределение ресурсов в системах с переменной нагрузкой, что особенно актуально для распределённых вычислений и оркестрации ИИ-агентов. NVIDIA Technical Blog · Многоагентные системы в квантовой финансовой аналитике Как многоагентные системы автоматизируют поиск финансовых сигналов NVIDIA представила исследование, в котором показано, как многоагентные системы могут автоматизировать и оптимизировать процесс поиска финансовых сигналов в квантовой аналитике. В статье рассматривается архитектура, которая использует несколько агентов для анализа данных, выявления паттернов и принятия решений на основе этих сигналов. arXiv · Обучение и генерализация в ИИ-агентах Новый фреймворк для обучения ИИ-агентов в условиях зависимости данных Исследователи из Arxiv представили новый фреймворк для обучения ИИ-агентов, который учитывает зависимость данных. В статье "Learning with Simulators: No Regret in a Computationally Bounded World" авторы рассматривают минимальные предположения, необходимые для генерализации в условиях, где данные не являются независимыми. Это особенно важно для ИИ-агентов, которые часто работают с последовательными или взаимосвязанными данными, например, в задачах планирования или взаимодействия с окружающей средой. arXiv · ИИ-агенты и память Новый подход к редактированию знаний в ИИ-агентах Исследователи из MIT и Университета Карнеги-Меллона представили новый метод редактирования знаний в ИИ-моделях, который позволяет обновлять конкретные факты, не затрагивая близлежащие, но нерелевантные данные. В статье, опубликованной на arXiv, авторы предлагают использовать память, которая извлекается во время инференса, и адаптеры для коррекции предпочтений модели. arXiv · Прогнозирование и моделирование Новый подход к долгосрочному прогнозированию временных рядов Исследователи из Arxiv представили новый метод HAMON, который использует пассивное оптическое смешивание последовательностей для долгосрочного прогнозирования временных рядов. Этот подход демонстрирует, что простые линейные и частотные модели могут быть конкурентоспособными в задачах долгосрочного прогнозирования, что ставит под сомнение необходимость использования сложных трансформерных моделей в этом контексте. arXiv · Оптимизация токенизации для временных рядов Адаптивная компрессия токенов для временных рядов в LLM Исследователи из MIT и Google Research предложили новый подход к обработке временных рядов (TS) в языковых моделях. В статье, опубликованной на arXiv, они утверждают, что традиционный подход к токенизации, где числовые и текстовые данные обрабатываются одинаково, неэффективен. Временные ряды и текст имеют разную структуру информации, и их обработка должна учитывать эти различия.

← Все материалы