Hugging Face - Blog · 06.05.2026 ·Инференс и оптимизация

vLLM V1: как ServiceNow ускорил инференс без потери точности

ServiceNow представила обновлённую версию vLLM (v1), которая фокусируется на корректности перед исправлениями в RL (reinforcement learning). Новый подход позволяет ускорить инференс моделей без ущерба для точности, что особенно важно для агентов, работающих в реальном времени.

Ключевое отличие v1 — это изменение приоритетов: вместо быстрого исправления ошибок модель сначала стремится к максимальной корректности. Это достигается за счёт оптимизации архитектуры и алгоритмов, что позволяет снизить задержки при обработке запросов.

Для разработчиков ИИ-агентов, таких как Jarv, это важно, так как скорость и точность инференса напрямую влияют на пользовательский опыт. vLLM v1 может быть интегрирован в существующие системы для повышения производительности без необходимости перестройки всей инфраструктуры.

ServiceNow также отмечает, что v1 поддерживает широкий спектр моделей, включая те, которые используются в агентных системах. Это делает решение универсальным и применимым для различных задач, от обработки естественного языка до более сложных сценариев, требующих высокой точности.

Источник: Hugging Face - Blog

Похожие материалы

arXiv · ИИ-агенты и научные лаборатории LabVLA: ИИ-агенты для выполнения научных экспериментов Исследователи представили LabVLA — фреймворк, который позволяет ИИ-агентам не только анализировать научные данные и генерировать гипотезы, но и выполнять физические действия в лабораториях. Это важный шаг в интеграции ИИ в реальные научные процессы, где до сих пор требуется человеческое вмешательство. Hacker News · Локальный запуск моделей Локальный запуск моделей стал реальностью В последнее время локальный запуск больших языковых моделей (LLM) стал значительно проще и доступнее. Это связано с развитием технологий, которые позволяют запускать мощные модели даже на обычных ноутбуках. Например, модели вроде GPT-4 или Llama 2 теперь можно развернуть локально с помощью таких фреймворков, как Ollama или LM Studio. Это открывает новые возможности для разработчиков, которые хотят создавать ИИ-агенты с минимальными затратами на инфраструктуру. arXiv · Обучение ИИ-агентов Новый метод обучения LLM через промежуточное RL Исследователи предложили новый подход к обучению языковых моделей (LLM) с использованием reinforcement learning (RL) на промежуточном этапе обучения. В статье, опубликованной на arXiv, авторы показывают, что традиционные методы RL с редкими наградами (sparse reward RL) сильно зависят от начальной подготовки модели. arXiv · Диагностика ошибок в LLM Новый метод обнаружения ошибок в цепочках рассуждений LLM Исследователи из MIT и Университета Карнеги-Меллона предложили новый подход к выявлению ошибок в цепочках рассуждений языковых моделей (LLM) без использования меток. Их метод, основанный на операдной теории, позволяет обнаруживать несоответствия в логических цепочках, которые модели строят при решении сложных задач. Hacker News · Оркестрация ИИ-агентов Новый фреймворк для консультации агентов с другими моделями Разработчики из Rainе представили фреймворк Consult-LLM, который позволяет ИИ-агентам консультироваться с другими языковыми моделями. Это решение может значительно расширить возможности агентов, предоставляя им доступ к знаниям и экспертизе различных моделей. arXiv · Оркестрация знаний для ИИ-агентов Agents-K1: новый подход к оркестрации научных знаний для ИИ-агентов Исследователи из MIT и других ведущих университетов представили Agents-K1 — фреймворк, направленный на улучшение научной оркестрации знаний для ИИ-агентов. В отличие от существующих решений, которые часто ограничиваются поверхностным анализом научных работ, Agents-K1 фокусируется на ключевых сущностях, утверждениях, доказательствах, механизмах и методологических линиях, что критически важно для научного мышления. NVIDIA Technical Blog · ИИ-агенты и действия World-Action Models: от воображения к действию NVIDIA представила концепцию World-Action Models (WAM), новых моделей, которые сочетают в себе возможности визуально-языковых моделей (VLM) с возможностью выполнения действий. Эти модели начинают с предобученного VLM-основания и адаптируют его для выполнения конкретных задач, что делает их перспективными для создания ИИ-агентов, способных не только понимать, но и взаимодействовать с окружающим миром. arXiv · Контекст-осознанное обучение для ИИ-агентов ContextRL: контекст-осознанное обучение для улучшения работы ИИ-агентов Исследователи из MIT и других ведущих университетов представили новый метод ContextRL, который улучшает способность языковых моделей (LLM) работать с длинными и сложными контекстами. Проблема заключается в том, что традиционные LLM часто не могут выделить ключевые детали в объемных данных, будь то строка в логах или мелкий элемент на изображении. ContextRL использует методы подкрепляющего обучения (RL), чтобы улучшить долгосрочное рассуждение и работу с мультимодальными данными. NVIDIA Technical Blog · Инференс и масштабирование Как платформа NVIDIA Vera Rubin решает проблему масштабирования агентного ИИ NVIDIA представила платформу Vera Rubin, которая направлена на решение ключевых проблем масштабирования агентного ИИ. Основная сложность заключается в неопределённости траекторий агентов, которые включают действия, наблюдения и взаимодействия с окружающей средой. Это делает традиционные методы инференса менее эффективными, так как агентский ИИ требует гибкости и адаптивности в реальном времени. arXiv · ИИ и наука ИИ автоматизирует проверку воспроизводимости исследований Учёные из Гарварда и MIT разработали метод, позволяющий использовать большие языковые модели (LLM) для автоматизированной оценки воспроизводимости исследований в социальных и поведенческих науках. Обычно проверка воспроизводимости требует ручного анализа данных независимыми исследователями, что занимает много времени и ресурсов. Новый подход позволяет значительно ускорить этот процесс, применяя LLM для анализа опубликованных данных и оценки их достоверности.

← Все материалы