Hacker News · 16.06.2026 ·Инференс и железо

Экономия 67% на инференсе с Ray и vLLM на AMD MI325X

Команда Anyscale опубликовала исследование, в котором продемонстрировала значительную экономию на инференсе моделей большого языка. Используя Ray и vLLM на процессорах AMD MI325X, удалось достичь сокращения затрат на 67% за счёт разнесения (disaggregation) префикса и декодирования.

В исследовании показано, как распределение вычислений между разными узлами позволяет оптимизировать использование ресурсов. Это особенно важно для разработчиков ИИ-агентов, где инференс моделей может составлять значительную часть затрат.

Ray — это фреймворк для распределённых вычислений, а vLLM — библиотека для эффективного инференса моделей большого языка. Комбинация этих технологий с процессорами AMD MI325X позволяет значительно снизить стоимость инференса без потери производительности.

Для команды Jarv это важно, так как позволяет рассмотреть альтернативные решения для инференса, которые могут снизить затраты на развёртывание и эксплуатацию ИИ-агентов. Использование распределённых вычислений и оптимизации на уровне железа может стать ключевым фактором в конкурентоспособности продукта.

Источник: Hacker News

Похожие материалы

arXiv · Инференс и железо Оптимизация INT8 вычислений для диффузионных трансформеров на потребительских GPU Исследователи из Ideogram представили новый подход к оптимизации инференса диффузионных трансформеров на потребительских GPU. В статье, опубликованной на arXiv, они показывают, что посттрейнинговая квантование в INT8 (W8A8) часто оказывается медленнее, чем альтернативы в FP8 и NF4, несмотря на ожидания. Это связано с тем, что в текущих реализациях веса и активации квантуются только для того, чтобы сразу же деквантоваться обратно в bf16 и выполнять матричное умножение в этом формате. Hacker News · Экономика ИИ Компании сокращают расходы на ИИ из-за роста затрат Компании по всему миру сталкиваются с резким ростом затрат на разработку и внедрение ИИ-решений. По данным The Economist, расходы на обучение и инференс моделей выросли в несколько раз за последние два года, что заставляет даже крупные игроки пересматривать свои бюджеты. NVIDIA Technical Blog · Инференс и железо NVIDIA Blackwell установила рекорд в инференсе LLM для финансов NVIDIA Blackwell установила новый рекорд в инференсе больших языковых моделей (LLM) для финансовых приложений, согласно результатам тестов STAC-AI. Новые графические процессоры Blackwell показали значительное улучшение производительности по сравнению с предыдущими поколениями, что делает их идеальными для обработки сложных финансовых данных. NVIDIA Technical Blog · Инференс и железо Ускорение обучения моделей с JAX и MaxText на NVIDIA Blackwell NVIDIA представила новый подход к ускорению обучения больших языковых моделей (LLM) с использованием фреймворка JAX и библиотеки MaxText на платформе NVIDIA Blackwell. Основное внимание уделено увеличению пропускной способности, что критически важно при обучении моделей на триллионах токенов и тысячах ускорителей. arXiv · Оптимизация декодирования в ИИ-агентах Новый метод декодирования для ускорения работы ИИ-агентов Исследователи из MIT и Google Research предложили новый подход к декодированию в языковых моделях, который может значительно ускорить работу ИИ-агентов. В статье, опубликованной на arXiv, они представляют метод Mean-Field Parallel Decoding, который позволяет генерировать токены параллельно, минимизируя задержки. Hacker News · Инференс и железо BLAKE3 на Zen 5: 13 ГБ/с для ускорения ИИ-агентов Разработчики из компании AMD представили впечатляющие результаты тестирования хеш-функции BLAKE3 на процессорах Zen 5. Новые чипы демонстрируют скорость хеширования до 13 ГБ/с, что в несколько раз превышает показатели предыдущих поколений. Это открывает новые возможности для оптимизации работы ИИ-агентов, особенно в задачах, требующих интенсивной обработки данных. Lobsters · Инференс и железо Альтернативы CUDA и OpenCL для инференса ИИ Компания Modular, специализирующаяся на разработке инфраструктуры для ИИ, выпустила пятую часть своего исследования, посвящённую демократизации вычислительных ресурсов для ИИ. В этом материале рассматриваются альтернативы CUDA и OpenCL, которые могут быть полезны для разработчиков ИИ-агентов, особенно в условиях ограниченного доступа к специализированному железу. Hacker News · Инференс и железо MLX-Optiq: квантование LLM для Apple Silicon Команда MLX представила MLX-Optiq — инструмент для переноса больших языковых моделей (LLM) на устройства Apple Silicon с поддержкой смешанной точности. Это решение позволяет значительно сократить потребление памяти и вычислительных ресурсов при инференсе моделей, что особенно важно для мобильных и встраиваемых устройств. arXiv · Оптимизация моделей для ИИ-агентов Persona-Pruner: как облегчить ИИ-агентов для ролевых игр Исследователи из MIT и других университетов представили Persona-Pruner — метод оптимизации языковых моделей для ролевых взаимодействий. Технология позволяет значительно сократить размер моделей, сохраняя их способность к ролевой игре. Это особенно важно для систем с множеством NPC (неигровых персонажей), где вычислительные затраты становятся критическими. Lobsters · Инференс и железо Масштабирование ИИ-систем до триллионов операций В 2024 году инфраструктура для запуска ИИ-моделей сталкивается с новыми вызовами. Видео от команды, работающей над системами, способными обрабатывать триллионы операций с плавающей точкой, демонстрирует подходы к масштабированию вычислений. Это особенно важно для локального инференса крупных моделей, что напрямую касается разработки ИИ-агентов.

← Все материалы