Hacker News · 19.06.2026 ·Инференс и железо

Запуск локальных LLM на видеокартах AMD через Vulkan

Появилась возможность запускать современные языковые модели на устаревшем оборудовании, включая видеокарты AMD серии RX 580, выпущенные в 2017 году. Решение опирается на использование графического API Vulkan, что позволяет обойти зависимость от проприетарных технологий NVIDIA CUDA или специфических драйверов ROCm, которые зачастую не поддерживают старые архитектуры GPU.

Использование Vulkan обеспечивает кроссплатформенную совместимость и позволяет задействовать вычислительные мощности видеокарт для инференса моделей в локальной среде. Это открывает доступ к локальному запуску ИИ на широком парке потребительского железа, которое ранее считалось непригодным для подобных задач из-за отсутствия поддержки специализированных библиотек ускорения.

Данный подход снижает порог входа для экспериментов с локальными моделями, позволяя выполнять вычисления на доступных графических процессорах. Техническая реализация демонстрирует эффективность использования открытых стандартов для оптимизации работы нейросетей вне экосистемы доминирующих аппаратных вендоров.

Источник: Hacker News

Похожие материалы

Hacker News · Модели и релизы Локальный запуск моделей стал реальностью В последнее время локальный запуск больших языковых моделей (LLM) стал значительно проще и доступнее. Это связано с развитием технологий, которые позволяют запускать мощные модели даже на обычных ноутбуках. Например, модели вроде GPT-4 или Llama 2 теперь можно развернуть локально с помощью таких фреймворков, как Ollama или LM Studio. Это открывает новые возможности для разработчиков, которые хотят создавать ИИ-агенты с минимальными затратами на инфраструктуру. Hacker News · Инференс и железо AMD расширяет поддержку ROCm для чипов Strix Halo Компания AMD официально подтвердила статус полноценной поддержки программной платформы ROCm для своих новых процессоров Strix Halo. Это решение знаменует собой важный сдвиг в стратегии компании, направленный на упрощение работы с высокопроизводительными вычислениями на архитектуре x86 в сочетании с мощной интегрированной графикой. Ранее разработчикам приходилось сталкиваться с ограничениями при запуске специфических ИИ-задач на мобильных чипах, однако теперь программный стек для обучения и инференса моделей становится доступным «из коробки». Hacker News · Обучение и дообучение Оптимизация локального обучения и инференса LLM с Unsloth Библиотека Unsloth позволяет значительно ускорить процесс дообучения и запуска популярных языковых моделей на локальном оборудовании. Инструмент оптимизирует использование видеопамяти и повышает скорость вычислений при работе с архитектурами Llama, Mistral и Phi. За счет переработки алгоритмов градиентного спуска и использования специализированных ядер CUDA, разработчики добиваются снижения потребления ресурсов до 70% при сохранении точности весов. Hacker News · Инфраструктура для агентов Распределенный инференс LLM между серверами Проект Shard предлагает решение для запуска больших языковых моделей в условиях ограниченных аппаратных ресурсов. Инструмент позволяет распределять вычисления между несколькими графическими процессорами, установленными на разных физических машинах, используя метод конвейерного параллелизма (pipeline parallelism). Hacker News · Инференс и железо Экономия 67% на инференсе с Ray и vLLM на AMD MI325X Команда Anyscale опубликовала исследование, в котором продемонстрировала значительную экономию на инференсе моделей большого языка. Используя Ray и vLLM на процессорах AMD MI325X, удалось достичь сокращения затрат на 67% за счёт разнесения (disaggregation) префикса и декодирования. Lobsters · Инференс и железо Альтернативы CUDA и OpenCL для инференса ИИ Компания Modular, специализирующаяся на разработке инфраструктуры для ИИ, выпустила пятую часть своего исследования, посвящённую демократизации вычислительных ресурсов для ИИ. В этом материале рассматриваются альтернативы CUDA и OpenCL, которые могут быть полезны для разработчиков ИИ-агентов, особенно в условиях ограниченного доступа к специализированному железу. Hacker News · Инференс и железо Локальный запуск модели GLM-5.2 через Unsloth Разработчики платформы Unsloth представили руководство по локальному запуску модели GLM-5.2. Инструментарий позволяет оптимизировать процесс инференса, значительно снижая требования к видеопамяти и повышая скорость генерации токенов на потребительском оборудовании. Hacker News · Инференс и железо Qwen 3.6 93B на двух RTX 3090 NVLink: 187 токенов в секунду Команда Augmented Reality Virtual Reality (AR VR) опубликовала результаты тестирования модели Qwen 3.6 93B с использованием MTP (Multi-Query Tensor Parallelism) на конфигурации из двух видеокарт RTX 3090 с NVLink. В результате удалось достичь скорости инференса в 187 токенов в секунду. Это значительное улучшение по сравнению с предыдущими показателями, что делает модель более пригодной для локального использования, включая разработку ИИ-агентов. Hacker News · Инференс и железо Llama.cpp: локальный запуск LLM на C/C++ Llama.cpp — это проект, который позволяет запускать большие языковые модели (LLM) локально на устройствах с ограниченными ресурсами. Разработанный на C/C++, он обеспечивает высокую производительность и эффективность, что делает его привлекательным для разработчиков, работающих с ИИ-агентами. Hacker News · Инференс и железо AMD Ryzen AI Halo для разработчиков ИИ AMD представила Ryzen AI Halo — программу для разработчиков ИИ, которая включает доступ к новейшим процессорам с интегрированными нейросетевыми ускорителями. Это решение может значительно ускорить инференс моделей, что особенно важно для локального запуска ИИ-агентов.

← Все материалы