Hacker News · 13.07.2026 ·Инференс и железо

Высокопроизводительный движок для запуска Qwen 3.6 35B на RTX 5090

Разработан специализированный инференс-движок на C/CUDA, оптимизированный для работы с моделью Qwen 3.6 35B на потребительском и профессиональном оборудовании нового поколения. Решение сфокусировано на минимизации задержек и максимизации пропускной способности при выполнении вычислений на архитектуре Blackwell и видеокартах RTX 5090, что позволяет эффективно использовать потенциал современных GPU для локального запуска тяжелых LLM.

Проект реализует низкоуровневую оптимизацию ядер CUDA, адаптированную под специфические веса и структуру модели Qwen 3.6. В отличие от универсальных фреймворков, данный движок исключает избыточные слои абстракции, обеспечивая прямой доступ к вычислительным ресурсам графического процессора. Это позволяет достичь высокой скорости генерации токенов, что критично для задач реального времени и агентных систем, требующих минимального времени отклика.

Использование архитектуры Blackwell в сочетании с кастомным инференс-стеком позволяет значительно сократить время обработки запросов по сравнению со стандартными реализациями. Разработка ориентирована на энтузиастов и инженеров, стремящихся выжать максимум производительности из актуального «железа» при работе с моделями среднего размера, которые требуют высокой скорости вычислений при ограниченном объеме видеопамяти.

Ключевые факты

Движок написан на C и CUDA для обеспечения максимальной производительности при инференсе.
Оптимизация проведена специально для модели Qwen 3.6 35B.
Целевое оборудование включает новейшие GPU архитектуры Blackwell и видеокарты RTX 5090.
Реализация направлена на снижение задержек (latency) и увеличение количества токенов в секунду.
Проект доступен в виде открытого исходного кода для интеграции в локальные системы обработки данных.

Источник: Hacker News

Обсудить с ИИ

Похожие материалы

Hacker News · Инференс и железо FlashQwen – новый CUDA-движок для ускоренного инференса Qwen3 Разработчики представили FlashQwen – инференс-движок для модели Qwen3, написанный с нуля на CUDA. Это решение направлено на оптимизацию работы с моделями большого языка, особенно в условиях ограниченных ресурсов. FlashQwen использует современные методы ускорения вычислений, включая кэширование и оптимизацию ядра CUDA, что позволяет значительно сократить время инференса. Hacker News · Инференс и железо Qwen 3.6 93B на двух RTX 3090 NVLink: 187 токенов в секунду Команда Augmented Reality Virtual Reality (AR VR) опубликовала результаты тестирования модели Qwen 3.6 93B с использованием MTP (Multi-Query Tensor Parallelism) на конфигурации из двух видеокарт RTX 3090 с NVLink. В результате удалось достичь скорости инференса в 187 токенов в секунду. Это значительное улучшение по сравнению с предыдущими показателями, что делает модель более пригодной для локального использования, включая разработку ИИ-агентов. Hacker News · Модели и релизы Анализ производительности модели Qwen 2.5 32B для локальной разработки Выпуск модели Qwen 2.5 32B стал значимым событием для локального инференса, предлагая оптимальный баланс между вычислительными требованиями и качеством генерации. Модель демонстрирует высокую эффективность в задачах программирования и логического вывода, сопоставимую с более крупными проприетарными решениями, что делает её предпочтительным выбором для запуска на потребительском железе без потери точности ответов. Hacker News · Инференс и железо Оптимизация инференса Qwen 2.5 32B на мощностях DGX Автор статьи делится опытом развертывания и эксплуатации модели Qwen 2.5 32B на серверном оборудовании DGX. В материале рассматривается процесс настройки инфраструктуры для обеспечения высокой производительности инференса при решении задач генерации кода. Основное внимание уделено техническим аспектам оптимизации задержек и пропускной способности при работе с тяжелыми весами моделей в продакшн-окружении. Hacker News · Инференс и железо Запуск локальных LLM на встроенной графике AMD Ryzen 8700G Исследование демонстрирует возможности запуска современных языковых моделей на встроенном графическом ядре процессора AMD Ryzen 8700G. Использование iGPU Radeon 780M позволяет достичь производительности 13–15 токенов в секунду для модели Gemma 4 и 9–12 токенов для Qwen 3.6, что делает интегрированные решения жизнеспособным вариантом для локального инференса без необходимости в дискретных видеокартах. Hacker News · Инференс и железо Оптимизация запуска Qwen3.5-122B на Mac Studio Разработчик устранил критические ошибки в реализации инференса, которые препятствовали стабильной работе крупной языковой модели Qwen3.5-122B на аппаратном обеспечении Apple Mac Studio. Исправление позволило использовать модель весом 122 миллиарда параметров в качестве повседневного инструмента, обеспечив корректную работу памяти и вычислительных мощностей при локальном запуске на архитектуре Apple Silicon. Hacker News · Инференс и железо Запуск модели Qwen 3.5 прямо в браузере через WebGPU Сообщество webml представило реализацию модели Qwen 3.5, работающую непосредственно в браузере с использованием технологии WebGPU. Это решение позволяет выполнять инференс нейросети на стороне клиента без необходимости отправки данных на сервер или установки тяжелого локального ПО. Технология обеспечивает высокую скорость генерации текста, используя вычислительные мощности видеокарты пользователя через стандартный веб-интерфейс. Hacker News · Инференс и железо Оптимизация локального инференса: опыт запуска LLM на RTX 5080 Разработчик реализовал локальный чат-бот на базе одной видеокарты RTX 5080, столкнувшись с рядом технических ограничений при развертывании производительных моделей. Проект демонстрирует практический подход к управлению энергопотреблением и доступностью вычислительных мощностей через Wake-on-LAN, что позволяет эффективно использовать домашнюю инфраструктуру для работы с LLM без необходимости постоянной работы оборудования в режиме ожидания. NVIDIA Technical Blog · Данные и инжиниринг Проектирование GPU-ускоренных движков запросов с NVIDIA GQE NVIDIA представила архитектурные подходы к созданию движков запросов, использующих ускорение на GPU для обработки данных. Основное внимание уделено преодолению ограничений пропускной способности памяти и ввода-вывода. Использование технологий HBM и специализированных библиотек позволяет значительно повысить производительность аналитических систем, работающих с большими объемами данных, что критически важно для современных пайплайнов машинного обучения и высоконагруженных баз данных. Simon Willison's Weblog · Модели и релизы Qwen3.6-27B: эффективная локальная модель для кодинга Разработчик Georgi Gerganov поделился опытом использования локальной модели Qwen3.6-27B для задач программирования. В течение последнего месяца и полу он активно применял её на M2 Ultra и RTX 5090, отмечая её полезность в повседневных задачах.

← Все материалы