Simon Willison's Weblog · 16.06.2026 ·Модели и релизы

Qwen3.6-27B: эффективная локальная модель для кодинга

Разработчик Georgi Gerganov поделился опытом использования локальной модели Qwen3.6-27B для задач программирования. В течение последнего месяца и полу он активно применял её на M2 Ultra и RTX 5090, отмечая её полезность в повседневных задачах.

Модель помогает в рутинных задачах, связанных с поддержкой проекта ggml-org. Хотя задачи не являются сложными, модель значительно ускоряет работу. Gerganov отмечает, что использовал бы её ещё чаще, если бы не необходимость оптимизации инференса.

Qwen3.6-27B демонстрирует высокую производительность в локальном режиме, что делает её привлекательной для разработчиков, работающих с большими языковыми моделями. Это подтверждает тенденцию к переходу на локальные решения для задач программирования.

Источник: Simon Willison's Weblog

Похожие материалы

Hacker News · Инференс и железо Qwen 3.6 93B на двух RTX 3090 NVLink: 187 токенов в секунду Команда Augmented Reality Virtual Reality (AR VR) опубликовала результаты тестирования модели Qwen 3.6 93B с использованием MTP (Multi-Query Tensor Parallelism) на конфигурации из двух видеокарт RTX 3090 с NVLink. В результате удалось достичь скорости инференса в 187 токенов в секунду. Это значительное улучшение по сравнению с предыдущими показателями, что делает модель более пригодной для локального использования, включая разработку ИИ-агентов. Hacker News · Инференс и железо FlashQwen – новый CUDA-движок для ускоренного инференса Qwen3 Разработчики представили FlashQwen – инференс-движок для модели Qwen3, написанный с нуля на CUDA. Это решение направлено на оптимизацию работы с моделями большого языка, особенно в условиях ограниченных ресурсов. FlashQwen использует современные методы ускорения вычислений, включая кэширование и оптимизацию ядра CUDA, что позволяет значительно сократить время инференса. Hacker News · Модели и релизы Локальные модели для кодинга вместо Claude/GPT На Hacker News обсуждают возможность замены облачных моделей, таких как Claude и GPT, на локальные аналоги для ежедневной работы с кодом. Пользователи делятся опытом использования локальных моделей, таких как Code Llama, Starcoder и другие, которые могут работать на собственных серверах или мощных ноутбуках. Hacker News · Инференс и железо SubQ 1.1 Small: локальный запуск моделей с улучшенной производительностью Команда Subquadratic представила обновлённую версию SubQ 1.1 Small — фреймворка для локального запуска моделей. Новая версия предлагает улучшенную производительность и снижение требований к ресурсам, что делает её более доступной для использования на обычных ноутбуках и персональных компьютерах. Lobsters · Инференс и железо ZML: фреймворк для локального запуска моделей ZML (Zero to Metal) — это фреймворк, который позволяет запускать большие языковые модели на локальных устройствах, включая ноутбуки и серверы. Он оптимизирован для работы с ограниченными ресурсами, что делает его полезным для разработчиков, которые хотят развернуть модели без облачных сервисов. Hugging Face - Blog · Модели и релизы Mellum2: новая 12-миллиардная модель от JetBrains для локального использования JetBrains представила Mellum2 — новую 12-миллиардную модель, основанную на архитектуре Mixture-of-Experts (MoE). Эта модель разработана для эффективного локального использования, что делает её особенно интересной для разработчиков ИИ-агентов, которым важна производительность на локальных устройствах. Hacker News · Модели и релизы Локальный запуск моделей стал реальностью В последнее время локальный запуск больших языковых моделей (LLM) стал значительно проще и доступнее. Это связано с развитием технологий, которые позволяют запускать мощные модели даже на обычных ноутбуках. Например, модели вроде GPT-4 или Llama 2 теперь можно развернуть локально с помощью таких фреймворков, как Ollama или LM Studio. Это открывает новые возможности для разработчиков, которые хотят создавать ИИ-агенты с минимальными затратами на инфраструктуру. NVIDIA Technical Blog · Инференс и железо Ускорение обучения моделей с JAX и MaxText на NVIDIA Blackwell NVIDIA представила новый подход к ускорению обучения больших языковых моделей (LLM) с использованием фреймворка JAX и библиотеки MaxText на платформе NVIDIA Blackwell. Основное внимание уделено увеличению пропускной способности, что критически важно при обучении моделей на триллионах токенов и тысячах ускорителей. Together.ai · Оркестрация агентов Как слабые модели справляются с длинным контекстом Исследователи из Together AI предложили новый подход к обработке длинных текстов с помощью небольших языковых моделей. Они разработали фреймворк «Divide & Conquer», который разбивает длинные документы на параллельные части и обрабатывает их с помощью нескольких моделей. Hacker News · Модели и релизы SubQ 1.1: линейное масштабирование внимания с 98% точностью Исследователи представили обновлённую версию SubQ 1.1, модели, использующей линейно-масштабируемое разреженное внимание. Новый алгоритм обеспечивает 98% точность извлечения данных при работе с 12 миллионами токенов.

← Все материалы