MarkTechPost · 14.07.2026 ·Инференс и железо

PrismML представила Bonsai 27B: экстремально сжатые версии модели Qwen3.6

Компания PrismML выпустила Bonsai 27B — оптимизированные версии языковой модели Qwen3.6-27B, использующие квантование до 1-битных и тернарных значений. Эти сборки позволяют запускать мощную модель с 27 миллиардами параметров на потребительском оборудовании, включая ноутбуки и смартфоны, сохраняя при этом архитектурную целостность оригинальной модели при значительном снижении требований к оперативной памяти.

Технология базируется на экстремальном сжатии весов, что делает возможным работу нейросети в условиях ограниченных вычислительных ресурсов. Тернарная версия использует веса {-1, 0, +1}, достигая показателя 1,71 бита на параметр, что обеспечивает баланс между точностью ответов и компактностью. 1-битная версия оперирует только значениями {-1, +1}, что еще сильнее сокращает размер модели, делая её доступной для локального инференса на устройствах с минимальным объемом VRAM.

Релиз распространяется под лицензией Apache 2.0, что упрощает внедрение данных моделей в сторонние проекты и локальные агентные системы. Использование подобных методов квантования является важным шагом для развития автономных ИИ-агентов, способных выполнять сложные задачи без обращения к облачным API, что критически важно для обеспечения приватности и снижения задержек при обработке данных.

Ключевые факты

Базовая модель: Qwen3.6-27B, архитектура осталась без изменений.
Тернарная версия: использует веса {-1, 0, +1} при 1,71 бита на параметр, размер составляет 5,9 ГБ.
1-битная версия: использует бинарные веса {-1, +1} для максимального сжатия.
Лицензирование: обе версии доступны под лицензией Apache 2.0.
Целевые устройства: оптимизировано для запуска на ноутбуках и мобильных устройствах.

Источник: MarkTechPost

Обсудить с ИИ

Похожие материалы

Hacker News · Инференс и железо Bonsai 27B: первая 1-битная LLM класса 27B для запуска на смартфонах Разработчики представили Bonsai 27B — первую языковую модель с 27 миллиардами параметров, оптимизированную для работы на мобильных устройствах. Благодаря использованию 1-битной квантованной архитектуры, модель сохраняет высокую производительность при экстремально низких требованиях к памяти и вычислительным мощностям, что открывает возможности для полноценного локального запуска сложных ИИ-систем на смартфонах без обращения к облачным серверам. Hacker News · Инференс и железо Релиз ThinkingCap-Qwen3.6-27B: оптимизация процесса рассуждения LLM Разработчики представили ThinkingCap-Qwen3.6-27B — специализированную версию модели Qwen3.6, оптимизированную для сокращения затрат на генерацию «мыслительных» токенов. Модель сохраняет функциональность базовой архитектуры, но требует на 50% меньше вычислительных ресурсов для этапа рассуждения, что значительно повышает скорость работы и снижает стоимость инференса при сохранении высокого качества логических выводов. Hacker News · Оценка и бенчмарки Бенчмарк локальных моделей Qwen: эффективность 4B против 9B Независимое исследование производительности моделей Qwen на мобильных устройствах показало неожиданные результаты: версия с 4 миллиардами параметров демонстрирует качество ответов, сопоставимое с моделью 9B в ряде задач. Анализ фокусируется на возможностях запуска LLM непосредственно на железе смартфона, оценивая баланс между потреблением ресурсов и точностью генерации текста в условиях ограниченной памяти. Hacker News · Инференс и железо Релиз Qwen-AgentWorld-35B-A3B: локальная модель мира для агентных систем Представлена модель Qwen-AgentWorld-35B-A3B — специализированная «модель мира», оптимизированная для работы на потребительском оборудовании. Архитектура использует 35 миллиардов параметров с активным использованием 3 миллиардов на токен, что позволяет эффективно решать задачи агентного планирования и взаимодействия с внешней средой, сохраняя при этом высокую скорость генерации и низкие требования к оперативной памяти. Hacker News · Инференс и железо Выбор компактных локальных LLM до 2 млрд параметров Пользователи сообщества Hacker News обсуждают наиболее эффективные языковые модели с количеством параметров менее 2 млрд, способные работать при потреблении оперативной памяти менее 3 ГБ. В фокусе внимания оказались модели, оптимизированные для запуска на устройствах с ограниченными ресурсами, включая смартфоны и бюджетные ноутбуки, без существенной потери качества генерации текста и скорости отклика. Hacker News · Модели и релизы Релиз Qwythos-9B: новая модель на базе архитектуры Qwen2.5 Команда Empero-AI представила Qwythos-9B — специализированную языковую модель с 9 миллиардами параметров, построенную на базе архитектуры Qwen2.5. Модель оптимизирована для творческого письма и ролевых сценариев, предлагая расширенное контекстное окно до 1 миллиона токенов. Релиз ориентирован на пользователей, которым требуется высокая производительность при работе с длинными текстами и сложными нарративными структурами в локальных средах. Hacker News · Модели и релизы Анализ производительности модели Qwen 2.5 32B для локальной разработки Выпуск модели Qwen 2.5 32B стал значимым событием для локального инференса, предлагая оптимальный баланс между вычислительными требованиями и качеством генерации. Модель демонстрирует высокую эффективность в задачах программирования и логического вывода, сопоставимую с более крупными проприетарными решениями, что делает её предпочтительным выбором для запуска на потребительском железе без потери точности ответов. Hacker News · Инференс и железо Qwen 3.6 93B на двух RTX 3090 NVLink: 187 токенов в секунду Команда Augmented Reality Virtual Reality (AR VR) опубликовала результаты тестирования модели Qwen 3.6 93B с использованием MTP (Multi-Query Tensor Parallelism) на конфигурации из двух видеокарт RTX 3090 с NVLink. В результате удалось достичь скорости инференса в 187 токенов в секунду. Это значительное улучшение по сравнению с предыдущими показателями, что делает модель более пригодной для локального использования, включая разработку ИИ-агентов. MarkTechPost · Инференс и железо Liquid AI выпустила компактную модель LFM2.5-230M для локального запуска Компания Liquid AI представила LFM2.5-230M — свою самую компактную нейросеть с 230 млн параметров. Модель оптимизирована для работы на периферийных устройствах, демонстрируя высокую скорость генерации текста. Она поддерживает популярные фреймворки инференса, такие как llama.cpp и vLLM, и показывает превосходство над более крупными аналогами в задачах извлечения данных и выполнения инструкций. Hacker News · Оценка и бенчмарки Анализ производительности модели Qwen 27B в реальных задачах Автор блога Barajas подверг сомнению статус модели Qwen 27B как «золотой середины» между компактными и флагманскими LLM. Несмотря на высокие показатели в синтетических бенчмарках, практическое тестирование выявило существенные ограничения модели в сложных логических задачах и при работе с длинным контекстом, что делает её менее эффективной альтернативой более крупным моделям для продакшн-задач.

← Все материалы