Разработчик устранил критические ошибки в реализации инференса, которые препятствовали стабильной работе крупной языковой модели Qwen3.5-122B на аппаратном обеспечении Apple Mac Studio. Исправление позволило использовать модель весом 122 миллиарда параметров в качестве повседневного инструмента, обеспечив корректную работу памяти и вычислительных мощностей при локальном запуске на архитектуре Apple Silicon.

Проблема заключалась в неэффективном управлении тензорами и ошибках при распределении нагрузки на графические ядра, что приводило к сбоям при выполнении сложных запросов. Оптимизация затронула механизмы квантования и взаимодействия с Metal Performance Shaders, что позволило значительно снизить задержки при генерации токенов и повысить общую стабильность системы при длительных сессиях работы с моделью.

Данный кейс демонстрирует возможности запуска тяжелых моделей класса «frontier» на потребительском железе высокого уровня. Успешная адаптация Qwen3.5-122B показывает, что при правильной настройке стека инференса локальные рабочие станции могут эффективно справляться с задачами, которые ранее требовали серверных кластеров или облачных API, сохраняя при этом приватность данных и отсутствие затрат на токены.

Ключевые факты

  • Модель Qwen3.5-122B успешно адаптирована для стабильной работы на Mac Studio.
  • Устранены три критических бага, вызывавших падение системы при выполнении инференса.
  • Оптимизация позволила использовать модель в режиме «daily driver» на локальном железе.
  • Решение опирается на доработку взаимодействия с библиотеками Apple Silicon для ускорения вычислений.