GitHub · 17.07.2026 ·Инференс и железо

Запуск Gemma 2 27B на MacBook с 2 ГБ оперативной памяти

Проект turbo-fieldfare представил метод оптимизированного инференса для модели Gemma 2 27B, позволяющий запускать её на устройствах Apple с процессорами серии M, используя всего 2 ГБ оперативной памяти. Решение базируется на архитектуре A4B (Activation-aware 4-bit), которая значительно снижает требования к ресурсам при сохранении работоспособности нейросети на потребительском «железе» без необходимости в мощных GPU.

Технология использует специфические методы квантования и управления памятью, адаптированные под архитектуру Apple Silicon. Это позволяет выполнять инференс больших языковых моделей на стандартных ноутбуках, которые ранее были ограничены объемом доступной оперативной памяти. Разработка ориентирована на локальное выполнение задач, исключая необходимость в облачных вычислениях для работы с моделями подобного класса.

Данный подход открывает возможности для интеграции тяжелых моделей в локальные агентные системы и приложения, работающие непосредственно на клиентских устройствах. Оптимизация памяти достигается за счет агрессивного сжатия весов и эффективной работы с кэшем, что делает запуск моделей с десятками миллиардов параметров доступным для широкого круга пользователей MacBook.

Ключевые факты

Модель: Gemma 2 27B (в реализации A4B).
Требования к памяти: ~2 ГБ RAM.
Целевое оборудование: Apple MacBook с процессорами M-серии.
Метод оптимизации: Activation-aware 4-bit (A4B) квантование.
Репозиторий проекта: drumih/turbo-fieldfare на GitHub.

Источник: GitHub

Обсудить с ИИ

Похожие материалы

Hacker News · Инференс и железо Запуск моделей Gemma на Apple Neural Engine Разработчики реализовали запуск нейросетей семейства Gemma на аппаратном ускорителе Apple Neural Engine (ANE). Использование специализированного чипа вместо стандартных ядер GPU позволяет значительно оптимизировать энергопотребление и повысить производительность при инференсе локальных моделей на устройствах Mac. Это открывает новые возможности для запуска LLM на потребительском «железе» Apple с высокой энергоэффективностью. Hacker News · Инференс и железо Оптимизация локального инференса на устройствах с ограниченной памятью Запуск современных LLM на потребительском оборудовании требует жесткого контроля ресурсов. Статья описывает стратегию управления локальным бюджетом памяти на примере Mac M2 с 16 ГБ ОЗУ. Автор анализирует баланс между квантованием моделей, выбором архитектур и эффективным использованием системной памяти для поддержания стабильной работы ИИ-инструментов в условиях ограниченного «железа». Hacker News · Инференс и железо Запуск моделей Gemma 3 на чистом C++ с ускорением Metal Разработчик представил легковесную реализацию инференса для семейства моделей Gemma 3, написанную на чистом C++. Проект использует фреймворк Apple Metal для аппаратного ускорения вычислений на графических процессорах Apple Silicon. Решение позволяет запускать современные языковые модели локально с высокой производительностью, минимизируя зависимости от тяжелых библиотек и сторонних сред исполнения, что упрощает интеграцию в нативные приложения. Hacker News · Инференс и железо Запуск модели Qwen 3.6 на Mac Mini M4: опыт и производительность Автор протестировал работу языковой модели Qwen 3.6 на компактном компьютере Mac Mini с процессором M4 и 16 ГБ оперативной памяти. Эксперимент демонстрирует возможности локального инференса современных LLM на потребительском «железе» Apple, оценивая скорость генерации токенов, потребление ресурсов системы и стабильность работы при выполнении повседневных задач в рамках агентных сценариев. Hacker News · Инференс и железо Оптимальный сетап для локального запуска LLM на Mac Studio с чипом M4 Max Владельцы новых Mac Studio с чипом M4 Max и 128 ГБ объединенной памяти обсуждают лучшие конфигурации для локального инференса тяжелых моделей. Основной фокус дискуссии сосредоточен на выборе инструментов для эффективного использования пропускной способности памяти Apple Silicon, позволяющей запускать квантованные модели с десятками миллиардов параметров без необходимости в серверных GPU. Hacker News · Инференс и железо Запуск тяжелых LLM на локальном железе через потоковую передачу весов Сальваторе Санфилиппо (antirez) продемонстрировал метод запуска крупной языковой модели Kimi K3 на локальном оборудовании с ограниченной видеопамятью. Используя технику потоковой передачи весов модели непосредственно с диска или сети, он добился работы системы на MacBook M5 Max с 128 ГБ оперативной памяти, минуя необходимость полной загрузки всей модели в VRAM. The Decoder · Инференс и железо Bonsai 27B: модель с навыками рассуждения, работающая на iPhone Компания PrismML представила технологию сжатия, позволившую уместить 27-миллиардную модель Bonsai 27B в объем менее 4 ГБ. Это позволяет запускать полноценную модель с продвинутыми навыками логического вывода локально на смартфонах Apple. Разработка сохраняет до 90% исходной производительности, демонстрируя минимальные потери в задачах по программированию и математике, что открывает новые возможности для мобильного ИИ. GitHub · Инференс и железо Запуск 744B-модели GLM-5.2 на потребительском железе с 25 ГБ RAM Проект Colibri позволяет запускать массивную модель GLM-5.2 (744B MoE) на обычном компьютере с 25 ГБ оперативной памяти. Инструмент использует движок на чистом языке C без внешних зависимостей, который подгружает экспертов модели с диска по мере необходимости. Это решение значительно снижает порог входа для работы с тяжелыми нейросетями, требующими огромных вычислительных ресурсов. Hacker News · Инференс и железо Оптимизация запуска Qwen3.5-122B на Mac Studio Разработчик устранил критические ошибки в реализации инференса, которые препятствовали стабильной работе крупной языковой модели Qwen3.5-122B на аппаратном обеспечении Apple Mac Studio. Исправление позволило использовать модель весом 122 миллиарда параметров в качестве повседневного инструмента, обеспечив корректную работу памяти и вычислительных мощностей при локальном запуске на архитектуре Apple Silicon. Hacker News · Инференс и железо Бенчмарк скорости инференса LLM на чипах Apple Silicon Опубликованы результаты замеров производительности инференса больших языковых моделей на процессорах Apple Silicon. Исследование охватывает широкий спектр чипов серии M, предоставляя данные по скорости генерации токенов в секунду для различных конфигураций памяти и моделей. Эти метрики помогают оценить реальные возможности локального запуска ИИ на потребительском оборудовании Apple.

← Все материалы