Проект DeepSeekV4SSD позволяет запускать крупную языковую модель DeepSeek-V4-Flash-0731 на компьютерах Apple Mac с процессорами M-серии, используя SSD как расширение оперативной памяти. Это решение решает проблему нехватки VRAM при работе с тяжелыми весами, позволяя выполнять инференс на потребительском железе с ограниченным объемом объединенной памяти.
Техническая реализация опирается на методы оптимизации, которые минимизируют задержки при обмене данными между накопителем и оперативной памятью. Использование SSD в качестве кэша для весов модели позволяет запускать конфигурации, которые ранее требовали профессиональных графических станций с большим объемом видеопамяти. Это открывает возможности для локального тестирования и развертывания мощных моделей на ноутбуках и десктопах Apple.
Метод ориентирован на разработчиков, которым необходим локальный инференс для задач RAG или агентных систем, но чьи аппаратные ресурсы ограничены. Проект демонстрирует жизнеспособность стратегии оффлоадинга весов на высокоскоростные NVMe-накопители, что становится важным паттерном для развития локальной инфраструктуры ИИ.
Ключевые факты
- Реализация поддерживает модель DeepSeek-V4-Flash-0731.
- Оптимизация предназначена специально для архитектуры Apple Silicon (M1, M2, M3, M4).
- Основной механизм работы — эффективный оффлоадинг весов модели с SSD в оперативную память.
- Решение позволяет обходить аппаратные ограничения по объему объединенной памяти (Unified Memory) при запуске LLM.
- Проект доступен в виде открытого репозитория для самостоятельной сборки и тестирования.