Сальваторе Санфилиппо, создатель Redis, опубликовал проект h3.c — минималистичный движок для запуска больших языковых моделей на компьютерах Apple Silicon. Инструмент написан на языке C и ориентирован на максимальную простоту реализации, позволяя выполнять инференс моделей семейства Llama 3 с использованием аппаратного ускорения Metal, при этом сохраняя компактность и отсутствие сложных зависимостей.
Проект представляет собой реализацию инференса «с нуля», что позволяет глубоко изучить механизмы работы LLM на уровне взаимодействия с железом. В отличие от тяжеловесных фреймворков, h3.c фокусируется на минимальном потреблении ресурсов и прозрачности кода. Автор реализовал поддержку квантованных весов, что критически важно для запуска моделей на потребительском оборудовании с ограниченным объемом оперативной памяти.
Решение демонстрирует, как можно эффективно использовать возможности графических ядер Apple для выполнения матричных вычислений, необходимых для работы трансформеров. Это важный шаг для разработчиков, стремящихся к созданию легковесных локальных решений без необходимости интеграции громоздких библиотек, что упрощает встраивание ИИ-функционала в нативные приложения для macOS.
Ключевые факты
- Проект реализован на языке C с использованием API Apple Metal для прямого взаимодействия с GPU.
- Основная цель разработки — обеспечение инференса моделей Llama 3 на архитектуре Apple Silicon.
- Код проекта ориентирован на минимализм, отсутствие внешних зависимостей и простоту чтения.
- Реализована поддержка квантования весов для оптимизации использования памяти при запуске моделей.
- Автор проекта — Сальваторе Санфилиппо, известный как создатель системы Redis.