Squish — это специализированный сервер для локального запуска больших языковых моделей, оптимизированный под архитектуру Apple Silicon. Инструмент фокусируется на минимизации задержек и эффективном использовании аппаратных ресурсов чипов серии M, обеспечивая высокую скорость генерации токенов для локальных приложений без необходимости обращения к облачным API или сложным инфраструктурным решениям.
Разработчики Squish сделали ставку на нативную интеграцию с графическим ядром Apple, что позволяет достичь производительности, сопоставимой с профессиональными решениями для инференса, но в рамках локальной среды. Проект ориентирован на разработчиков, которым требуется низкая латентность при работе с моделями на персональных устройствах, сохраняя при этом приватность данных и полный контроль над вычислительным процессом.
Архитектура сервера спроектирована таким образом, чтобы снизить накладные расходы на управление памятью и планирование задач, что критически важно при работе с LLM на устройствах с ограниченным объемом объединенной памяти. Это решение упрощает развертывание агентных систем и локальных чат-интерфейсов, требующих мгновенного отклика при выполнении задач на стороне пользователя.
Ключевые факты
- Squish разработан специально для оптимизации работы LLM на процессорах Apple Silicon (серии M1, M2, M3, M4).
- Основной упор сделан на минимизацию времени до первого токена и увеличение общей пропускной способности при локальном выполнении.
- Инструмент предоставляет серверный API, совместимый с распространенными стандартами, что позволяет интегрировать его в существующие агентные стеки.
- Решение позволяет запускать современные модели с открытыми весами непосредственно на ноутбуках и десктопах Apple без использования сторонних облачных мощностей.