Команда Functio-AI выпустила оптимизированную версию кода для локального запуска модели Claude от Anthropic. По заявлениям разработчиков, новая версия работает в 2–8 раз быстрее оригинального кода.
Оптимизация включает улучшения в обработке токенов, кэшировании и управлении памятью. Это позволяет значительно сократить время инференса, что особенно важно для разработчиков ИИ-агентов, где скорость обработки запросов критична.
Проект доступен на GitHub под лицензией Apache 2.0, что делает его открытым для дальнейшего развития и интеграции в различные системы. Это важный шаг для сообщества, так как локальный запуск крупных языковых моделей остаётся сложной задачей.
Для Jarv такая оптимизация может стать ключевым фактором в выборе моделей для интеграции. Ускорение инференса позволяет снизить задержки в работе агентов и повысить их эффективность, особенно в сценариях, требующих быстрого ответа.