Jan — это open-source платформа, позволяющая запускать большие языковые модели локально на персональных компьютерах без необходимости подключения к облачным API. Инструмент предоставляет графический интерфейс для взаимодействия с моделями, обеспечивая приватность данных и независимость от сторонних провайдеров. Платформа поддерживает работу с различными архитектурами моделей, включая Llama, Mistral и другие популярные решения с открытым исходным кодом.
Проект ориентирован на разработчиков и пользователей, которым требуется полный контроль над средой исполнения ИИ. Jan работает как на CPU, так и на GPU, автоматически настраивая параметры инференса в зависимости от доступных аппаратных ресурсов. Это позволяет интегрировать локальные модели в рабочие процессы, требующие обработки конфиденциальной информации или работы в офлайн-режиме.
Архитектура приложения построена с учетом модульности, что дает возможность подключать сторонние модели через стандартные форматы, такие как GGUF. Пользователи могут настраивать системные промпты, параметры генерации и управлять историей чатов непосредственно на локальной машине, исключая передачу данных на внешние серверы.
Ключевые факты
- Платформа поддерживает работу на macOS, Windows и Linux.
- Поддерживаются модели в формате GGUF, что позволяет запускать их на потребительском «железе».
- Интерфейс обеспечивает полную локальную обработку данных без отправки запросов в облако.
- Проект распространяется под открытой лицензией, доступен для модификации и интеграции в локальные системы.
- Реализована поддержка API-совместимости, что позволяет использовать Jan как локальный сервер для других приложений.