Проект Charon представляет собой инфраструктурное решение для организации маркетплейса вычислительных мощностей, предназначенных для запуска больших языковых моделей. Основная особенность системы заключается в реализации сквозного шифрования (E2EE) на всех этапах передачи данных между пользователем и поставщиком вычислительных ресурсов. Такой подход позволяет заказчикам использовать сторонние мощности для инференса, сохраняя при этом полную конфиденциальность запросов и ответов, так как провайдеры не имеют доступа к содержимому передаваемой информации.
Архитектура платформы ориентирована на создание доверенной среды в условиях недоверенных узлов. В системе реализованы механизмы, исключающие возможность анализа трафика или перехвата данных со стороны владельцев серверов, предоставляющих GPU. Это достигается за счет интеграции криптографических протоколов, которые обеспечивают изоляцию вычислительного процесса от инфраструктурного слоя. Подобная модель позволяет масштабировать инференс моделей без необходимости передачи чувствительных данных в облачные сервисы крупных провайдеров.
Инструмент ориентирован на разработчиков и компании, работающие с конфиденциальными данными, которые требуют обработки с помощью LLM, но ограничены в собственных аппаратных ресурсах. Charon автоматизирует процесс поиска исполнителей и оплаты услуг, обеспечивая при этом техническую гарантию приватности. Решение позволяет интегрировать распределенные вычислительные мощности в существующие пайплайны обработки данных, минимизируя риски утечки интеллектуальной собственности или персональной информации при взаимодействии с внешними узлами сети.