Исследователи представили метод запуска больших языковых моделей внутри доверенных сред исполнения (TEE), таких как Intel SGX. Решение позволяет выполнять инференс полностью локально, исключая облачных провайдеров из цепочки доверия. Аппаратная верификация гарантирует, что модель и данные остаются конфиденциальными, а код выполняется именно так, как заявлено, без возможности вмешательства со стороны хостинг-провайдера.
Основная проблема текущих облачных решений заключается в необходимости доверять инфраструктуре провайдера, которая имеет доступ к оперативной памяти и данным пользователя. Использование TEE создает изолированный анклав, где данные шифруются на аппаратном уровне. Даже при наличии физического доступа к серверу, содержимое памяти остается недоступным для чтения извне, что критически важно для работы с чувствительной корпоративной информацией.
Технология опирается на механизм удаленной аттестации Intel, который позволяет пользователю криптографически подтвердить, что запущенная модель является подлинной и не была модифицирована. Это открывает путь к созданию «черных ящиков» для ИИ-инференса, где владелец инфраструктуры не видит ни входных промптов, ни весов модели, ни генерируемых ответов, обеспечивая полную приватность вычислений.
Ключевые факты
- Использование технологии Intel SGX для создания изолированных анклавов памяти.
- Реализация удаленной аттестации для проверки целостности модели без участия облачного оператора.
- Исключение необходимости доверия к облачному провайдеру (Zero Trust) при работе с LLM.
- Защита данных от несанкционированного доступа даже на уровне администратора хостовой системы.
- Возможность развертывания приватных моделей в публичных облаках с сохранением гарантий конфиденциальности.