LLM-Shield-Proxy представляет собой специализированный прокси-сервер для фильтрации персональных данных (PII) перед отправкой запросов к LLM. Инструмент ориентирован на работу в условиях ограниченных ресурсов, потребляя всего 24 МБ оперативной памяти. Решение обеспечивает защиту конфиденциальной информации на уровне инфраструктуры, предотвращая утечку данных при взаимодействии с внешними моделями.

Архитектура прокси спроектирована для интеграции в системы, где критически важна минимальная задержка и низкое потребление ресурсов. В отличие от тяжеловесных систем фильтрации, данный прокси работает по принципу «нулевого исходящего трафика» (Zero-Egress), перехватывая и маскируя чувствительные фрагменты текста до того, как они покинут контур локальной сети или доверенной среды.

Использование подобных прокси-слоев становится стандартом при построении корпоративных агентных систем. Это позволяет разработчикам соблюдать требования комплаенса и безопасности, не жертвуя производительностью инференса и не перегружая основные вычислительные мощности дополнительными процессами обработки данных.

Ключевые факты

  • Потребление оперативной памяти составляет около 24 МБ, что позволяет запускать прокси на устройствах с крайне ограниченными ресурсами.
  • Реализована концепция Zero-Egress, исключающая передачу PII-данных во внешние API без предварительной обработки.
  • Инструмент предназначен для встраивания в цепочки вызовов LLM в качестве промежуточного звена безопасности.
  • Проект ориентирован на минимизацию задержек (latency) при фильтрации запросов в реальном времени.