Представлен Prompt-scrub — инструмент с открытым исходным кодом, предназначенный для автоматического обнаружения и удаления персональных данных (PII) из запросов и ответов LLM. Решение работает локально, обеспечивая конфиденциальность данных при взаимодействии с внешними моделями. Утилита позволяет разработчикам интегрировать этап фильтрации чувствительной информации непосредственно в пайплайны обработки данных перед отправкой запросов к API.
Инструмент решает проблему утечки конфиденциальной информации при использовании облачных ИИ-сервисов. В отличие от облачных решений для анонимизации, Prompt-scrub не передает данные на сторонние серверы, что критично для корпоративных сред с жесткими требованиями к безопасности и комплаенсу. Система использует комбинацию регулярных выражений и специализированных моделей для поиска имен, адресов, номеров телефонов и других идентификаторов.
Разработчики могут использовать библиотеку как промежуточное звено в цепочке вызовов LLM. Это позволяет очищать контекст в RAG-системах или агентных архитектурах, где в промпты часто попадают неструктурированные данные из внутренних баз или логов. Инструмент поддерживает гибкую настройку правил фильтрации, позволяя адаптировать процесс под специфические типы данных конкретной организации.
Ключевые факты
- Инструмент работает полностью локально, исключая передачу данных на внешние серверы для обработки.
- Поддерживает фильтрацию как входящих промптов, так и исходящих ответов от языковых моделей.
- Ориентирован на интеграцию в существующие рабочие процессы разработки ИИ-приложений и агентных систем.
- Решение распространяется с открытым исходным кодом для обеспечения прозрачности алгоритмов фильтрации.