Tonic AI представила PrivacyBench — комплексный набор данных и методологию для оценки качества деидентификации текста. Инструмент позволяет измерять эффективность удаления персональной информации (PII) из наборов данных, используемых для обучения моделей. Бенчмарк оценивает как полноту удаления чувствительных данных, так и сохранение полезности синтезированного текста для дальнейшего использования в задачах машинного обучения.
Проблема защиты конфиденциальности при подготовке датасетов остается критической для компаний, работающих с чувствительной информацией. Традиционные методы маскировки часто либо недостаточно надежны, либо делают данные непригодными для обучения нейросетей. PrivacyBench предлагает стандартизированный подход к тестированию алгоритмов, позволяя разработчикам сравнивать различные методы синтеза и анонимизации на единой шкале метрик.
Использование бенчмарка помогает автоматизировать проверку пайплайнов обработки данных, минимизируя риск утечки персональных данных в процессе подготовки обучающих выборок. Это особенно актуально для секторов с жестким регулированием, таких как медицина и финтех, где качество данных напрямую влияет на точность моделей, а требования к приватности исключают использование «сырой» информации.
Ключевые факты
- PrivacyBench включает набор данных для тестирования способности моделей удалять или заменять PII-сущности.
- Основная метрика оценивает баланс между уровнем приватности (отсутствие утечек) и полезностью данных (сохранение контекста и структуры).
- Инструмент доступен в открытом доступе на платформе Hugging Face для интеграции в существующие ML-пайплайны.
- Разработка ориентирована на компании, занимающиеся синтезом данных для обучения LLM и других моделей, требующих соблюдения стандартов безопасности.