Исследователи представили механизм Dithered Gaussian, предлагающий новый подход к обеспечению дифференциальной приватности в машинном обучении. В отличие от традиционного дискретного гауссовского механизма, новый метод выполняет дискретизацию выходных данных, а не самого шума. Это позволяет сохранять строгие гарантии приватности, значительно снижая требования к вычислительным ресурсам и объему генерируемой случайности при обучении моделей.
Основная проблема существующих методов дифференциальной приватности заключается в сложности реализации дискретных распределений, которые требуют точной генерации шума для предотвращения утечек данных. Предложенная конструкция интерпретирует дискретизацию как этап постобработки, что упрощает интеграцию в существующие пайплайны обучения. Такой подход позволяет использовать стандартные генераторы случайных чисел с плавающей запятой, не жертвуя при этом теоретической защищенностью алгоритма.
Метод особенно актуален для обучения нейронных сетей на чувствительных данных, где критически важно минимизировать влияние шума на точность модели. За счет эффективного управления случайностью, Dithered Gaussian Mechanism позволяет достичь тех же показателей приватности при меньших затратах на вычисления, что делает его перспективным инструментом для масштабируемых систем машинного обучения, работающих с персональной информацией.
Ключевые факты
- Метод Dithered Gaussian Mechanism заменяет дискретизацию шума на дискретизацию выходных данных.
- Конструкция сохраняет все математические гарантии приватности, присущие стандартному гауссовскому механизму.
- Новый подход позволяет избежать сложностей, связанных с реализацией точных дискретных распределений в вычислительных средах.
- Метод оптимизирует использование случайности, что снижает накладные расходы при обучении моделей с дифференциальной приватностью.