差分隐私(differential privacy)是一种数学化的隐私保护标准,保证无法从分析结果或公开数据中推断出某个特定个人的记录是否包含在数据集中。它通过向输出添加受控噪声,将单条记录的影响限制在一定范围内,该范围以隐私预算(epsilon)表示。这一概念由Cynthia Dwork等人于2006年提出。
与仅删除姓名等标识符的去标识化不同,差分隐私对通过与其他数据比对来重新识别个人的攻击提供了有数学保证的防御。在AI领域,典型应用包括在训练过程中应用差分隐私(DP-SGD),以及生成差分隐私合成数据用于模型训练,这种数据保留原始数据的统计特性,同时切断与个体记录的关联。Apple、Google和美国人口普查局等都已将该技术应用于数据收集和统计发布。