差分プライバシーとは、特定の個人の記録がデータセットに含まれているかどうかが分析結果や公開データから分からないことを保証する数学的なプライバシー基準である。出力に制御されたノイズを加えて個々の記録の影響を一定の範囲内に抑え、その範囲をプライバシー予算(イプシロン)で表す。2006年にCynthia Dworkらが提案した。
氏名などの識別子を削除するだけの匿名化とは異なり、他のデータと突き合わせて個人を再特定する攻撃に対しても数学的に保証された防御を提供する。AI分野では、学習過程に差分プライバシーを適用する手法(DP-SGD)や、元データの統計的特性を保ちつつ個々の記録との結びつきを断った差分プライバシー合成データを生成してモデル学習に用いる手法が代表的である。Apple、Google、米国国勢調査局などが統計の収集や公開にこの技術を適用している。