深度學(xué)習(xí)中的隱私保護(hù)技術(shù)綜述

01研究背景1.1隱私泄露風(fēng)險(xiǎn)目前，在人工智能的幾乎所有領(lǐng)域，深度學(xué)習(xí)技術(shù)已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)了傳統(tǒng)方法的性能，包括計(jì)算機(jī)視覺(jué)、音頻處理、自然語(yǔ)言處理、大數(shù)據(jù)分析等。推動(dòng)深度在各個(gè)領(lǐng)域取得巨大成功主要有以下幾個(gè)因素：(1)數(shù)據(jù)井噴，全球數(shù)據(jù)中心數(shù)據(jù)量在未來(lái)幾年年均增速40%。(2)計(jì)算能力突破，基于大型GPU集群的強(qiáng)大計(jì)算能力，使得訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的速度從2006年到2016年提升了255倍。(3)算法突破，算法突破推動(dòng)AI技術(shù)成熟和實(shí)用化。對(duì)于一些大型的網(wǎng)絡(luò)企業(yè)，用戶(hù)的照片、語(yǔ)音、視頻、文本等數(shù)據(jù)可以被收集和保存，以備將來(lái)使用。正因?yàn)槿绱耍疃葘W(xué)習(xí)領(lǐng)域中大部分成功的應(yīng)用都是大型組織，它們既有大量有價(jià)值的數(shù)據(jù)，又有足夠的計(jì)算能力來(lái)訓(xùn)練深度模型，以改進(jìn)其產(chǎn)品和服務(wù)。雖然深度學(xué)習(xí)帶來(lái)了巨大的好處，但它需要收集大量的數(shù)據(jù)，這些數(shù)據(jù)涉及用戶(hù)的隱私信息，例如用戶(hù)興趣、愛(ài)好、個(gè)人信息等，這些隱私數(shù)據(jù)的泄露會(huì)導(dǎo)致不可預(yù)估的財(cái)產(chǎn)以及生命安全問(wèn)題。1.2隱私保護(hù)相關(guān)法律隨著互聯(lián)網(wǎng)的快速發(fā)展以及隱私泄露問(wèn)題日益嚴(yán)重，為減輕隱私泄露帶來(lái)的負(fù)面影響，美國(guó)、歐盟、中國(guó)等國(guó)家正在不斷的通過(guò)完善數(shù)據(jù)安全和隱私保護(hù)法律法規(guī)對(duì)企業(yè)以及個(gè)人進(jìn)行監(jiān)管。美國(guó)是最早通過(guò)法律法規(guī)對(duì)隱私進(jìn)行保護(hù)的國(guó)家，其在1974年通過(guò)并發(fā)布的《隱私法案》是美國(guó)最重要的一部保護(hù)個(gè)人隱私的法律法規(guī)，到20世紀(jì)80年代又先后制定和頒布了《電子通訊隱私法案》《電腦匹配與隱私權(quán)法》以及《網(wǎng)上兒童隱私權(quán)保護(hù)法》。1980年，經(jīng)濟(jì)合作與發(fā)展組織（OECD）在《關(guān)于保護(hù)隱私和個(gè)人信息跨國(guó)流通指導(dǎo)原則》中揭示了個(gè)人信息保護(hù)八大原則，即收集限制原則、數(shù)據(jù)質(zhì)量原則、目的明確原則、使用限制原則、安全保障原則、公開(kāi)性原則、個(gè)人參與原則和問(wèn)責(zé)制原則。這些指導(dǎo)原則對(duì)全球各國(guó)的立法產(chǎn)生了巨大的影響，有“已經(jīng)成為制定個(gè)人信息保護(hù)文件的國(guó)際標(biāo)準(zhǔn)”之稱(chēng)。我國(guó)也在多部法律中對(duì)隱私權(quán)進(jìn)行保護(hù)，比如在《侵權(quán)責(zé)任法》中規(guī)定了若干種承擔(dān)侵權(quán)責(zé)任的方式；《中華人民共和國(guó)憲法》第三十八條規(guī)定：“中華人民共和國(guó)公民的人格尊嚴(yán)不受侵犯?！钡鹊?。同時(shí)我國(guó)還在制定專(zhuān)門(mén)的《個(gè)人信息保護(hù)法》《中華人民共和國(guó)網(wǎng)絡(luò)安全法》等法律對(duì)網(wǎng)絡(luò)數(shù)據(jù)以及用戶(hù)隱私進(jìn)行保護(hù)。本文總結(jié)了在使用深度學(xué)習(xí)的同時(shí)保護(hù)用戶(hù)隱私信息的方法，主要包括同態(tài)加密隱私保護(hù)技術(shù)、差分隱私保護(hù)技術(shù)。同態(tài)加密和差分隱私是密碼學(xué)中常見(jiàn)的隱私保護(hù)手段，這兩種方法被運(yùn)用于深度學(xué)習(xí)過(guò)程中的隱私保護(hù)，具有顯而易見(jiàn)的效果。02同態(tài)加密隱私保護(hù)技術(shù)2.1同態(tài)加密技術(shù)假設(shè)存在加密函數(shù)f，使得明文M加密后變成密文M’，明文N加密后變成密文N’，即f(M)=M’，f(N)=N’，存在f的解密函數(shù)f-1能夠?qū)加密后的密文解密成加密前的明文。將M’與N’相加得到P’，如果解密函數(shù)f-1對(duì)P’解密后的結(jié)果等于M和N相加的結(jié)果，即f-1(P’)=f-1(M’+N’)=M+N，則f是可以進(jìn)行同態(tài)加密的加密函數(shù)。同態(tài)加密可以分為加法同態(tài)、乘法同態(tài)以及全同態(tài)。加法同態(tài)指的是加密算法滿(mǎn)足f(M)+f(N)=f(M+N)，乘法同態(tài)指的是加密算法滿(mǎn)足f(M)*f(N)=f(M*N)。而全同態(tài)加密指的是一個(gè)加密函數(shù)同時(shí)滿(mǎn)足加法同態(tài)和乘法同態(tài)，全同態(tài)加密函數(shù)可以完成加減乘除、多項(xiàng)式求值、指數(shù)、對(duì)數(shù)、三角函數(shù)等運(yùn)算。常見(jiàn)的RSA算法對(duì)于乘法操作是同態(tài)的，Paillier算法則是對(duì)加法同態(tài)的，Gentry算法則是全同態(tài)的。2.2同態(tài)加密技術(shù)應(yīng)用2.2.1數(shù)據(jù)處理與隱私保護(hù)大數(shù)據(jù)時(shí)代下的海量個(gè)人信息存儲(chǔ)與處理是隱私保護(hù)面臨的關(guān)鍵問(wèn)題，用戶(hù)往往不希望將個(gè)人資料、保密文件、隱私信息存儲(chǔ)在服務(wù)提供商中，而人工智能時(shí)代又需要對(duì)這些用戶(hù)信息進(jìn)行挖掘分析。同態(tài)加密是解決這一矛盾的新技術(shù)，用戶(hù)可以將個(gè)人敏感信息加密后存儲(chǔ)在服務(wù)提供商或者云端服務(wù)中，服務(wù)器可以對(duì)密文進(jìn)行處理以及分析，并將密文結(jié)果返回給用戶(hù)，只有用戶(hù)能夠解密密文結(jié)果。2.2.2密文檢索當(dāng)越來(lái)越多的加密數(shù)據(jù)存儲(chǔ)在服務(wù)器或者云端時(shí)，對(duì)加密數(shù)據(jù)的檢索成為了一個(gè)急需解決的問(wèn)題。現(xiàn)有的密文檢索算法包括線性搜索、公鑰搜索和安全索引可以解決對(duì)服務(wù)端的加密數(shù)據(jù)進(jìn)行檢索問(wèn)題，然而這些方法需要花費(fèi)較高代價(jià)并且只能運(yùn)用于小規(guī)模數(shù)據(jù)集中。基于全同態(tài)加密的密文檢索方法可以直接對(duì)加密數(shù)據(jù)進(jìn)行檢索，對(duì)密文做基本的加法和乘法能夠有效降低運(yùn)算復(fù)雜度，同時(shí)也不改變相應(yīng)的明文順序，既保護(hù)了用戶(hù)的數(shù)據(jù)安全，又提高了密文的檢索效率。2.2.3數(shù)字水印目前數(shù)字水印技術(shù)已經(jīng)成熟地運(yùn)用在數(shù)字產(chǎn)品的版權(quán)保護(hù)中，然而數(shù)字水印系統(tǒng)也存在安全挑戰(zhàn)，例如對(duì)水印算法、水印密鑰的惡意攻擊，從而破譯水印并且偽造水印。使用同態(tài)加密技術(shù)對(duì)數(shù)字水印進(jìn)行加密后嵌入，在檢測(cè)水印時(shí)首先需要對(duì)水印進(jìn)行同態(tài)解密，該方法能夠有效抵抗數(shù)字水印的非授權(quán)攻擊。2.3

基于同態(tài)加密的深度學(xué)習(xí)中隱私保護(hù)技術(shù)同態(tài)加密的核心是能夠直接在密文上做運(yùn)算，運(yùn)算結(jié)果解密后與明文運(yùn)算結(jié)果相同，這是對(duì)用戶(hù)隱私的最直接和有效的保護(hù)手段。在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)過(guò)程中使用同態(tài)加密對(duì)數(shù)據(jù)加密然后分析計(jì)算，能夠很好地解決許多領(lǐng)域要求數(shù)據(jù)保密、安全的問(wèn)題。同態(tài)加密可以確保在密文上進(jìn)行計(jì)算而不進(jìn)行解密，從而解密的結(jié)果與對(duì)明文執(zhí)行相同計(jì)算得到的結(jié)果相同。由于目前的同態(tài)加密方案仍然存在許多局限，如只支持整數(shù)數(shù)據(jù)，需要固定的乘法深度，不能無(wú)限期地進(jìn)行加法和乘法運(yùn)算，全同態(tài)加密不支持比較和取最大值等操作。因此，現(xiàn)有的同態(tài)加密方案不能簡(jiǎn)單地應(yīng)用于機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)中。目前常用的解決策略有兩種：①通過(guò)安全的多方計(jì)算來(lái)構(gòu)造一種適合于基于同態(tài)加密的機(jī)器學(xué)習(xí)算法的協(xié)議，并通過(guò)執(zhí)行該協(xié)議來(lái)完成該算法；②尋求原始機(jī)器學(xué)習(xí)算法的近似算法，使其仍然可以使用同時(shí)不依賴(lài)交互方案，并且滿(mǎn)足同態(tài)加密方案的數(shù)據(jù)和操作要求。在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的預(yù)測(cè)過(guò)程中，利用同態(tài)加密算法的性質(zhì)對(duì)數(shù)據(jù)進(jìn)行加密，然后在加密訓(xùn)練集上進(jìn)行機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)的建模訓(xùn)練，同樣使用訓(xùn)練好的模型對(duì)加密的測(cè)試集進(jìn)行預(yù)測(cè)，返回的預(yù)測(cè)結(jié)果也是密文，從而有效地保護(hù)用戶(hù)隱私數(shù)據(jù)。在2007年，Orlandi就提出了利用同態(tài)加密技術(shù)結(jié)合多方安全計(jì)算使神經(jīng)網(wǎng)絡(luò)具有處理加密數(shù)據(jù)的能力，并且考慮到了神經(jīng)網(wǎng)絡(luò)本身的安全性。2011年，將基于同態(tài)加密的神經(jīng)網(wǎng)絡(luò)應(yīng)用于心電圖分類(lèi)中，可以實(shí)現(xiàn)遠(yuǎn)程服務(wù)器對(duì)客戶(hù)提供的生物醫(yī)學(xué)信號(hào)進(jìn)行分類(lèi)，而不獲取任何有關(guān)信號(hào)本身的信息和分類(lèi)的最終結(jié)果。2016年，提出一種可以應(yīng)用于加密數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)CryptoNets，同時(shí)作者證明云服務(wù)能夠?qū)⑸窠?jīng)網(wǎng)絡(luò)應(yīng)用于加密數(shù)據(jù)以進(jìn)行加密預(yù)測(cè)，并以加密的形式返回這些預(yù)測(cè)。這些加密的預(yù)測(cè)可以發(fā)送回能夠解密它們的密鑰所有者。該網(wǎng)絡(luò)對(duì)minist數(shù)據(jù)集的識(shí)別精度達(dá)到了99%。在2017年，在訓(xùn)練階段使用Chebyshef多項(xiàng)式來(lái)近似模擬激活函數(shù)，從而證明了利用加密數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，進(jìn)行加密預(yù)測(cè)，并以加密形式返回預(yù)測(cè)是可行的和實(shí)用的，該方法比CryptoNets在MNIST數(shù)據(jù)集上的精度提高了0.52％。為了解決基于全同態(tài)加密技術(shù)的機(jī)器學(xué)習(xí)巨大的計(jì)算開(kāi)銷(xiāo)問(wèn)題，提出了一種非共謀雙云模型(CloudA，CloudB)，該模型使用Paillier密碼系統(tǒng)提高運(yùn)算速度，減少運(yùn)算開(kāi)銷(xiāo)。在訓(xùn)練階段，加密也可以用來(lái)保護(hù)敏感數(shù)據(jù)集。利用Stone—Weierstrass理論，提出crypto-nets在密文上做預(yù)測(cè)，利用同態(tài)加密和對(duì)激活函數(shù)的修改以及對(duì)神經(jīng)網(wǎng)絡(luò)的激活函數(shù)和訓(xùn)練算法的修改，并證明了所提出的加密網(wǎng)絡(luò)的構(gòu)造是可行的。該方法為在不侵犯用戶(hù)隱私的情況下建立基于云的安全神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)服務(wù)奠定了基礎(chǔ)。提出了一種基于BGV加密方案的保密雙投影深度計(jì)算模型（PPDPDCM），給出直接在密文上訓(xùn)練神經(jīng)網(wǎng)絡(luò)的解決方案。目前，利用加密技術(shù)來(lái)保護(hù)機(jī)器學(xué)習(xí)以及深度學(xué)習(xí)中的用戶(hù)敏感數(shù)據(jù)已經(jīng)取得較大進(jìn)展，包括在預(yù)測(cè)階段以及訓(xùn)練階段的數(shù)據(jù)加密。但是在使用同態(tài)加密的過(guò)程中存在資源消耗的問(wèn)題，深度學(xué)習(xí)本身已經(jīng)消耗了大量的計(jì)算資源，結(jié)合同態(tài)加密技術(shù)將大大增加深度學(xué)習(xí)的計(jì)算量。如何在結(jié)合同態(tài)加密算法而盡量減少對(duì)深度學(xué)習(xí)性能的影響將是未來(lái)主要的研究方向。03差分隱私保護(hù)技術(shù)3.1差分隱私保護(hù)技術(shù)差分隱私的任務(wù)是提供一種關(guān)于輸出的概率分布的機(jī)制或者協(xié)議，允許用戶(hù)對(duì)數(shù)據(jù)進(jìn)行一定程度的修改，但不影響總體輸出，從而使得攻擊者無(wú)法知道數(shù)據(jù)集中關(guān)于個(gè)人的信息，達(dá)到隱私保護(hù)的作用。差分隱私指的是存在兩個(gè)之間至多相差一條記錄的數(shù)據(jù)集D和D’以及一個(gè)隱私算法A，Range(A)為A的取值范圍，若算法A在數(shù)據(jù)集D和D’上任意輸出結(jié)果O（O∈Range(A)）滿(mǎn)足不等Pr[A(D)=O]≤eε×Pr[A(D')=O]時(shí)，A滿(mǎn)足ε-差分隱私。差分隱私最主要的方法是在數(shù)據(jù)集中添加噪聲來(lái)實(shí)現(xiàn)的，常用的噪音機(jī)制包括Laplace機(jī)制和指數(shù)機(jī)制，Laplace機(jī)制適用于連續(xù)型數(shù)據(jù)集，而指數(shù)機(jī)制適用于離散型數(shù)據(jù)集。3.2深度學(xué)習(xí)中的差分隱私保護(hù)技術(shù)差分隱私(differentialprivacy)是一種基于差分隱私機(jī)制的隱私保護(hù)技術(shù)，這個(gè)概念是Dwork在2006年提出來(lái)的，通過(guò)在原始數(shù)據(jù)中引入噪聲，達(dá)到使至多相差1個(gè)數(shù)據(jù)的2個(gè)數(shù)據(jù)集查詢(xún)結(jié)果概率不可分的目的。差分隱私保護(hù)分為集中式學(xué)習(xí)和分布式學(xué)習(xí)兩大類(lèi)，Abadi于2016年提出的基于差分隱私的深度學(xué)習(xí)算法基于集中式學(xué)習(xí)，該方法在梯度下降的過(guò)程中利用梯度增大擾動(dòng)方法來(lái)報(bào)敏感數(shù)據(jù)，并詳細(xì)分析了差異化隱私的框架下的隱私成本。實(shí)驗(yàn)已經(jīng)證實(shí)了可以在適度的隱私預(yù)算下，以可管理的軟件復(fù)雜性、訓(xùn)練效率和模型質(zhì)量成本，訓(xùn)練具有非凸目標(biāo)的深度神經(jīng)網(wǎng)絡(luò)。2017年，提出用半監(jiān)督知識(shí)遷移方法來(lái)解決深度學(xué)習(xí)中訓(xùn)練數(shù)據(jù)隱私泄露問(wèn)題，以黑盒的方式將多個(gè)模型與不相交的數(shù)據(jù)集（例如來(lái)自不同用戶(hù)子集的記錄）相結(jié)合。由于改進(jìn)了隱私分析和半監(jiān)督學(xué)習(xí)，作者在mnist和svhn上實(shí)現(xiàn)了最先進(jìn)的隱私/效用權(quán)衡。2018年提出了一種對(duì)本地?cái)?shù)據(jù)進(jìn)行擾動(dòng)變換的機(jī)制，該機(jī)制基于差分隱私計(jì)算方法，同時(shí)使用噪聲訓(xùn)練方法增加云端深度神經(jīng)網(wǎng)絡(luò)對(duì)移動(dòng)設(shè)備提交的擾動(dòng)數(shù)據(jù)的魯棒性，該機(jī)制解決了將數(shù)據(jù)從移動(dòng)設(shè)備傳輸?shù)皆浦行臅r(shí)的隱私泄露問(wèn)題。在聯(lián)合分布式學(xué)習(xí)環(huán)境中，數(shù)據(jù)所有者分布式訓(xùn)練具有相同目標(biāo)的神經(jīng)網(wǎng)絡(luò)模型，根據(jù)自己的數(shù)據(jù)集獨(dú)立訓(xùn)練，但共享訓(xùn)練結(jié)果。在2015年提出了一個(gè)共同分布式深度學(xué)習(xí)方案來(lái)保護(hù)隱私，首次將隱私保護(hù)的概念引入深度學(xué)習(xí)。同時(shí)利用現(xiàn)代深度學(xué)習(xí)中使用的優(yōu)化算法，即基于隨機(jī)梯度下降的優(yōu)化算法，可以實(shí)現(xiàn)異步并行和執(zhí)行，在引入噪聲后，每個(gè)參與者將一小部分局部梯度參數(shù)上傳到中心參數(shù)服務(wù)器。每次更新本地參數(shù)時(shí)，都會(huì)從服務(wù)器下載最新的漸變參數(shù)進(jìn)行更新，這樣就允許參與者在自己的數(shù)據(jù)集上獨(dú)立訓(xùn)練，并在訓(xùn)練期間有選擇地共享模型關(guān)鍵參數(shù)的小子集。參與者在保留各自數(shù)據(jù)的隱私的同時(shí)，仍然受益于其他參與者的模型，從而提高他們的學(xué)習(xí)準(zhǔn)確性，而不僅僅是通過(guò)自己的輸入實(shí)現(xiàn)的。作者同時(shí)證明了在基準(zhǔn)數(shù)據(jù)集上的隱私保護(hù)深度學(xué)習(xí)的準(zhǔn)確性。在此基礎(chǔ)上，Mohassel采用隨機(jī)梯度下降法，提出了一種新的高效的線性回歸、邏輯回歸和神經(jīng)網(wǎng)絡(luò)訓(xùn)練保密機(jī)器學(xué)習(xí)協(xié)議。該協(xié)議屬于雙服務(wù)器模型，數(shù)據(jù)所有者將其私有數(shù)據(jù)分配給兩個(gè)非協(xié)作服務(wù)器，這些服務(wù)器使用安全的雙方計(jì)算（2PC）對(duì)聯(lián)合數(shù)據(jù)上的各種模型進(jìn)行訓(xùn)練。04前景展望隨著深度學(xué)習(xí)的興起，人工智能在各個(gè)領(lǐng)域迎來(lái)新的一波發(fā)展熱潮，然而在人工智能迅速發(fā)展的同時(shí)，其安全與隱私問(wèn)題也引起了人們的關(guān)注，人工智能的安全和隱私的威脅已經(jīng)阻礙了人工智能的發(fā)展。保護(hù)用戶(hù)隱私成為人