《人工智能安全導(dǎo)論》 課件 第七章 人工智能在聯(lián)邦學(xué)習(xí)領(lǐng)域

人工智能在聯(lián)邦學(xué)習(xí)領(lǐng)域《人工智能安全導(dǎo)論》聯(lián)邦學(xué)習(xí)的背景??數(shù)據(jù)孤島問題數(shù)據(jù)分布在不同組織、企業(yè)和設(shè)備中，難以集中利用出于隱私、安全、法律合規(guī)等原因，原始數(shù)據(jù)難以共享??隱私保護(hù)難題歐盟的《通用數(shù)據(jù)保護(hù)條例》表明，對用戶數(shù)據(jù)隱私和安全管理的日趨嚴(yán)格將是世界趨勢。我國的《中華人民共和國個人信息保護(hù)法》也明確規(guī)定了個人信息的定義、收集、使用、加工、傳輸和保護(hù)原則。聯(lián)邦學(xué)習(xí)的定義

聯(lián)邦學(xué)習(xí)的定義聯(lián)邦學(xué)習(xí)應(yīng)具備的特點：各參與方的數(shù)據(jù)保留在本地，不泄漏隱私也不違反法規(guī)；多個參與者聯(lián)合數(shù)據(jù)建立虛擬的共有模型，并共同獲益的體系；在聯(lián)邦學(xué)習(xí)的體系下，各參與者的身份地位相同；聯(lián)邦學(xué)習(xí)的建模效果和將整個數(shù)據(jù)集中在一處建模的效果相同，或相差不大。聯(lián)邦學(xué)習(xí)的架構(gòu)客戶端—服務(wù)器架構(gòu)：結(jié)構(gòu)簡單但中心點單故障風(fēng)險高聯(lián)邦學(xué)習(xí)的架構(gòu)對等網(wǎng)絡(luò)架構(gòu)：去中心化設(shè)計，通信復(fù)雜度高環(huán)狀網(wǎng)絡(luò)架構(gòu)：每節(jié)點僅與前后通信，通信路徑單一聯(lián)邦學(xué)習(xí)的分類在實際應(yīng)用中，聯(lián)邦學(xué)習(xí)各參與方的數(shù)據(jù)往往具有不同的分布特點。因此，根據(jù)各參與方數(shù)據(jù)的分布特點，可將聯(lián)邦學(xué)習(xí)分為橫向聯(lián)邦學(xué)習(xí)、縱向聯(lián)邦學(xué)習(xí)和聯(lián)邦遷移學(xué)習(xí)。聯(lián)邦學(xué)習(xí)的聚合FedAvg

是最基礎(chǔ)、最廣泛使用的聯(lián)邦聚合算法。其核心思想是直接平均各客戶端上傳的模型參數(shù)，形成一個統(tǒng)一的全局模型。FedProx

是對FedAvg的改進(jìn)，通過加入“正則項”約束客戶端本地訓(xùn)練參數(shù)不要偏離全局模型過遠(yuǎn)，解決數(shù)據(jù)異構(gòu)（Non-IID）和設(shè)備異構(gòu)導(dǎo)致的不穩(wěn)定性。FedNova

進(jìn)一步解決了FedAvg面對Non-IID數(shù)據(jù)時的性能下降問題，通過“歸一化聚合”消除客戶端訓(xùn)練步數(shù)和目標(biāo)函數(shù)不一致帶來的影響。聯(lián)邦學(xué)習(xí)的安全性挑戰(zhàn)面對惡意攻擊的安全性問題數(shù)據(jù)投毒：修改訓(xùn)練數(shù)據(jù)，誤導(dǎo)模型模型投毒：直接偽造模型參數(shù)后門攻擊：在模型中設(shè)置觸發(fā)器惡意服務(wù)器：發(fā)送偽造模型聯(lián)邦學(xué)習(xí)的安全性挑戰(zhàn)數(shù)據(jù)隱私泄露問題成員推斷：判斷某數(shù)據(jù)是否參與訓(xùn)練屬性推斷：推斷數(shù)據(jù)中的隱私屬性竊聽攻擊：截獲通信內(nèi)容進(jìn)行分析聯(lián)邦學(xué)習(xí)中的數(shù)據(jù)隱私保護(hù)概述基于密碼學(xué)的隱私保護(hù)聯(lián)邦學(xué)習(xí)隱私保護(hù)方法：通過密鑰協(xié)議與加密算法，讓隱私數(shù)據(jù)可以在加密狀態(tài)下進(jìn)行計算，無需解密數(shù)據(jù)優(yōu)勢：安全可靠：數(shù)據(jù)在傳輸和處理過程中不被泄露，惡意的第三方機(jī)構(gòu)或設(shè)備（如收集訓(xùn)練數(shù)據(jù)的服務(wù)器）在正常完成全局模型訓(xùn)練的情況下無法獲取加密后的敏感數(shù)據(jù)靈活與可擴(kuò)展性：能針對不同的聯(lián)邦學(xué)習(xí)場景的具體需求進(jìn)行調(diào)整和擴(kuò)展，實現(xiàn)防御服務(wù)器與用戶勾結(jié)發(fā)動攻擊或是服務(wù)器對模型投毒等額外功能聯(lián)邦學(xué)習(xí)中的數(shù)據(jù)隱私保護(hù)概述其他隱私保護(hù)聯(lián)邦學(xué)習(xí)隱私保護(hù)方法：基于數(shù)據(jù)混淆、區(qū)塊鏈等技術(shù)優(yōu)勢：響應(yīng)速度快，通信量較?。簲?shù)據(jù)混淆不需要額外引入加密算法，聯(lián)邦學(xué)習(xí)的整體速度更快，通信發(fā)送的是明文而不是密文，消耗帶寬更小現(xiàn)代密碼學(xué)相關(guān)概念對稱加密：同一個密鑰用于加密和解密數(shù)據(jù)非對稱加密：。使用一對密鑰：公鑰和私鑰。公鑰用于加密數(shù)據(jù)，私鑰用于解密數(shù)據(jù)使用Shamir秘密共享的方案

使用Shamir秘密共享的方案安全聚合：1.發(fā)布密鑰：分發(fā)用戶生成密鑰2.分享密鑰：生成密鑰的秘密份額，進(jìn)行秘密份額分發(fā)3.收集掩碼輸入：加密梯度，發(fā)送給服務(wù)器4.一致性檢查：防御服務(wù)器主動攻擊5.解碼：用戶發(fā)送掉線用戶秘密份額，服務(wù)器聚合梯度并解密出全局模型使用同態(tài)加密的方案同態(tài)加密：一種安全加密技術(shù)能保證加密數(shù)據(jù)運(yùn)算后解密的結(jié)果與明文直接運(yùn)算的結(jié)果一致根據(jù)支持同態(tài)運(yùn)算類型可分為加法同態(tài)加密和乘法同態(tài)加密根據(jù)同態(tài)加密方案支持的運(yùn)算類型可大致分為半同態(tài)加密和全同態(tài)加密類型算法半同態(tài)加密乘法同態(tài)RSA、El-Gamal加法同態(tài)Goldwasser-Micali、Paillier近似同態(tài)加密Boneh-Goh-Nissim（BGN，支持任意次加法和一次乘法）全同態(tài)加密Gentry方案、GSW方案使用同態(tài)加密的方案VOSA協(xié)議：1.初始化：密鑰生成中心生成加密參數(shù)與密鑰2.掩碼加密與標(biāo)記：客戶端加密本體梯度并生成認(rèn)證標(biāo)簽3.收集：客戶端生成解密輔助信息，收集者收集后聚合并分發(fā)給客戶端與服務(wù)器4.解碼與聚合：服務(wù)器聚合梯度并解密，將全局模型發(fā)送給客戶端5.驗證：客戶端驗證模型正確性使用不經(jīng)意傳輸?shù)姆桨?/p>

不經(jīng)意傳輸(OT)：不經(jīng)意傳輸?shù)哪繕?biāo)是確保接收方只能獲取到其所需的信息，而無法得知發(fā)送方的其他信息其他隱私保護(hù)聯(lián)邦學(xué)習(xí)方案差分隱私對原始數(shù)據(jù)合理添加干擾數(shù)據(jù)（噪聲），使得加噪新樣本產(chǎn)生的影響與原樣本不同，攻擊者因而無法獲取正確的結(jié)果一般來說，加入噪聲越大，隱私保護(hù)越好，但數(shù)據(jù)受干擾程度也隨之增大，導(dǎo)致數(shù)據(jù)可用性降低。區(qū)塊鏈通過分布式的方式，每個用戶就是系統(tǒng)的一個節(jié)點，通過共識算法確保數(shù)據(jù)的一致性和安全性。驗證委員會負(fù)責(zé)驗證上傳的梯度數(shù)據(jù)的完整性，而聚合委員會進(jìn)行梯度聚合，通過獎勵機(jī)制來選擇可靠的委員會成員聯(lián)邦學(xué)習(xí)的未來趨勢在醫(yī)療保健領(lǐng)域，聯(lián)邦學(xué)習(xí)可以應(yīng)用于醫(yī)療影像分析模型的訓(xùn)練，特別是針對癌癥等病癥的學(xué)習(xí)訓(xùn)練，能夠在保護(hù)患者的身體隱私數(shù)據(jù)的前提下進(jìn)行模型訓(xùn)練在金融領(lǐng)域，由于數(shù)據(jù)孤島，銀行只能通過征信記錄來了解借貸人情況，此時就可能被有組織地惡意借貸，造成重大損失?？梢酝ㄟ^聯(lián)邦學(xué)習(xí)來整合客戶各方面的信用數(shù)據(jù)，建立更完善的反欺詐模型在智能交通領(lǐng)域，