2024微軟人工智能系統(tǒng)人工智能安全隱私

1背景介紹背景介紹自動駕駛 人臉識別/驗證 推薦系統(tǒng)訓練部署 使用訓練用戶數(shù)據(jù)收集訓練數(shù)據(jù) 模型 生產(chǎn)環(huán)境數(shù)據(jù)收集安全攻擊隱私泄露

不當?shù)暮蠊?/p>

WENEEDRESPONSIBLEAI!目錄目錄完整性(Integrity): 保密性(Confidentiality): 倫理(Ethics): 完整性完整性-預測結(jié)果的魯棒性 gradientsignmethod(FGSM): 迭代地生成通用的對抗攻擊擾動Universaladversarialperturbations[MoosaviCVPR2017]原模型AFN模型訓練一個輸入轉(zhuǎn)換模型??迭代地生成通用的對抗攻擊擾動Universaladversarialperturbations[MoosaviCVPR2017]原模型AFN模型Lossfunction:AdversarialTransformationNetworks(AFN)[BalujaAAAI2018]完整性-完整性-預測結(jié)果的魯棒性 對抗樣本預測結(jié)果

原樣本

累積誤差 Printedadversarialsamplestofoolimageclassifier[Kurakin2017]

Adversarialstickerstofoolobjectdetection[Evtimov2017]

AdvHattofoolfaceIDsystem[KomKov Foolingspeech-to-text[Carlini2018]Foolingspeech-to-text[Carlini2018][Fukui2016]

FoolingRLagent[Kos2017]完整性完整性-預測結(jié)果的魯棒性遷移學習（transferlearning）實際應(yīng)用中常用的一種模型訓練方式。通過復用已訓練好的模型（teachermodel）的大部分參數(shù)，可以使用更少的數(shù)據(jù)更快地訓練出符合特定應(yīng)用場景的模型。 ImagefromDawnSong’stalk/sf2017/system/files/presentation-slides/dawn-qcon-nov-20172.pdf目前還沒有完美的防御方法！ [PapernotS&P2016]防御成功的原因：蒸餾使得網(wǎng)絡(luò)中Softmax層的輸入被縮放（因此不同輸出的決策過程區(qū)別更大），同時使攻擊時的梯度更小。攻擊者可以輕易破解蒸餾防御機制[CarliniCVPR2017]。[ourwork]

正常樣本和對抗樣本的slice區(qū)別很大，因此可以用于檢測對抗樣本。 基于symbolicintervalanalysis(符號區(qū)間分析)的模型安全性驗證[WangSecurity2018]完整性完整性-預測過程的可信性 [ourwork] Row-HammerAttack(RHA)[Rakin[Clements2018] 保密性保密性-數(shù)據(jù)保密性 根據(jù)f構(gòu)造代價函數(shù)c根據(jù)f構(gòu)造代價函數(shù)c 找到能使c(x)最小的樣本x在樣本上進行梯度下找到能使c(x)最小的樣本x在樣本上進行梯度下行修正有關(guān)。[YeomCSF’2018] Shadowmodeldata生成方法：基于模型搜索數(shù)據(jù)基于數(shù)據(jù)統(tǒng)計信息基于有噪音的真實數(shù)據(jù) 簡單例子：社會學調(diào)查目標：調(diào)查人員希望獲取一個群體中擁有屬性A的大致比例，又不能侵犯群體中每個個體的隱私。方法：讓每個被調(diào)查者采用如下流程：扔一枚硬幣??′=1??+12 4 NameHasDiabetes(X)Ross1Monica1Joey0Phoebe0Chandler1?數(shù)b應(yīng)為????，其中??(??)為查詢函數(shù)F的敏感度滿足?-差分隱私保護的Laplace噪聲，其尺度參期望為0，方差為?數(shù)b應(yīng)為????，其中??(??)為查詢函數(shù)F的敏感度滿足?-差分隱私保護的Laplace噪聲，其尺度參期望為0，方差為2??2的Laplace分布，其概率密度函數(shù)為：計算梯度削減梯度添加噪聲更新模型參數(shù)計算梯度削減梯度添加噪聲更新模型參數(shù) [SegalCCS2017]

Imagefrom:/federated-learning-e79e054c33ef[ourwork] 保密性保密性-模型保密性 模型竊取方式：直接竊?。褐苯庸タ四Ｐ偷拈_發(fā)、存儲或部署環(huán)境，獲得原模型的拷貝。間接竊?。和ㄟ^不斷調(diào)用模型開發(fā)者提供的預測API，重構(gòu)出一個訓練數(shù)據(jù)Security2016][OrekondyCVPR2019]。 [AdiSecurity2018]將水印嵌入模型輸出。通過類似于后門攻擊的方法，使模型在特定輸入上產(chǎn)生特定輸出。

[DeepAttestISCA2018]將水印嵌入模型參數(shù)。通過fine-tune使模型的參數(shù)逼近特定的指紋。[ourwork]給定模型f和模型g，相似度比較算法如下:1. 生成N個隨機樣本對{(??1????1????2????2??????????????)}??2. f，計算s??=????????????????(??????)。??<s??,????,…,????>為模型f的決策向量V??1 2 ??Vg模型f與模型gV??和Vg的距離度量 [GravitonOSDI2018]通過修改GPU驅(qū)動和CUDAruntime，在GPU上支持TEE[GravitonOSDI2018]通過修改GPU驅(qū)動和CUDAruntime，在GPU上支持TEE

[SlalomICLR2019]將一部分復雜的線性計算經(jīng)加密后外放(outsource)到普通區(qū)域 倫理倫理-算法公平性 公平性的定義（DemographicParity）??（如種族、性別等），????無關(guān)：Pr(??|??) = Pr(??)實際情況中??往往不易定義。 編碼器中間表示Z編碼器原始數(shù)據(jù)

對抗方h嘗試基于中間表示Z預測敏感性質(zhì)A訓練目標：使對抗方難以從中間表示Z中預測出敏感性質(zhì)A，同時優(yōu)化中間表示的效果 倫理-倫理-算法的濫用AI生成假新聞

AI詐騙電話 Project注：圖文無關(guān)倫理倫理-算法的濫用 基于AI的個性化推薦系統(tǒng)無處不在，精準地推薦用戶更喜歡看到的內(nèi)容。YouTu