物聯(lián)網(wǎng)和人工智能中的隱私保護

胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會20221信息的權利。themiscommunicatedtoothers.胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會20222的一個實驗人信息Credits:N.Jentzsch.“Studyonmonetisingprivacy-Aneconomicmodelforpricingpersonalinformation.”ENISA,2012.胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會20223與與Facebook達成了協(xié)議，后者認罰50億美元，作為對其在2016年泄露8700用戶隱私數(shù)據(jù)給CambridgeAnalytica償胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會20224隱隱私保護法律法規(guī)1網(wǎng)站使用13歲以下兒童在互聯(lián)網(wǎng)上提供或分享的個人資料時，必須獲得家長的同意的收看歷史記錄提供給廣告商。后果：自2020年1月起Youtube不再跟蹤收看兒童類視頻的記錄，并因此不再提供此類針對兒童的廣告12020年2月TikTok以同樣法律罰款570萬美元，因兒童注冊賬戶時未有獲得家長同意1保護18歲以下青少年在各類在線應用(游戲社交媒體搜索引擎新聞及教育類在線視頻即時消息)的個人資料胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會20225隱隱私保護法律法規(guī)(2)護1全加州企業(yè)將花費550億美元(加州2018年GDP的1.8%)啟動合規(guī)操作，保護4千萬加州居民的隱私1歐盟數(shù)據(jù)法案(草案)DataAct胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會20226胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會20227案案例一：智慧燈柱(SMARTLAMPPOST)1AI全景攝像機(車牌識別、車流檢測)1BLE藍牙探測器(車速檢測)1BLE定位器(手機定位)1主動式RFID定位器(盲人拐杖定位)胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會20228案例二：智能家居(案例二：智能家居(SMARTHOME)朋友并置于浴缸中點使用了140加侖的水，檢方認為這些水是用來罪證據(jù)的。Echo所記錄的聲音信息胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會20229案例三：基于手機傳感器的室內位置追案例三：基于手機傳感器的室內位置追蹤GPS權置胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會202210案案例三：基于手機傳感器的室內位置追蹤(2)案案例三：基于手機傳感器的室內位置追蹤(3)胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會202212案案例三：基于手機傳感器的室內位置追蹤(4)胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會202213胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會202214對對抗機器學習(ADVERSARIALMACHINELEARNING)1機器學習研究的一個分支，主要研究在有攻擊者(Adversary)時機器學習面臨的各類安全問題，包含如下細分研究領域EvasionAttack1成員推斷MembershipInference及模型逆向攻擊ModelInversionAttack訓練樣本污訓練樣本污染othetraining胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會2022Credit:Shafahietal.NIPS2018訓訓練樣本污染(2)ionCredit:Tangetal.@KDD2020模型污染攻擊(模型污染攻擊(LOCALMODELPOISONINGATTACK)1Xie等人于UAI2019首先提出了基于內積(innerproduct)操控的針對聯(lián)邦隨機梯度下降的攻擊，隨后Fang等人于USENIXSecurity20提出了基于多個拜占庭攻擊者的針對聯(lián)邦聚合的協(xié)同攻擊對對抗樣本攻擊ADVERSARIALEXAMPLE(MODELEVASION)Credit:Goodfellowetal.胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會202219對對抗樣本攻擊ADVERSARIALEXAMPLE(MODELEVASION)(2)BaseImageBaseImagemageCredit:Dongetal.@CVPR2019海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會202220對對抗樣本攻擊ADVERSARIALEXAMPLE(MODELEVASION)(3)Credit:Shanetal.@USENIXSecurity2020海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會202221案案例一：成員推斷攻擊(MEMBERSHIPINFERENCEATTACK)nthoseunseenexamples.海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會202222案案例一：成員推斷攻擊(MEMBERSHIPINFERENCEATTACK)(2)ESP這些數(shù)據(jù)記錄是否是模型訓練集的一部分rInOut案案例一：成員推斷攻擊(MEMBERSHIPINFERENCEATTACK)(3)波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會2022Credit:LucasTindall波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會2022案案例二：模型逆向攻擊(MODELINVERSIONATTACK)uniqueidentifier.Credit:Fredriksonetal.@CCS2015海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會202226TrainingAPIModelf(x)QueryAPI yUploadIncome$$Paid,AskxCustomerDataTrainingAPIModelf(x)QueryAPI yUploadIncome$$Paid,AskxCustomerDataOwnerTrainingAPIModelf(x)QueryAPIY={y1,y2,y3...} yExtractedModelg(x)$Paid,AskxAdversaryMachineLearningAsAServiceSecurity2016提出，并在S&P18,EuroS&P19等后續(xù)工作中改進推斷/分類的API接口。該接口獲取訓練樣本以提取原模1近期的工作(AAAI20,USENIXSecurity20)均把問題歸結為主動學習(ActiveLearning)海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會202227“Turnonallthelights”“NavigatetoPolyU”海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會202228peakersofdialectsofAmericanEnglisheachreading10phonetically-richsentences)romtheject案例三：模案例三：模型提取攻擊(MODELEXTRACTIONATTACK)(5)elpBymembershipinferenceexamplesnearthedecisionboundary.胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會202230胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會202231DecisionboundaryProximityboundaryDecisionboundaryProximityboundary(fidelity)的理論上界(無限查詢次數(shù))胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會202232?applyBRRtothe?applyBRRtotheonsesNewquery?APISensitive?trueSensitive?Perturbation胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會202233胡海波@安全多方學習論壇-數(shù)據(jù)安全與隱私計算峰會202234案案例五：聯(lián)邦學習的隱私保護能力(2)LDPvs.