版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
金融業(yè)隱私計(jì)算安全驗(yàn)證技術(shù)研究報(bào)告北京金融科技產(chǎn)業(yè)聯(lián)盟202312編制委員會(huì)編委會(huì)成員:何軍聶麗琴楊曉輝編寫組成員:張翼飛石新蕾卞陽(yáng)楊天雅王超胡靜潔周建平毛娟黃司輝黃一珉王灣灣李博陳嘉俊張敬之曹旭濤王云河靳晨張嘉熙單進(jìn)勇金銀玉蔡超超陳浩棟宋雨筱劉堯張亞申黃翠婷陳濤康和意楊波邱曉慧胡師陽(yáng)李克鵬陳明劉站奇高志民邵云峰李秉帥蔣美獻(xiàn)顧逸暉昌文婷袁鵬程王磊周雍愷李定洲張遠(yuǎn)健楊柳張佳辰黃東慶于博編審:黃本濤郭棟劉寶龍參編單位:中國(guó)銀行股份有限公司上海富數(shù)科技有限公司藍(lán)象智聯(lián)(杭州)科技有限公司中國(guó)工商銀行股份有限公司浙商銀行股份有限公司華控清交信息科技(北京)北京數(shù)牘科技有限公司北京沖量在線科技有限公司同盾科技有限公司北京銀聯(lián)金卡科技有限公司騰訊云計(jì)算(北京)有限責(zé)任公司華為技術(shù)有限公司螞蟻集團(tuán)股份有限公司中國(guó)銀聯(lián)股份有限公司深圳致星科技有限公司目 錄一、概述 1(一)研究對(duì)象 2(二)研究目標(biāo)與原則 5(三)研究?jī)?nèi)容與思路 6(四)研究意義 7二、應(yīng)用現(xiàn)狀 8(一)數(shù)據(jù)安全相關(guān)法律法規(guī)日趨嚴(yán)格 8(二)隱私計(jì)算國(guó)內(nèi)外相關(guān)標(biāo)準(zhǔn)專項(xiàng)化 11(三)金融領(lǐng)域隱私計(jì)算應(yīng)用痛點(diǎn) 20三、隱私計(jì)算系統(tǒng)及產(chǎn)品安全驗(yàn)證技術(shù) 21(一)安全風(fēng)險(xiǎn) 21(二)安全驗(yàn)證技術(shù) 39(三)驗(yàn)證方式 46四、未來(lái)發(fā)展趨勢(shì)及建議 49參考文獻(xiàn) 56保障金融領(lǐng)域隱私計(jì)算安全應(yīng)用。一、概述響社會(huì)公共安全甚至國(guó)家安全。私安全、管控?cái)?shù)據(jù)使用目的與方式,促進(jìn)數(shù)據(jù)生態(tài)閉合。(Privacy-Preserving毒;隱私計(jì)算的結(jié)果數(shù)據(jù)是否泄露敏感信息等等。隱私計(jì)算在金融領(lǐng)域應(yīng)用的一大關(guān)鍵問題是應(yīng)用方對(duì)其安/產(chǎn)品應(yīng)用的安全性,涵蓋隱私計(jì)算系統(tǒng)/產(chǎn)品整個(gè)生命周期,/產(chǎn)品安全性驗(yàn)(一)研究對(duì)象/產(chǎn)品的工程安全性要素及其所包含的廣義隱私計(jì)算是面向隱私信息全生命周期保護(hù)的計(jì)算理論(含交換1隱私計(jì)算技術(shù)從技術(shù)應(yīng)用方向來(lái)分,當(dāng)前主流應(yīng)用技術(shù)包括多方安全計(jì)算險(xiǎn)。1表1隱私計(jì)算技術(shù)路徑對(duì)比對(duì)比項(xiàng)MPCFLTEE技術(shù)特點(diǎn)側(cè)重于基于特定規(guī)則的多方安全數(shù)據(jù)的通用安全數(shù)據(jù)加密計(jì)算分析,提供隱私求交、隱匿查詢、聯(lián)合統(tǒng)計(jì)等應(yīng)用側(cè)重于多方數(shù)據(jù)的分布式機(jī)器學(xué)習(xí)模型訓(xùn)練和推理,提供特征工程、模型訓(xùn)練和推理預(yù)測(cè)的應(yīng)用安全數(shù)據(jù)加密計(jì)算分程證明等功能數(shù)據(jù)處理各方數(shù)據(jù)在各方本地加密后交換,依不交換原始數(shù)據(jù),原始數(shù)據(jù)在本地模型訓(xùn)練,通過硬件提供安全的執(zhí)行環(huán)境,原始數(shù)據(jù)加密賴純密碼學(xué)協(xié)議的實(shí)現(xiàn)只交互模型的中間計(jì)算結(jié)果后在“可信環(huán)境”中執(zhí)行,依賴特定硬件環(huán)境實(shí)現(xiàn)安全基礎(chǔ)密碼學(xué)的安全證明同態(tài)加密等安全機(jī)制可信硬件基于數(shù)據(jù)限制發(fā)布的技術(shù)(l-t-貼近等基于數(shù)據(jù)失真的技術(shù)的密碼技術(shù),用戶計(jì)算開銷小,并可獲得精準(zhǔn)的查詢結(jié)果。輔助融合技術(shù)1圖1廣義隱私計(jì)算技術(shù)體系圖1廣義隱私計(jì)算技術(shù)體系(二)研究目標(biāo)與原則研究目標(biāo)重點(diǎn)關(guān)注金融領(lǐng)域的隱私計(jì)算系統(tǒng)/產(chǎn)品可工具化實(shí)現(xiàn)的安全驗(yàn)證技術(shù),保障金融領(lǐng)域的隱私計(jì)算系統(tǒng)/產(chǎn)品應(yīng)用、實(shí)施安全性,為形成自動(dòng)化安全驗(yàn)證工具的實(shí)施奠定基礎(chǔ)。原則本報(bào)告、制定過程遵循以下原則:與已有標(biāo)準(zhǔn)規(guī)范內(nèi)容保持一致;覆蓋金融領(lǐng)域的隱私計(jì)算系統(tǒng)/產(chǎn)品生命周期全過程;計(jì)算通用安全驗(yàn)證技術(shù),指導(dǎo)工程實(shí)踐和產(chǎn)品落地。(三)研究?jī)?nèi)容與思路本報(bào)告論證內(nèi)容與思路包括如圖2所示:圖2研究?jī)?nèi)容與思路調(diào)研對(duì)現(xiàn)有大數(shù)據(jù)、數(shù)據(jù)安全和隱私保護(hù)相關(guān)法律法規(guī)政策,國(guó)家、行業(yè)、團(tuán)體標(biāo)準(zhǔn)進(jìn)行調(diào)研,對(duì)隱私計(jì)算現(xiàn)有成熟學(xué)術(shù)成果、技術(shù)應(yīng)用情況進(jìn)行調(diào)研,梳理目前隱私計(jì)算存在的安全問題;分析安全風(fēng)險(xiǎn)項(xiàng)對(duì)金融領(lǐng)域的隱私計(jì)算技術(shù)系統(tǒng)/產(chǎn)品安全風(fēng)險(xiǎn)項(xiàng)進(jìn)行分層梳理安全驗(yàn)證技術(shù)從基于TEE驗(yàn)證技術(shù)。提出驗(yàn)證方式以覆蓋金融領(lǐng)域的隱私計(jì)算系統(tǒng)/產(chǎn)品生命周期全過程的角度出發(fā),提出一系列隱私計(jì)算安全可驗(yàn)證的方式。實(shí)踐安全驗(yàn)證項(xiàng)對(duì)金融領(lǐng)域現(xiàn)有的隱私計(jì)算系統(tǒng)/產(chǎn)品的安全風(fēng)險(xiǎn)項(xiàng)進(jìn)行安全驗(yàn)證,驗(yàn)證數(shù)據(jù)在存儲(chǔ)、流轉(zhuǎn)、處理中是否符合安全要求。(四)研究意義隱私計(jì)算系統(tǒng)/產(chǎn)品的可驗(yàn)證項(xiàng),對(duì)隱私計(jì)算在更多領(lǐng)域的應(yīng)用/產(chǎn)品在安全驗(yàn)證技術(shù)法律法規(guī)的制定,規(guī)范隱私計(jì)算技術(shù)在金融領(lǐng)域的市場(chǎng)應(yīng)用。二、應(yīng)用現(xiàn)狀(一)數(shù)據(jù)安全相關(guān)法律法規(guī)日趨完善高。2016117201761保密性和可用性,實(shí)行網(wǎng)絡(luò)安全等級(jí)保護(hù)制度。20216102021912021820202111120211114(征求意見稿9(征求意見稿2022215《通用數(shù)據(jù)保護(hù)條例》(GDPR)201820205102022/《個(gè)人金融信息保護(hù)技術(shù)規(guī)范》等。這些法律法規(guī)的發(fā)布在數(shù)據(jù)隱私保護(hù)領(lǐng)域起到了重要的引如果數(shù)據(jù)在實(shí)體間的轉(zhuǎn)移交換或是聯(lián)合計(jì)算違反了數(shù)據(jù)隱私保護(hù)相關(guān)規(guī)定,那么就可能會(huì)面臨嚴(yán)厲的處罰,如表2表2數(shù)據(jù)安全相關(guān)法律法規(guī)法律法規(guī)主要內(nèi)容實(shí)施時(shí)間《中華人民共和國(guó)網(wǎng)絡(luò)安全法》強(qiáng)調(diào)收集的用戶信息應(yīng)嚴(yán)格保密,維護(hù)網(wǎng)絡(luò)數(shù)據(jù)的完整性、保密性和可用性,實(shí)行網(wǎng)絡(luò)安全等級(jí)保護(hù)制度。2017年6月1日《中華人民共和國(guó)數(shù)據(jù)安全法》強(qiáng)調(diào)數(shù)據(jù)安全與開發(fā)利用并重,確立數(shù)據(jù)分類分級(jí)管理制度,多種手段保證數(shù)據(jù)交易合法合規(guī)。2021年9月1日《中華人民共和國(guó)個(gè)人信息保護(hù)法》強(qiáng)調(diào)個(gè)人信息在數(shù)據(jù)流通過程中的安全合規(guī),明確了個(gè)人信息處理和跨境提供的規(guī)則、個(gè)人信息處理者的義務(wù)等內(nèi)容。2021年11月1日《網(wǎng)絡(luò)安全審查辦法》100全審查。2022年2月15日《網(wǎng)絡(luò)數(shù)據(jù)安全管理?xiàng)l例(征求意見稿)》對(duì)數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)流通、數(shù)據(jù)使用等數(shù)據(jù)合規(guī)問題進(jìn)行約束,在數(shù)據(jù)分級(jí)、數(shù)據(jù)“出?!?、大數(shù)據(jù)殺熟、身份認(rèn)證、信息泄露報(bào)備等方面給予了詳細(xì)的指導(dǎo)意見。/《通用數(shù)據(jù)保護(hù)條例》(GDPR)歐盟公民隱私保護(hù)相關(guān)法案2018年《加州消費(fèi)者隱私保護(hù)法案》(CCPA)美國(guó)消費(fèi)者隱私保護(hù)相關(guān)法案2020年《數(shù)據(jù)改革法案(Datareformbill)》旨在指導(dǎo)英國(guó)偏離歐盟隱私立法。將用于改革英國(guó)現(xiàn)有的《通用數(shù)據(jù)保護(hù)條例》(GDPR)和《數(shù)據(jù)保護(hù)法案》。2022年5月10日《美國(guó)數(shù)據(jù)隱私和保護(hù)法案(討論稿)》美國(guó)聯(lián)邦數(shù)據(jù)隱私保護(hù)法案/《促進(jìn)數(shù)字隱私技術(shù)法案》支持隱私增強(qiáng)技術(shù)研究和促進(jìn)負(fù)責(zé)任數(shù)據(jù)使用的擬議法案/(二)隱私計(jì)算相關(guān)標(biāo)準(zhǔn)逐漸細(xì)化2021全層面、性能層面、應(yīng)用層面的發(fā)展趨勢(shì)。整理如表3所示。國(guó)內(nèi)相關(guān)標(biāo)準(zhǔn)20191220207202120223(大規(guī)模數(shù)據(jù)量(大規(guī)模數(shù)據(jù)量20223(指南》《信息安全技術(shù)多方數(shù)據(jù)融合計(jì)算安全指南》等。202011202212021國(guó)際相關(guān)標(biāo)準(zhǔn)《聯(lián)邦學(xué)習(xí)架構(gòu)和應(yīng)用規(guī)范》(GuideforArchitecturalFrameworkandApplicationofFederatedMachineLearning)20213IEEE《基于可信執(zhí)行環(huán)境的共享機(jī)(TechnicalFrameworkRequirementsofTrustedExecutionEnvironmentbasedSharedMachineLearning)20221IEEE《多方安全計(jì)算推薦實(shí)踐》(RecommendedPracticeforSecureMultipartyComputation)202111安全要求的標(biāo)準(zhǔn)自2021年下半年相繼立項(xiàng)開始標(biāo)準(zhǔn)編制,如IEEEP298620218IEEE的P31692022統(tǒng)防御的安全風(fēng)險(xiǎn)進(jìn)行分級(jí)。ISO《SecureMultipartyComputationPart》《SecureMultipartyComputation-Part2:MechanismsBasedonSecretSharing《多方安全計(jì)算技術(shù)指南》等標(biāo)準(zhǔn)也均分別在制定中。表3國(guó)家標(biāo)準(zhǔn)標(biāo)準(zhǔn)名稱及描述當(dāng)前狀態(tài)GB/T41388-2022《信息安全技術(shù)可信執(zhí)行環(huán)境基本安全規(guī)范》要功能構(gòu)成及相關(guān)軟硬件技術(shù)要求,適用于智能手機(jī)、平板、行業(yè)終端等需要可信執(zhí)行環(huán)境進(jìn)行安全防護(hù)的領(lǐng)域。已發(fā)布GB/T36618-2018《信息安全技術(shù)金融信息服務(wù)安全規(guī)范》規(guī)定了金融信息服務(wù)提供商提供金融信息服務(wù)時(shí)的基本原則、服務(wù)過程要求、技術(shù)要求和管理要求。已發(fā)布《隱私計(jì)算技術(shù)應(yīng)用指南》編制中《信息安全技術(shù)多方數(shù)據(jù)融合計(jì)算安全指南》編制中表4金融行業(yè)標(biāo)準(zhǔn)(全國(guó)金融標(biāo)準(zhǔn)化技術(shù)委員會(huì))標(biāo)準(zhǔn)名稱及描述當(dāng)前狀態(tài)JR/T0196-2020《多方安全計(jì)算金融應(yīng)用技術(shù)規(guī)范》性能要求等,適用于金融機(jī)構(gòu)開展相關(guān)產(chǎn)品設(shè)計(jì)、軟件開濫用。已發(fā)布JR/T0171-2020《個(gè)人金融信息保護(hù)技術(shù)規(guī)范》規(guī)定了個(gè)人金融信息在收集、傳輸、存儲(chǔ)、使用、刪除、銷毀等生命周期各環(huán)節(jié)的安全防護(hù)要求,從安全技術(shù)和安全管理兩個(gè)方面,對(duì)個(gè)人金融信息保護(hù)提出了規(guī)范性要求。已發(fā)布JR/T0197-2020《金融數(shù)據(jù)安全數(shù)據(jù)安全分級(jí)指南》給出了金融數(shù)據(jù)安全分級(jí)的目標(biāo)、原則和范圍,以及數(shù)據(jù)安全定級(jí)的要素、規(guī)則和定級(jí)過程。已發(fā)布《聯(lián)邦學(xué)習(xí)金融應(yīng)用技術(shù)規(guī)范》規(guī)定了聯(lián)邦學(xué)習(xí)金融應(yīng)用的框架與流程、構(gòu)建與應(yīng)用過程、聯(lián)邦學(xué)習(xí)的總體原則等。已立項(xiàng)5CCSA5CCSA(標(biāo)準(zhǔn)名稱及描述當(dāng)前狀態(tài)《多方數(shù)據(jù)共享服務(wù)數(shù)據(jù)安全技術(shù)實(shí)施指南》在研《隱私保護(hù)場(chǎng)景下安全多方計(jì)算技術(shù)指南》報(bào)批稿《基于可信執(zhí)行環(huán)境的安全計(jì)算系統(tǒng)技術(shù)框架》報(bào)批稿《互聯(lián)網(wǎng)廣告隱私計(jì)算平臺(tái)技術(shù)要求》征求意見稿《隱私計(jì)算跨平臺(tái)互聯(lián)互通》系列標(biāo)準(zhǔn)征求意見稿《隱私計(jì)算產(chǎn)品安全要求和測(cè)試方法》系列標(biāo)準(zhǔn)、《隱私計(jì)算產(chǎn)品功能要求和測(cè)試方法》系列標(biāo)準(zhǔn)、《隱私計(jì)算產(chǎn)品性能要求和測(cè)試方法》系列標(biāo)準(zhǔn)征求意見稿《隱私計(jì)算應(yīng)用一體機(jī)技術(shù)要求》征求意見稿《區(qū)塊鏈輔助的隱私計(jì)算技術(shù)工具評(píng)估要求與測(cè)試方法》征求意見稿《隱私計(jì)面向金融場(chǎng)景的應(yīng)用規(guī)范》《隱私計(jì)算應(yīng)用面向通信場(chǎng)景的應(yīng)用規(guī)范》征求意見稿《基于安全多方計(jì)算的隱私保護(hù)技術(shù)指南》據(jù)安全的前提下,促進(jìn)數(shù)據(jù)的跨域流動(dòng),最大化發(fā)揮數(shù)據(jù)的價(jià)值。報(bào)批稿《共享學(xué)習(xí)系統(tǒng)技術(shù)要求》測(cè)試、使用、運(yùn)維管理等。送審稿其中與隱私計(jì)算安全最相關(guān)的《隱私計(jì)算產(chǎn)品安全要求和測(cè)試方法》的系列標(biāo)準(zhǔn),包括《隱私計(jì)算聯(lián)邦學(xué)習(xí)產(chǎn)品安全要求和測(cè)試方法》《隱私計(jì)算多方安全計(jì)算產(chǎn)品安全要求和測(cè)試方法》和《隱私計(jì)算可信執(zhí)行環(huán)境產(chǎn)品安全要求和測(cè)試方法》。7ISO7ISO標(biāo)準(zhǔn)名稱當(dāng)前狀態(tài)《基于多方安全計(jì)算的數(shù)據(jù)流通產(chǎn)品技術(shù)要求與測(cè)試方法》已發(fā)布《基于聯(lián)邦學(xué)習(xí)的數(shù)據(jù)流通產(chǎn)品技術(shù)要求與測(cè)試方法》已發(fā)布《基于可信執(zhí)行環(huán)境的數(shù)據(jù)流通產(chǎn)品技術(shù)要求與測(cè)試方法》已發(fā)布《隱私計(jì)算多方安全計(jì)算/聯(lián)邦學(xué)習(xí)/可信執(zhí)行環(huán)境產(chǎn)品功能/性能/安全要求和測(cè)試方法》系列標(biāo)準(zhǔn)已發(fā)布標(biāo)準(zhǔn)編號(hào)標(biāo)準(zhǔn)名稱及描述當(dāng)前狀態(tài)ISO/IEC4922《SecureMulti-PartyComputation》CD階段ISO/IEC19592-1《Informationtechnology-Securitytechniques-Secretsharing-Part1:General》定義了秘密共享方案中涉及的各方、秘密共享方案上下文中使用的術(shù)語(yǔ)、此類方案的參數(shù)和屬性。已發(fā)布ISO/IEC19592-2《Informationtechnology-Securitytechniques-Secretsharing-Part2:Fundamentalmechanisms》規(guī)定了加密秘密共享方案。已發(fā)布ISO/IEC18033-6《Informationtechnology–Securitytechniques–Part6:Homomorphicencryption》本文檔規(guī)定了以下同態(tài)加密機(jī)制:指數(shù)ElGamal加密;Paillier加密。已發(fā)布ISO/IEC18033-8《Informationtechnology–Securitytechniques–Part8:Fullyhomomorphicencryption》機(jī)密性。該文檔提供了定義、符號(hào)和格式。它定在研義了安全模型、假設(shè)、消息空間、密文空間、密鑰空間和格式,以及適用于標(biāo)準(zhǔn)化的密碼方案的密碼機(jī)制。ISO/IEC27565《Guidanceonprivacypreservationbasedonzeroknowledgeproofs》在研ISO/IECPWI7748《Guidanceandpracticeforprivacypreservationbasedonzero-knowledgeproofs》在研ISO/IECPWI7709《Securityandprivacyreferencearchitectureformulti-partydatafusionandmining》在研以上幾項(xiàng)標(biāo)準(zhǔn)涉及關(guān)于多方安全計(jì)算、同態(tài)加密、秘密分享、零知識(shí)證明等方面的基礎(chǔ)性技術(shù)標(biāo)準(zhǔn),是隱私計(jì)算的底層技術(shù)支撐。表8ITU-T國(guó)際標(biāo)準(zhǔn)標(biāo)準(zhǔn)編號(hào)標(biāo)準(zhǔn)名稱及描述當(dāng)前狀態(tài)ITU-TF.748.13《TechnicalFrameworkforSharedMachineLearningSystem》定義了共享機(jī)器學(xué)習(xí)系統(tǒng)的角色、技術(shù)和安全要求,提供了集中式和分散式共享機(jī)器學(xué)習(xí)系統(tǒng)的技術(shù)架構(gòu)、功能組件和處理流程。已發(fā)布ITU-TX.1770《TechnicalGuidelinesforSecureMulti-PartyComputation》MPCMPCICTMPC用的參考。已發(fā)布ITU-T已發(fā)布的兩項(xiàng)標(biāo)準(zhǔn),分別規(guī)定了共享學(xué)習(xí)的技術(shù)框架,以及安全多方計(jì)算的技術(shù)指南。表9IEEE國(guó)際標(biāo)準(zhǔn)標(biāo)準(zhǔn)編號(hào)標(biāo)準(zhǔn)名稱及描述當(dāng)前狀態(tài)2830-2021《StandardforTechnicalFrameworkandRequirementsofTEE-basedSharedMachineLearning》本標(biāo)準(zhǔn)定義了機(jī)器學(xué)習(xí)的框架和架構(gòu),其中使用從多個(gè)來(lái)源聚合并由受信任的第三方處理的加密數(shù)據(jù)來(lái)訓(xùn)練模型。本標(biāo)準(zhǔn)規(guī)定了功能組件、工作流程、安全要求、技術(shù)要求和協(xié)議。2021年發(fā)布2842-2021《RecommendedPracticeforSecureMulti-PartyComputation》數(shù)據(jù)已成為信息通信領(lǐng)域最重要的資產(chǎn)之容:安全多方計(jì)算概述;安全多方計(jì)算的技術(shù)多方計(jì)算的用例。2021年發(fā)布P2952《StandardforSecureComputingBasedonTrustedExecutionEnvironment》本標(biāo)準(zhǔn)制定了基于可信執(zhí)行環(huán)境(TEE)的TEETEE后,本規(guī)范規(guī)定了安全計(jì)算技術(shù)的用例和場(chǎng)景。已立項(xiàng)3652.1-2020《GuideforArchitecturalFrameworkandplicationofFederatedMachineLearning》本指南提供了跨組織和設(shè)備的數(shù)據(jù)使用和模2021年發(fā)布指南,包括聯(lián)邦機(jī)器學(xué)習(xí)的描述和定義;聯(lián)合機(jī)器學(xué)習(xí)的類別和每個(gè)類別適用的應(yīng)用場(chǎng)景;聯(lián)邦學(xué)習(xí)的性能評(píng)估;和相關(guān)的監(jiān)管要求。P3156《StandardforRequirementsofPrivacy-PreservingComputationIntegratedPlatforms》2022年立項(xiàng)P2986《RecommendedPracticeforPrivacyandSecurityforFederatedMachineLearning》2020年立項(xiàng)P3117《StandardforInterworkingFrameworkforPrivacy-PreservingComputation》2021年立項(xiàng)P3169《StandardforSecurityRequirementofPrivacy-preservingcomputation》2022年立項(xiàng)IEEETEE規(guī)定了基于TEEP3156規(guī)定了隱私計(jì)算一體機(jī)的技術(shù)要求,P3117IEEE國(guó)際標(biāo)準(zhǔn)中,與隱私計(jì)算安全最相關(guān)的是IEEEP2986,規(guī)定了聯(lián)邦學(xué)習(xí)隱私與安全的推薦實(shí)踐;以及IEEEP3169,規(guī)定了隱私計(jì)算的安全要求。(三)金融領(lǐng)域隱私計(jì)算應(yīng)用痛點(diǎn)標(biāo)準(zhǔn)不夠健全的標(biāo)準(zhǔn)不足以覆蓋當(dāng)下流行的隱私計(jì)算技術(shù)。國(guó)內(nèi)對(duì)于支撐隱私計(jì)算的底層技術(shù)缺乏相應(yīng)標(biāo)準(zhǔn)2021隱私計(jì)算技術(shù)應(yīng)用安全的可驗(yàn)證性亟須解決隱私計(jì)算應(yīng)用安全的研究成果較少現(xiàn)有國(guó)內(nèi)外標(biāo)準(zhǔn)中對(duì)隱私計(jì)算技術(shù)應(yīng)用安全的研究還不是很完善。缺乏通用安全性驗(yàn)證技術(shù)不同廠商采用的協(xié)議之間差異較大缺少覆蓋面足夠廣的一化驗(yàn)證技術(shù)及工具。 三、隱私計(jì)算系統(tǒng)及產(chǎn)品安全驗(yàn)證技術(shù)(一)安全風(fēng)險(xiǎn)隱私計(jì)算應(yīng)用安全風(fēng)險(xiǎn)MPC(和數(shù)據(jù)安全)、業(yè)務(wù)層安全。硬件安全風(fēng)險(xiǎn)可信執(zhí)行環(huán)境(TEETrustedExecutionEnvironment)是TEETEE硬件設(shè)備的設(shè)計(jì)和生產(chǎn)過程中難免存在安全缺陷,自2017開始,相關(guān)安全缺陷陸續(xù)報(bào)出。在國(guó)際漏洞數(shù)據(jù)庫(kù)CVE(CommonVulnerabilitiesandExposures)TEECacheOutSGAxe(CVE-2020-0549),TEEIntelSGX1(已知存在重大安全問題,參見[1]、[2])、來(lái)自對(duì)基于硬件的可信執(zhí)行環(huán)境的各類側(cè)信道攻擊,從而推導(dǎo)其內(nèi)部的機(jī)密數(shù)據(jù)內(nèi)容等。TEETEE權(quán)威方或設(shè)計(jì)一套可信系統(tǒng)來(lái)提供這一信任服務(wù)將變得非常關(guān)鍵?;A(chǔ)密碼安全風(fēng)險(xiǎn)使用安全參數(shù)(SecurityParameter)用來(lái)衡量一個(gè)攻擊方(hard)安全參數(shù)有兩種類型:(inputbitunboundedcomputationpowr在當(dāng)下,聯(lián)邦學(xué)習(xí)密碼學(xué)部件安全性:要求不低于112bit30bitRSA、EC-DSAECDHE偽隨機(jī)數(shù)生成器質(zhì)量可以通過檢測(cè)每個(gè)數(shù)都是隨機(jī)的產(chǎn)生安全研究所給出的隨機(jī)數(shù)生成器的質(zhì)量準(zhǔn)則:隨機(jī)數(shù)組成的隨機(jī)矢量應(yīng)該以很高的概率保證不包含完全相同的連續(xù)元素?;诮y(tǒng)計(jì)測(cè)試生成的隨機(jī)數(shù)與真實(shí)隨機(jī)數(shù)不可區(qū)分。不能通過已知隨機(jī)數(shù)序列計(jì)算或猜測(cè)之前或未來(lái)的隨機(jī)數(shù)或生成器狀態(tài)。不能通過生成器的內(nèi)部狀態(tài)計(jì)算或猜測(cè)之前的隨機(jī)數(shù)或生成器狀態(tài)。協(xié)議密碼安全風(fēng)險(xiǎn)目前MPCGarbledCircuit、ObliviousTransfer、SecretSharing、BGW、GMW、BMR半誠(chéng)實(shí)安全模型和惡意安全模型。與方根本就不按照計(jì)算協(xié)議執(zhí)行計(jì)算過程。參與方可采用任何(惡意僅知道計(jì)算結(jié)果。MPC界中部署的大多數(shù)安全多方計(jì)算實(shí)例都是在半誠(chéng)實(shí)的模型中運(yùn)導(dǎo)致實(shí)際中無(wú)法使用。算法安全風(fēng)險(xiǎn)AI對(duì)數(shù)據(jù)安全的攻擊擊目的的方式。具體來(lái)說(shuō),這類攻擊包含:數(shù)據(jù)重構(gòu)對(duì)于隱私保護(hù)的機(jī)器學(xué)習(xí)模型構(gòu)建,最為常用的一類技術(shù)即是由Google2016[4]。label,batch_size=1(用法用量),如PIR數(shù)據(jù)下毒由于建模數(shù)據(jù)多由他人提供且數(shù)據(jù)“不可見”,隱私計(jì)算下的機(jī)器學(xué)習(xí)平臺(tái)通常缺乏有效的機(jī)制對(duì)數(shù)據(jù)進(jìn)行過濾與清洗,從而令攻擊者可以通過簡(jiǎn)單的標(biāo)簽反轉(zhuǎn)[7]、模型替換[8][9]型記住特定“觸發(fā)器”的分布特性無(wú)意Google算算法,快速?gòu)?fù)原出構(gòu)成無(wú)意識(shí)記憶的隱私數(shù)據(jù)。對(duì)模型安全的攻擊型“不可見”的特性,該類攻擊對(duì)其威脅更為嚴(yán)重,如:模型偷取又稱模型提取攻擊。以金融領(lǐng)域?yàn)槔?,模型作為公司的核心資產(chǎn)安全。惡意樣本通過合成的惡意樣本[14],攻擊者欺騙模型做出成員推斷成員推理是一類可以通過模型輸出的后驗(yàn)概率檢測(cè)建模所使用數(shù)據(jù)的攻擊[15]或是否患病等十分私密的個(gè)人信息。模型更新推理對(duì)于一般的模型服務(wù)場(chǎng)景,經(jīng)常需要定期的CISPA究表明安全防御前與使用中,分別制定對(duì)應(yīng)防御策略。算過程中篡改數(shù)據(jù)。型部署前和部署后提供如下防御。IP擊成本。行為采集證據(jù)以供法律追責(zé)之用。業(yè)務(wù)安全風(fēng)險(xiǎn)安全假設(shè)應(yīng)用錯(cuò)誤(比如發(fā)送錯(cuò)誤的數(shù)據(jù)給其他參與方假設(shè)不符,則相關(guān)產(chǎn)品在正式應(yīng)用時(shí)就可能存在安全漏洞。工業(yè)界大部分產(chǎn)品采用的算法實(shí)現(xiàn)是基于半誠(chéng)實(shí)的安全假帶來(lái)了很大挑戰(zhàn)。證帶來(lái)一定的不確定性,這也應(yīng)該是安全模型驗(yàn)證的重點(diǎn)。隱私計(jì)算場(chǎng)景應(yīng)用風(fēng)險(xiǎn)(PIR)等。盡管如此,各場(chǎng)景面臨的安全風(fēng)險(xiǎn)實(shí)際上大體可分聯(lián)合統(tǒng)計(jì)安全性還是惡意模型,是否抗共謀,協(xié)議的不誠(chéng)實(shí)門限等。數(shù)據(jù)等(如a+b-ab)。聯(lián)合建模安全性據(jù)是否被保護(hù),全局中間數(shù)據(jù)是否被保護(hù)等。對(duì)抗攻擊,投毒攻擊,后門攻擊,標(biāo)簽推理攻擊等。隱私集合求交安全性PSI協(xié)議安全性,如安全模型是半誠(chéng)實(shí)模型還是惡意模型,是否抗共謀,協(xié)議的不誠(chéng)實(shí)門限等。PSIPSI交,則無(wú)法滿足業(yè)務(wù)要求,存在泄露兩方之間隱私的風(fēng)險(xiǎn)。匿蹤查詢安全性PIR協(xié)議安全性,如安全模型是半誠(chéng)實(shí)模型還是惡意模型,是否抗共謀,協(xié)議的不誠(chéng)實(shí)門限等PIRPIR通用的安全風(fēng)險(xiǎn)網(wǎng)絡(luò)層風(fēng)險(xiǎn)被動(dòng)攻擊中攻擊者不對(duì)數(shù)據(jù)信息作任何修改,截取/竊聽是指在未經(jīng)用戶同意和認(rèn)可的情況下攻擊者獲得了信息或相關(guān)數(shù)(((高等持續(xù)性威脅(APT)攻擊是對(duì)特定目標(biāo)進(jìn)行長(zhǎng)期持續(xù)性APTDMZ主機(jī)層風(fēng)險(xiǎn)應(yīng)用程序運(yùn)行于各種操作系統(tǒng)和基礎(chǔ)軟件之上,品類和版本繁多,比如:Linux,BSD,Windows等操作系統(tǒng),MySQL、redis、sftp、ssh、apache、tomcat等基礎(chǔ)軟件。在引入各類軟件的同(二)安全驗(yàn)證技術(shù)TEE的計(jì)算安全驗(yàn)證技術(shù)遠(yuǎn)程驗(yàn)證機(jī)制在基于TEE生成和可信認(rèn)證過程兩部分實(shí)現(xiàn)??尚耪J(rèn)證報(bào)告和可信認(rèn)證過程的基礎(chǔ)是TEE可信根中的背(Endorsement身份認(rèn)證密鑰(AttestationIdentityKey)??尚耪J(rèn)證報(bào)告核心是一個(gè)包含TEE運(yùn)行狀態(tài)和帶有軟硬件AIKTEE中心。TEECA相關(guān)密鑰證書的發(fā)放。驗(yàn)證方和被驗(yàn)證方都擁有認(rèn)證中心的CACA提供可信認(rèn)證報(bào)告,由驗(yàn)證方完成報(bào)告的可信認(rèn)證。AIKAIK驗(yàn)證方再根據(jù)可信策略驗(yàn)證報(bào)告本身,比對(duì)度量值等關(guān)鍵字段,確認(rèn)TEE3圖3TEE遠(yuǎn)程驗(yàn)證機(jī)制節(jié)點(diǎn)互信驗(yàn)證機(jī)制TEE4節(jié)點(diǎn)互信機(jī)制滿足如下要求:定需要互信的節(jié)點(diǎn)范圍;系統(tǒng)應(yīng)保證節(jié)點(diǎn)互信的信任憑據(jù)具備有效性時(shí)長(zhǎng)或只在會(huì)話內(nèi)有效。信,宜包含計(jì)算執(zhí)行代碼互信。圖4節(jié)點(diǎn)互信驗(yàn)證機(jī)制節(jié)點(diǎn)互信的維度包括:PKI(PublicKeyInfrastructure)、IBE(IdentityBasedEncryption)和CPK(CombinedPublicKey)等認(rèn)證體系構(gòu)建;接交換數(shù)據(jù),處理請(qǐng)求。加密通信宜采取TLS協(xié)議或類似的加PKI系或?qū)⒐?jié)點(diǎn)公鑰與白名單一起通過安全通道預(yù)同步到關(guān)聯(lián)節(jié)點(diǎn)的方案。通訊密鑰與節(jié)點(diǎn)身份認(rèn)證密鑰應(yīng)分離;對(duì)參與任務(wù)的各個(gè)要素需要互證一致;提供計(jì)算執(zhí)行代碼的一致性證明。基于區(qū)塊鏈的全流程存證協(xié)作。共識(shí)機(jī)制一個(gè)規(guī)則同意這個(gè)特殊節(jié)點(diǎn)在很短的時(shí)間內(nèi)完成了對(duì)交易的驗(yàn)證和確認(rèn)。共識(shí)機(jī)制具有兩個(gè)作用:1.一致性:對(duì)區(qū)塊鏈系統(tǒng)中所有誠(chéng)實(shí)參與節(jié)點(diǎn)保持賬本一致性。2.有效性:篩選出一個(gè)在自己的區(qū)塊中。目前常見的共識(shí)機(jī)制有:工作量證明PoW(ProofofWork)、權(quán)益證明PoS(ProofofStake)以及委托權(quán)益證明DPoS(DelegatedProofofStake)。工作量證明機(jī)制PoW(有記賬權(quán)的PoW機(jī)制(5)來(lái)確認(rèn)這個(gè)記賬節(jié)點(diǎn)。比特幣網(wǎng)絡(luò)提出了這個(gè)PoW問題。其關(guān)鍵要素是工作量證明函數(shù)、區(qū)塊信息及難度值。工作量證明函數(shù)是這道題的計(jì)算方式,Nonce值代入到工作量證明函數(shù)中,嘗試進(jìn)行SHA256出滿足條件的Nonce值為止。計(jì)算得出滿足條件的Nonce值的個(gè)數(shù)越多,代表難度越大。圖5工作量證明機(jī)制PoW分布式存儲(chǔ)改者需要同時(shí)修改網(wǎng)絡(luò)上超過半數(shù)的系統(tǒng)節(jié)點(diǎn)數(shù)據(jù)才能真正地就了區(qū)塊鏈的安全性。智能合約和條件時(shí)會(huì)自動(dòng)執(zhí)行這些合約。智能合約工作時(shí)遵循簡(jiǎn)單的“if/when...then...”語(yǔ)句,這些語(yǔ)句被寫入?yún)^(qū)塊鏈代碼中。所有節(jié)點(diǎn)共享,所以數(shù)據(jù)是無(wú)法被篡改及安全的。密碼學(xué)(6變整個(gè)鏈才能更改單個(gè)記錄。圖6區(qū)塊鏈系統(tǒng)基于區(qū)塊鏈智能合約的計(jì)算合約(即數(shù)據(jù)用途容包括:效力。計(jì)算合約的特點(diǎn)包括:數(shù)字化、可機(jī)讀:不只是將紙質(zhì)合同電子化,須實(shí)現(xiàn)條款可自動(dòng)執(zhí)行。各方約定:以各方達(dá)成一致為前提,責(zé)任共擔(dān),分散風(fēng)險(xiǎn)。數(shù)據(jù)使用透明化:確認(rèn)數(shù)據(jù)加工、計(jì)算的算法邏輯(對(duì)于保密部分可使用密碼技術(shù)處理)。涵蓋計(jì)算任務(wù)全流程:具備不可篡改、可追溯等特性。計(jì)算合約的執(zhí)行流程:任務(wù)準(zhǔn)備:算法提供方基于算法形成合約模板;任務(wù)發(fā)起:任務(wù)發(fā)起方選擇合約模板,完善合約內(nèi)容;所有參與方提供相關(guān)信息,審查并簽署合約;任務(wù)執(zhí)行:任務(wù)發(fā)起方執(zhí)行合約,發(fā)起任務(wù);調(diào)度方驗(yàn)任務(wù)結(jié)算:結(jié)果使用方對(duì)照合約,驗(yàn)證結(jié)果;調(diào)度方進(jìn)行任務(wù)結(jié)算和清算;任務(wù)審計(jì):對(duì)照合約、存證、日志等,進(jìn)行任務(wù)審計(jì)。基礎(chǔ)性檢測(cè)數(shù)據(jù)來(lái)源檢測(cè)tokenIP權(quán)限接入系統(tǒng)中。數(shù)據(jù)權(quán)限管控問管控入口才可流入流出,防止繞過管控讀寫數(shù)據(jù)。數(shù)據(jù)質(zhì)量檢測(cè)參與方的約定。數(shù)據(jù)合規(guī)性審查自動(dòng)攔截的方式進(jìn)行合規(guī)性審查。異常輸入告警續(xù)處理提供參考。通信數(shù)據(jù)解析運(yùn)行一致性和關(guān)鍵信令執(zhí)行正確性進(jìn)行驗(yàn)證。訪問控制在網(wǎng)絡(luò)邊界或區(qū)域之間根據(jù)訪問控制策略設(shè)置訪問控制規(guī)/過濾,實(shí)現(xiàn)對(duì)內(nèi)容的訪問控制。數(shù)據(jù)包解析對(duì)隱私計(jì)算算法執(zhí)行過程中偵聽到的網(wǎng)絡(luò)信息流及其所有過程數(shù)據(jù)保密性進(jìn)行判別和驗(yàn)證。信令監(jiān)控成功與否等信令,后臺(tái)定期對(duì)信令情況進(jìn)行統(tǒng)計(jì)分析。運(yùn)行狀況監(jiān)測(cè)況進(jìn)行集中監(jiān)測(cè),能夠正確和及時(shí)地了解系統(tǒng)的運(yùn)行狀態(tài)。日志分析日志采集和存儲(chǔ),對(duì)日志記錄進(jìn)行檢索和統(tǒng)計(jì)分析。日志采集API操作系統(tǒng)日志、數(shù)據(jù)庫(kù)日志等。日志分析對(duì)采集的日志進(jìn)行解析、聚合、關(guān)鍵數(shù)據(jù)提取等相關(guān)處理。日志存儲(chǔ)式文件存儲(chǔ)、大數(shù)據(jù)存儲(chǔ)及關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)能力。日志檢索提供日志檢索功能,查詢指定的異常日志或者操作日志。代碼審計(jì)絡(luò)或系統(tǒng)會(huì)產(chǎn)生威脅或存在潛在威脅的惡意代碼。特征碼掃描征碼,就認(rèn)為存在惡意代碼。惡意行為檢測(cè)以判斷其為惡意代碼。沙箱技術(shù)配合其他方法能夠檢測(cè)出惡意代碼的存在。代碼分析利用常見的代碼分析工具掌握惡意代碼樣本程序的行為特可視化利用常見的代碼分析工具掌握惡意代碼樣本程序的行為特流程可視化過異常/錯(cuò)誤日志打印功能,方便用戶快速定位問題。運(yùn)維可視化異常風(fēng)險(xiǎn)。(三)驗(yàn)證方式隱私計(jì)算安全可驗(yàn)證的形式可包括:文檔審查提供理論安全性證明材料,通常包括有論文及出處、提供隱私計(jì)算系統(tǒng)設(shè)計(jì)文檔,包括算法協(xié)議原理、數(shù)據(jù)交互流程圖、安全設(shè)計(jì)說(shuō)明等,供檢測(cè)人員審查和存檔。代碼驗(yàn)證提供系統(tǒng)關(guān)鍵步驟和關(guān)鍵數(shù)據(jù)的日志記錄,包括數(shù)據(jù)提供算法關(guān)鍵部分實(shí)現(xiàn)代碼實(shí)現(xiàn)截圖,檢測(cè)人員驗(yàn)證所述一致;平臺(tái)演示提供關(guān)于待測(cè)隱私計(jì)算平臺(tái)操作流程、界面設(shè)計(jì)、功能設(shè)計(jì)的講解視頻,幫助檢測(cè)人員理解、審查和存檔;準(zhǔn)備平臺(tái)演示環(huán)境,按考察點(diǎn)逐一為檢測(cè)人員提供即時(shí)的平臺(tái)操作演示,檢測(cè)人員進(jìn)行提問和功能細(xì)節(jié)查看;提供測(cè)試環(huán)境下的外部訪問地址,供檢測(cè)人員按照平臺(tái)設(shè)計(jì)文檔自行進(jìn)行平臺(tái)操作。自動(dòng)化安全驗(yàn)證致。通信方監(jiān)測(cè):參與方事先提交一個(gè)通信方的白名單列當(dāng)中。通信量監(jiān)測(cè):需監(jiān)測(cè)計(jì)算任務(wù)的通信量。對(duì)于每個(gè)隱信內(nèi)容中出現(xiàn)。用法用量監(jiān)測(cè):記錄每個(gè)計(jì)算任務(wù)的用法用量。若計(jì)算任務(wù)超出規(guī)定的用法用量則接入預(yù)警系統(tǒng)。敏感異常操作監(jiān)測(cè):-終止任務(wù)-沒有跑計(jì)算任務(wù),卻大量消耗計(jì)算資源等。四、未來(lái)發(fā)展趨勢(shì)及建議隱私計(jì)算安全驗(yàn)證技術(shù)從技術(shù)角度約束隱私計(jì)算產(chǎn)品的安全風(fēng)險(xiǎn),降低應(yīng)用方安全顧慮,建立市場(chǎng)信任,為隱私計(jì)算行業(yè)良性、可持續(xù)發(fā)展提供助力,但目前相關(guān)工作和研究成果較少,未來(lái)還需要做進(jìn)一步探索和研究,主要包括以下幾方面:(一)挖掘隱私計(jì)算安全驗(yàn)證技術(shù)目前隱私計(jì)算算法邏輯安全性和一致性問題仍然缺少可行的解決方法,進(jìn)一步研究驗(yàn)證算法邏輯安全的安全驗(yàn)證技術(shù)。(二)打造通用化隱私計(jì)算安全驗(yàn)證工具是進(jìn)一步的工作方向。(三)適配安全分類分級(jí)(四)推動(dòng)金融行業(yè)形成技術(shù)標(biāo)準(zhǔn)化共識(shí)案設(shè)計(jì)、系統(tǒng)開發(fā)、產(chǎn)品驗(yàn)證、技術(shù)選型等方面提供參考。參考文獻(xiàn)J.VanBulck,M.Minkin,O.Weisse,D.Genkin,B.Kasikci,F.Piessens,M.Silberstein,T.F.Wenisch,Y.Yarom,andR.Strackx.“Foreshadow:ExtractingthekeystotheintelSGXkingdomwithtransientout-of-orderexecution”.InUSENIXSecurity,pages991–1008,2018.BRASSER,F.,U.,DMITRIENKO,A.,KOSTIAINEN,K.,CAPKUN,S.,ANDSADEGHI,A.-R.“Softwaregrandexposure:SGXcacheattacksarepractical”.In11thUSENIXWorkshoponOffensiveTechnologies(2017),WOOT'17,USENIXAssociation.O.Goldreich,S.Micali,andA.Wigderson.“Howtoplayanymentalgame”.InSTOC,pages218–229.ACM,1987.McMahanB,MooreE,RamageD,etal.“Communication-efficientlearningofdeepnetworksfromdecentralizeddata[C]”.ArtificialIntelligenceandStatistics.PMLR,2017:1273-1282.GeipingJ,BauermeisterH,H,etal.“InvertingGradients--Howeasyisittobreakprivacyinfederatedlearning?[J]”.arXivpreprintarXiv:2003.14053,2020.WangZ,SongM,ZhangZ,etal.“Beyondinferringclassrepresentatives:User-levelprivacyleakagefromfederatedlearning[C]”.IEEEINFOCOM2019-IEEEConferenceonComputerCommunications.IEEE,2019:2512-2520.TolpeginV,TruexS,GursoyME,etal.“Datapoisoningattacksagainstfederatedlearningsystems[C]”.EuropeanSymposiumonResearchinComputerSecurity.Springer,Cham,
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 二零二五年度車輛駕駛員職業(yè)健康檢查合同4篇
- 二零二五年度電視劇后期制作與配音合同4篇
- 2025版新能源研發(fā)項(xiàng)目合伙協(xié)議合同范本3篇
- 二零二五年度智能配電箱研發(fā)與采購(gòu)合同模板4篇
- 2025年度綜合交通樞紐建設(shè)項(xiàng)目承包商安全生產(chǎn)責(zé)任協(xié)議4篇
- 2025年度精密車間承包經(jīng)營(yíng)與技術(shù)服務(wù)合同4篇
- 二零二五年度存量房屋承購(gòu)經(jīng)紀(jì)服務(wù)合同稅務(wù)籌劃指南3篇
- 2025至2031年中國(guó)圍板行業(yè)投資前景及策略咨詢研究報(bào)告
- 2025至2031年中國(guó)157克銅版紙行業(yè)投資前景及策略咨詢研究報(bào)告
- 2025至2030年中國(guó)電磁單頭大炒爐數(shù)據(jù)監(jiān)測(cè)研究報(bào)告
- 高考滿分作文常見結(jié)構(gòu)完全解讀
- 專題2-2十三種高考補(bǔ)充函數(shù)歸類(講練)
- 理光投影機(jī)pj k360功能介紹
- 六年級(jí)數(shù)學(xué)上冊(cè)100道口算題(全冊(cè)完整版)
- 八年級(jí)數(shù)學(xué)下冊(cè)《第十九章 一次函數(shù)》單元檢測(cè)卷帶答案-人教版
- 帕薩特B5維修手冊(cè)及帕薩特B5全車電路圖
- 系統(tǒng)解剖學(xué)考試重點(diǎn)筆記
- 小學(xué)五年級(jí)解方程應(yīng)用題6
- 云南省地圖含市縣地圖矢量分層地圖行政區(qū)劃市縣概況ppt模板
- 年月江西省南昌市某綜合樓工程造價(jià)指標(biāo)及
- 作物栽培學(xué)課件棉花
評(píng)論
0/150
提交評(píng)論