機(jī)密計(jì)算保障人工智能系統(tǒng)安全研究報(bào)告

機(jī)密計(jì)算保障人工智能系統(tǒng)安全研究報(bào)告目錄AI安全需求與挑戰(zhàn)機(jī)密計(jì)算現(xiàn)狀與趨勢(shì)機(jī)密計(jì)算保障AI系統(tǒng)安全機(jī)密計(jì)算保障AI模型和數(shù)據(jù)安全機(jī)密AI未來(lái)趨勢(shì)展望AI安全需求與挑戰(zhàn)11、大模型時(shí)代的安全需求新一代AI逐漸滲透到了各行各業(yè)，在顯著提高生產(chǎn)力和效率的同時(shí)，也帶來(lái)了前所未有的安全挑戰(zhàn)，亟需建立一個(gè)涵蓋各個(gè)層次的AI安全框架，有效控制AI安全風(fēng)險(xiǎn)01020304數(shù)據(jù)安全算法安全模型安全系統(tǒng)安全確保AI系統(tǒng)賴(lài)以運(yùn)行的軟硬件、服務(wù)、網(wǎng)絡(luò)設(shè)備等基礎(chǔ)設(shè)施的安全性，防止未經(jīng)授權(quán)的訪問(wèn)和篡改確保AI模型在開(kāi)發(fā)和部署過(guò)程中的機(jī)密性和完整性，防止對(duì)AI模型的盜竊、非法復(fù)制和濫用確保AI算法具有公正性和魯棒性，保障決策過(guò)程與結(jié)果的合法合規(guī)，避免受到惡意干擾確保AI系統(tǒng)中的數(shù)據(jù)在存儲(chǔ)、傳輸和使用時(shí)，其機(jī)密性、完整性、可用性不會(huì)受到泄露、篡改或惡意使用影響系統(tǒng)安全是最基礎(chǔ)和最重要的，是確保業(yè)務(wù)層安全措施得以實(shí)施的基礎(chǔ)；《生成式人工智能服務(wù)安全基本要求》的相關(guān)要求也體現(xiàn)了“真正的安全要從系統(tǒng)層開(kāi)始”這一理念2、AI安全的主要風(fēng)險(xiǎn)和挑戰(zhàn)平臺(tái)可信性風(fēng)險(xiǎn)內(nèi)存攻擊存儲(chǔ)攻擊側(cè)信道攻擊瞬態(tài)執(zhí)行攻擊微架構(gòu)數(shù)據(jù)采樣框架和組件的安全漏洞網(wǎng)絡(luò)攻擊風(fēng)險(xiǎn)……01模型竊取攻擊模型后門(mén)攻擊模型越獄攻擊……02缺乏可解釋性對(duì)抗性攻擊算法的歧視偏見(jiàn)……03數(shù)據(jù)投毒攻擊梯度反演攻擊成員推理攻擊用戶(hù)輸入數(shù)據(jù)泄露……04系統(tǒng)安全模型安全算法安全數(shù)據(jù)安全3、AI安全現(xiàn)有解決思路的局限現(xiàn)有AI安全解決方案主要集中在數(shù)據(jù)安全、算法安全和模型安全三個(gè)層級(jí)，常見(jiàn)的措施包括模型加密、對(duì)抗樣本檢測(cè)、差分隱私等，一定程度上提高了安全性，但應(yīng)對(duì)更復(fù)雜的安全威脅時(shí)往往顯得力不從心。越來(lái)越多企業(yè)在云服務(wù)上進(jìn)行AI訓(xùn)練和推理現(xiàn)有的安全解決思路通常假設(shè)云服務(wù)本身是可信的，忽視了其可能存在的風(fēng)險(xiǎn)使得AI系統(tǒng)在云服務(wù)環(huán)境中的安全性面臨嚴(yán)峻挑戰(zhàn)010203現(xiàn)有方案在保護(hù)用戶(hù)隱私數(shù)據(jù)傳輸方面存在不足，TLS協(xié)議缺少端到端的用戶(hù)隱私數(shù)據(jù)保護(hù)用戶(hù)的隱私數(shù)據(jù)可能會(huì)被不可信的AI服務(wù)獲取，從而導(dǎo)致敏感數(shù)據(jù)的泄露在系統(tǒng)層面，特別是對(duì)操作系統(tǒng)、硬件以及云服務(wù)等關(guān)鍵軟硬件和服務(wù)的保護(hù)上，安全性往往容易被忽略或未能得到應(yīng)有的重視系統(tǒng)層的薄弱環(huán)節(jié)可能導(dǎo)致整個(gè)系統(tǒng)的安全性失效機(jī)密計(jì)算現(xiàn)狀與趨勢(shì)21、機(jī)密計(jì)算技術(shù)原理與應(yīng)用價(jià)值（1/2）機(jī)密計(jì)算是利用具有通用計(jì)算能力的硬件可信執(zhí)行環(huán)境（TEE）來(lái)保障“使用中”的數(shù)據(jù)安全，TEE應(yīng)具備可編程性，可確保數(shù)據(jù)的可用且不可見(jiàn)，從而保護(hù)使用中的數(shù)據(jù)并維護(hù)數(shù)據(jù)的完整性和隱私。圖

機(jī)密計(jì)算與隱私計(jì)算的關(guān)系圖

TEE實(shí)現(xiàn)方案1、機(jī)密計(jì)算技術(shù)原理與應(yīng)用價(jià)值（2/2）機(jī)密計(jì)算對(duì)云上用戶(hù)數(shù)據(jù)提供強(qiáng)大的安全保障機(jī)密計(jì)算為“使用中”的數(shù)據(jù)提供全方位安全保護(hù)機(jī)密計(jì)算為數(shù)據(jù)全生命周期提供保護(hù)長(zhǎng)期以來(lái)加密技術(shù)被用于為“傳輸中”數(shù)據(jù)和“靜態(tài)存儲(chǔ)”的數(shù)據(jù)提供防護(hù)，“使用中”的數(shù)據(jù)缺乏有效的保護(hù)手段，使用戶(hù)數(shù)據(jù)暴露在未經(jīng)授權(quán)的訪問(wèn)、篡改及竊取的巨大風(fēng)險(xiǎn)之下機(jī)密計(jì)算全面覆蓋數(shù)據(jù)生命周期的三大階段——“傳輸中”、“靜態(tài)存儲(chǔ)”及“使用中”，確保數(shù)據(jù)在任何時(shí)刻都安全無(wú)虞隨著云計(jì)算和邊緣計(jì)算的蓬勃發(fā)展，眾多用戶(hù)傾向于在云服務(wù)器的設(shè)備上部署工作負(fù)載，這一轉(zhuǎn)變使得數(shù)據(jù)保護(hù)面臨全新挑戰(zhàn)。機(jī)密計(jì)算將防護(hù)重心明確轉(zhuǎn)向確保用戶(hù)數(shù)據(jù)免遭任何潛在的系統(tǒng)控制者攻擊，盡管工作負(fù)載依舊依托云上軟件進(jìn)行管理，但這些軟件卻被嚴(yán)格限制，無(wú)法窺視或篡改用戶(hù)數(shù)據(jù)任何未經(jīng)授權(quán)的實(shí)體，無(wú)論是主機(jī)上的應(yīng)用程序、操作系統(tǒng)、Hypervisor，還是系統(tǒng)管理員，甚至是對(duì)硬件擁有物理訪問(wèn)權(quán)限的其他人員，都無(wú)法窺探到在TEE和內(nèi)存中的數(shù)據(jù)加密方式。這意味著，即便內(nèi)存數(shù)據(jù)不幸被竊取，也絕不會(huì)發(fā)生信息泄露。TEE極大地增強(qiáng)了數(shù)據(jù)的安全性和可證明性，為用戶(hù)提供了更高的信任度2、機(jī)密計(jì)算技術(shù)路線與產(chǎn)業(yè)生態(tài)發(fā)展歷程平臺(tái)互聯(lián)互通不同的技術(shù)路線內(nèi)存加密、隔離機(jī)制等實(shí)現(xiàn)方式有所不同，導(dǎo)致不同平臺(tái)的機(jī)密計(jì)算環(huán)境無(wú)法直接互通，阻礙了跨平臺(tái)應(yīng)用的無(wú)縫協(xié)同運(yùn)行和管理行業(yè)聯(lián)盟和標(biāo)準(zhǔn)化組織為達(dá)成互操作性，制定了統(tǒng)一的機(jī)密計(jì)算技術(shù)標(biāo)準(zhǔn)和規(guī)范，顯著提升了產(chǎn)品的易用性、安全性和兼容性針對(duì)不同的體系架構(gòu)出現(xiàn)了多種機(jī)密計(jì)算技術(shù)路線，x86體系相對(duì)比較成熟，ARM和RISC-V體系也正積極跟進(jìn)系統(tǒng)級(jí)TEE方案?jìng)涫墚a(chǎn)業(yè)界矚目，是未來(lái)的重要發(fā)展方向不同技術(shù)路線在數(shù)據(jù)機(jī)密性和完整性保護(hù)具體實(shí)現(xiàn)上存在較大技術(shù)差異，但在安全能力上差異較小技術(shù)路線產(chǎn)業(yè)生態(tài)技術(shù)研發(fā)方面，機(jī)密計(jì)算掀起了創(chuàng)新浪潮，引領(lǐng)傳統(tǒng)安全體系結(jié)構(gòu)、模型、策略及措施的全面升級(jí)標(biāo)準(zhǔn)化建設(shè)方面，當(dāng)前機(jī)密計(jì)算缺乏標(biāo)準(zhǔn)，造成技術(shù)障礙，各方正加快構(gòu)建機(jī)密計(jì)算標(biāo)準(zhǔn)體系產(chǎn)業(yè)應(yīng)用方面，協(xié)同發(fā)展、復(fù)合應(yīng)用是機(jī)密計(jì)算產(chǎn)業(yè)發(fā)展的核心特征02TEE階段（2015-2018年）01TPM/TCM階段（2003-2014年）03機(jī)密計(jì)算階段（023019年至今）3、機(jī)密計(jì)算技術(shù)方向與發(fā)展趨勢(shì)技術(shù)融合機(jī)密計(jì)算正逐步與人工智能、區(qū)塊鏈、5G、物聯(lián)網(wǎng)、云計(jì)算等新興技術(shù)相互融合，催生出跨領(lǐng)域的綜合性技術(shù)解決方案通用范式機(jī)密計(jì)算技術(shù)正推動(dòng)安全多方計(jì)算、同態(tài)加密、零知識(shí)證明和聯(lián)邦學(xué)習(xí)等一系列隱私保護(hù)技術(shù)的革新安全合規(guī)機(jī)密計(jì)算技術(shù)需要具備高度的靈活性與適應(yīng)性，以滿足不同國(guó)家和地區(qū)的特定需求我國(guó)數(shù)據(jù)集標(biāo)準(zhǔn)建設(shè)現(xiàn)狀硬與件問(wèn)方題面機(jī)密計(jì)算將更加倚重CPU和GPU的專(zhuān)用安全功能，通過(guò)指令集擴(kuò)展或獨(dú)立安全核等方式，加速加解密操作，并為安全多方計(jì)算等復(fù)雜任務(wù)提供堅(jiān)實(shí)的硬件支持軟件方面技術(shù)演進(jìn)將引領(lǐng)軟件開(kāi)發(fā)流程的深刻變革，與機(jī)密計(jì)算緊密結(jié)合的新興編程語(yǔ)言和工具將極大簡(jiǎn)化安全程序的開(kāi)發(fā)流程，并充分發(fā)揮以TEE為代表的硬件安全特性平臺(tái)化能力云服務(wù)提供商正致力于將機(jī)密計(jì)算功能深度融入其云平臺(tái)，使用戶(hù)能夠以即用即付的方式輕松享受到機(jī)密計(jì)算服務(wù)機(jī)密計(jì)算保障AI系統(tǒng)安全31、機(jī)密計(jì)算保障AI系統(tǒng)安全的思路AI技術(shù)棧的四層結(jié)構(gòu)系統(tǒng)、數(shù)據(jù)、算法、模型四個(gè)核心層次結(jié)構(gòu)，系統(tǒng)層如果存在安全漏洞，訓(xùn)練數(shù)據(jù)和推理數(shù)據(jù)就有可能從底層被泄露，從而對(duì)整個(gè)AI服務(wù)的安全構(gòu)成嚴(yán)重威脅。因此，需要在系統(tǒng)層引入密態(tài)計(jì)算技術(shù)機(jī)密AI成為模型訓(xùn)練推理的“保險(xiǎn)箱”機(jī)密AI作為一種前沿的技術(shù)解決方案，巧妙地融合了機(jī)密計(jì)算的可信執(zhí)行環(huán)境與模型數(shù)據(jù)安全的理念，構(gòu)成了一個(gè)綜合性的軟硬一體技術(shù)框架系統(tǒng)層AI安全讓用戶(hù)減少信任實(shí)體驗(yàn)證在傳統(tǒng)的AI服務(wù)中，用戶(hù)往往需要信任多個(gè)實(shí)體以確保數(shù)據(jù)的安全。這種多層次的信任結(jié)構(gòu)不僅復(fù)雜，而且容易引發(fā)安全隱患。引入系統(tǒng)級(jí)AI安全技術(shù)，可為用戶(hù)提供一種更為簡(jiǎn)潔且有效的信任模式機(jī)密AI面臨的問(wèn)題與挑戰(zhàn)一是AI全過(guò)程保護(hù)二是AI模型的透明使用三是AI過(guò)程完整性保護(hù)四是數(shù)據(jù)隱私和合規(guī)性五是計(jì)算資源和效率2、微軟Azure機(jī)密AI技術(shù)微軟Azure機(jī)密AI技術(shù)基于AMD的

SEV-SNP，由運(yùn)行可信執(zhí)行環(huán)境中的機(jī)密機(jī)器學(xué)習(xí)推理模塊、客戶(hù)端以及通用模塊三部分組成微軟Azure機(jī)密AI架構(gòu)引入了可信第三方角色，將部分信任問(wèn)題從Azure的云服務(wù)轉(zhuǎn)嫁給可信第三方負(fù)責(zé)，從而避免了模型提供者和用戶(hù)相互不信任的問(wèn)題。微軟通過(guò)遠(yuǎn)程證明服務(wù)將Azure中已經(jīng)存在的ACI（Azure容器實(shí)例）、AKV（Azure密鑰管理庫(kù)）和AAD（Azure目錄控制）云產(chǎn)品進(jìn)行了整合，使之在單獨(dú)發(fā)揮功能的同時(shí)共同組成一套安全解決方案。使用代理網(wǎng)關(guān)的模式，在不對(duì)推理客戶(hù)端程序和服務(wù)端程序進(jìn)行修改的前提下，實(shí)現(xiàn)了二者間的可信安全通信。微軟Azure應(yīng)用了英偉達(dá)Hopper架構(gòu)的GPU機(jī)密計(jì)算加速功能，實(shí)現(xiàn)了將GPU加速納入機(jī)密AI體系架構(gòu)中。3、阿里云機(jī)密AI技術(shù)架構(gòu)與實(shí)現(xiàn)阿里云機(jī)密AI運(yùn)用機(jī)密計(jì)算可信執(zhí)行環(huán)境分離開(kāi)了模型數(shù)據(jù)的所有權(quán)和使用權(quán)，并結(jié)合TEE

RuntimeTrustiflux和信任管理服務(wù)Trustee等軟件框架，在允許模型提供者能夠安全可信地將模型數(shù)據(jù)授予其他多個(gè)實(shí)體使用的同時(shí)，還能繼續(xù)保持對(duì)模型數(shù)據(jù)的獨(dú)占性機(jī)密AI的核心TEE

Runtime

Trustiflux，主要作用于以下兩個(gè)執(zhí)行過(guò)程：一是模型數(shù)據(jù)在可信執(zhí)行環(huán)境中的解密過(guò)程，二是用戶(hù)隱私數(shù)據(jù)隧道的建立過(guò)程。機(jī)密AI保護(hù)模型的基石-信任管理服務(wù)Trustee，通過(guò)遠(yuǎn)程證明功能，能夠代表模型使用者等對(duì)目標(biāo)可信執(zhí)行環(huán)境的真實(shí)性存疑的角色實(shí)現(xiàn)基于遠(yuǎn)程證明過(guò)程的認(rèn)證與授權(quán)機(jī)制；此外，還提供可信審計(jì)日志、可信本地存儲(chǔ)、可信運(yùn)維通道、自主身份管理等功能機(jī)密AI保護(hù)模型使用者隱私的窗口-可信客戶(hù)端4、阿里云機(jī)密AI技術(shù)的核心優(yōu)勢(shì)對(duì)上層應(yīng)用的透明性：機(jī)密AI在設(shè)計(jì)上要求其復(fù)雜性對(duì)AI應(yīng)用來(lái)說(shuō)必須是無(wú)感知的，體現(xiàn)在應(yīng)用適配和應(yīng)用部署兩個(gè)方面用戶(hù)數(shù)據(jù)“使用中”加密：機(jī)密AI能夠幫助模型提供者提供端到端的模型數(shù)據(jù)安全防護(hù)能力，為模型使用者提供端到端的用戶(hù)隱私數(shù)據(jù)安全防護(hù)能力0304可審計(jì)證明的安全過(guò)程：機(jī)密AI充分利用機(jī)密計(jì)算遠(yuǎn)程證明技術(shù)，強(qiáng)制保證實(shí)施模型數(shù)據(jù)在可信執(zhí)行環(huán)境中的解密過(guò)程和用戶(hù)隱私數(shù)據(jù)隧道的建立，必須經(jīng)由模型提供者和模型使用者等角色事先配置的遠(yuǎn)程證明策略的顯式同意，才能得到合法的認(rèn)證與授權(quán)系統(tǒng)硬件層高強(qiáng)度安全：機(jī)密AI利用機(jī)密計(jì)算硬件平臺(tái)提供的可信執(zhí)行環(huán)境，確保AI計(jì)算過(guò)程所在的CPU與GPU可信執(zhí)行環(huán)境中的內(nèi)存是加密且訪問(wèn)隔離的0102核心優(yōu)勢(shì)5、阿里云機(jī)密AI技術(shù)的典型場(chǎng)景1、使用機(jī)密AI訓(xùn)練模型場(chǎng)景2、使用機(jī)密AI推理場(chǎng)景機(jī)密計(jì)算保障數(shù)據(jù)和模型安全41、機(jī)密計(jì)算保障AI數(shù)據(jù)和算法安全訓(xùn)練數(shù)據(jù)安全與用戶(hù)隱私保護(hù)在訓(xùn)練場(chǎng)景下，面對(duì)海量數(shù)據(jù)中可能潛藏的敏感數(shù)據(jù)泄露風(fēng)險(xiǎn)，機(jī)密計(jì)算通過(guò)TEE實(shí)現(xiàn)數(shù)據(jù)隔離與保護(hù)，在TEE內(nèi)部進(jìn)行模型訓(xùn)練，確保外部無(wú)法訪問(wèn)敏感數(shù)據(jù)。

實(shí)現(xiàn)數(shù)據(jù)最小化使用基于硬件的可信執(zhí)行環(huán)境，確保僅授權(quán)代碼可運(yùn)行，從而實(shí)現(xiàn)數(shù)據(jù)最小化使用AI算法安全防護(hù)AI大模型算法面臨對(duì)抗攻擊、算法偏見(jiàn)歧視等多種安全風(fēng)險(xiǎn)，而機(jī)密計(jì)算作為系統(tǒng)層安全方案，為緩解這些風(fēng)險(xiǎn)提供了有力支持，特別是在白盒攻擊方面2、機(jī)密計(jì)算全面保障AI模型安全AI模型作為重要的數(shù)字資產(chǎn)，其安全保護(hù)聚焦于模型知識(shí)產(chǎn)權(quán)，以應(yīng)對(duì)盜竊、非法復(fù)制和濫用等風(fēng)險(xiǎn)當(dāng)前，AI模型安全保護(hù)技術(shù)主要包括以下四種，其中基于機(jī)密虛擬機(jī)的保護(hù)方案展現(xiàn)出顯著優(yōu)勢(shì)?；趥鹘y(tǒng)加密算法的模型保護(hù)。雖能保護(hù)模型存儲(chǔ)與傳輸安全，但無(wú)法保障運(yùn)行時(shí)的安全?；诿軕B(tài)計(jì)算的保護(hù)。雖在密文形式下進(jìn)行推理，但AI模型在密文形式下進(jìn)行推理應(yīng)用，計(jì)算開(kāi)銷(xiāo)或者通信開(kāi)銷(xiāo)很大，導(dǎo)致模型推理時(shí)延，影響推理效率?；赥EE的AI模型保護(hù)。雖在特定算子/子圖的推理等場(chǎng)景下有效，但通用性不強(qiáng)，且可能增大TEE攻擊面?；跈C(jī)密虛擬機(jī)的AI模型保護(hù)。通過(guò)機(jī)密硬件虛擬機(jī)技術(shù)，為模型提供全生命周期的保護(hù)，有效抵御基礎(chǔ)設(shè)施提供者、惡意系統(tǒng)管理員等多方威脅，確保在靜態(tài)存儲(chǔ)、傳輸及使用過(guò)程中的安全。機(jī)密AI未來(lái)趨勢(shì)展望51、發(fā)展規(guī)模持續(xù)擴(kuò)大機(jī)密AI能夠在云端環(huán)境中安全地處理敏感數(shù)據(jù)，有效降低數(shù)據(jù)泄露的風(fēng)險(xiǎn)關(guān)鍵行業(yè)對(duì)多方安全計(jì)算的需求不斷增長(zhǎng)，將為機(jī)密AI帶來(lái)更為廣闊的市場(chǎng)空間，助力其在這些行業(yè)中發(fā)揮更大價(jià)值硬件技術(shù)的進(jìn)步使得在隔離的硬件環(huán)境中執(zhí)行AI算法成為可能，為機(jī)密AI的廣泛應(yīng)用創(chuàng)造了更多有利條件機(jī)密AI能夠在數(shù)據(jù)處理過(guò)程中保障隱私和安全，從而更好地滿足數(shù)據(jù)隱私法規(guī)要求2、標(biāo)準(zhǔn)建設(shè)逐步完善平臺(tái)框架協(xié)議定義服務(wù)框架的架構(gòu)與關(guān)鍵組件，

并規(guī)定服務(wù)的生命周期管理，以確保服務(wù)連續(xù)性和安全性安全管理框架標(biāo)準(zhǔn)制定安全管理的政策和流程，

以及規(guī)定安全事件響應(yīng)和災(zāi)難恢復(fù)計(jì)劃，

以有效應(yīng)對(duì)潛在的安全威脅基于機(jī)密計(jì)算的應(yīng)用標(biāo)準(zhǔn)針對(duì)特定應(yīng)用場(chǎng)景的機(jī)密計(jì)算應(yīng)用開(kāi)發(fā)標(biāo)準(zhǔn)和最佳實(shí)踐，

以滿足特定行業(yè)的安全需求檢測(cè)評(píng)估標(biāo)準(zhǔn)規(guī)定評(píng)估和測(cè)試機(jī)密A

I

系統(tǒng)安全性和性能的方法，

為機(jī)密A

I

系統(tǒng)的部署和維護(hù)提供科學(xué)依據(jù)算法與協(xié)議規(guī)范包括保護(hù)數(shù)據(jù)隱私的加密算法和協(xié)議等，確保數(shù)據(jù)在處理過(guò)程中的安全性和隱私性應(yīng)用接口規(guī)范包括數(shù)據(jù)輸入輸出、模型訓(xùn)練等接口規(guī)范，確保應(yīng)用程序與機(jī)密A

I

服務(wù)間的無(wú)縫交互，促進(jìn)系統(tǒng)兼容性軟硬件加速技術(shù)規(guī)范包括硬件接口、性能指標(biāo)和能效比等，

規(guī)定硬件加速器與機(jī)密A

I

算法的集成標(biāo)準(zhǔn)，

推