人工智能應(yīng)用系統(tǒng)內(nèi)生安全藍(lán)皮書

人工智能應(yīng)用系統(tǒng)內(nèi)生安全藍(lán)皮書中國(guó)通信學(xué)會(huì)內(nèi)生安全專業(yè)技術(shù)委員會(huì)2024年11月專家組和撰寫組名單顧問(以姓氏筆劃為序):鄔江興張帆國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心教授黃瑞陽(yáng)國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心教授成員(以姓氏筆劃為序):姓名單位職務(wù)國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心助理研究員國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心副教授復(fù)旦大學(xué)大數(shù)據(jù)研究院副院長(zhǎng)尚玉婷復(fù)旦大學(xué)大數(shù)據(jù)研究院助理研究員李建鵬鄭州大學(xué)助理研究員李邵梅國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心副研究員高彥釗國(guó)家數(shù)字交換系統(tǒng)工程技術(shù)研究中心副研究員撰寫組(按單位排名)單位姓名紫金山實(shí)驗(yàn)室杜加玉紫金山實(shí)驗(yàn)室紫金山實(shí)驗(yàn)室苗馨遠(yuǎn)紫金山實(shí)驗(yàn)室紫金山實(shí)驗(yàn)室董方旭紫金山實(shí)驗(yàn)室楊秋龍紫金山實(shí)驗(yàn)室紫金山實(shí)驗(yàn)室紫金山實(shí)驗(yàn)室紫金山實(shí)驗(yàn)室周志中紫金山實(shí)驗(yàn)室彭自文紫金山實(shí)驗(yàn)室喬明起事物都是自在性矛盾的”,任何偉大的技術(shù)發(fā)明在創(chuàng)造前所未有的機(jī)AI應(yīng)用系統(tǒng)可用性和可靠性，還能會(huì)觸及隱私保護(hù)、網(wǎng)絡(luò)安全、社因此，構(gòu)建一套能夠抵御內(nèi)外部威脅、確保AI健康可持續(xù)發(fā)展的安法證明不存在不確定性風(fēng)險(xiǎn)。AI應(yīng)用系統(tǒng)涵蓋了從數(shù)據(jù)治理、模型能引入不確定性因素，主要表現(xiàn)在：一是AI應(yīng)用系統(tǒng)運(yùn)行環(huán)境仍基帶來基因缺陷”;另一方面，AI模型算法特有的“黑盒”效應(yīng)具有AI應(yīng)用系統(tǒng)之上的“達(dá)摩克利斯之劍”?，F(xiàn)有AI安全防御方法主要依賴“亡羊補(bǔ)牢，吃一塹長(zhǎng)一智”的2024年1月，人工智能(AI)新銳巨頭OpenAI公司的創(chuàng)始人兼AI帶來的技術(shù)革命不同于以往，而是成為了一種“不可思議的提高生產(chǎn)力的工具”。作為最具顛覆性的新興技術(shù)之一，AI發(fā)展在為人類社會(huì)經(jīng)濟(jì)發(fā)展帶來巨大紅利的同時(shí)，也引發(fā)了一系列現(xiàn)實(shí)危害和風(fēng)險(xiǎn)挑戰(zhàn)，主要包括數(shù)據(jù)竊取、隱私泄露、算法歧視、對(duì)抗攻擊等安全威脅，它們不僅威脅著個(gè)人信息的保護(hù)，影響著企業(yè)的信譽(yù)和運(yùn)營(yíng)安全，甚至對(duì)國(guó)家安全也構(gòu)成了潛在的隱患，這些問題需要我們持續(xù)關(guān)注并采取有效措施加以防范和解決。當(dāng)前人工智能應(yīng)用系統(tǒng)的安全威脅是由于其網(wǎng)絡(luò)軟硬件運(yùn)行環(huán)境和模型算法兩個(gè)層面存在的“內(nèi)生安全問題”所致。然而現(xiàn)有的人工智能應(yīng)用系統(tǒng)安全防護(hù)模式和技術(shù)路線很少能跳出“盡力而為、問題歸零”的慣性思維，傳統(tǒng)的對(duì)抗訓(xùn)練、挖漏洞、打補(bǔ)丁、封門補(bǔ)漏、查毒殺馬乃至設(shè)蜜罐、布沙箱等層層疊疊的附加式防護(hù)措施，在引入安全功能的同時(shí)不可避免地會(huì)引入新的內(nèi)生安全隱患。為創(chuàng)造性破解人工智能應(yīng)用系統(tǒng)內(nèi)生安全難題，本藍(lán)皮書提出一種內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)構(gòu)建的方法，利用內(nèi)生安全機(jī)理中內(nèi)在的構(gòu)造效應(yīng)，從體制機(jī)理上管控或規(guī)避人工智能應(yīng)用系統(tǒng)面臨的破壞及威脅，進(jìn)而有效提升人工智能應(yīng)用系統(tǒng)在面對(duì)復(fù)雜多變安全環(huán)境時(shí)的應(yīng)對(duì)能力，為AI技術(shù)的健康發(fā)展提供堅(jiān)實(shí)保障。 1(一)人工智能應(yīng)用系統(tǒng) 11.人工智能應(yīng)用發(fā)展趨勢(shì)分析 22.人工智能應(yīng)用系統(tǒng)分析 4 9 二、全球發(fā)展態(tài)勢(shì) (一)全球人工智能發(fā)展現(xiàn)狀 (二)全球人工智能安全研究現(xiàn)狀 (三)全球人工智能安全產(chǎn)業(yè)發(fā)展現(xiàn)狀 (四)全球人工智能應(yīng)用系統(tǒng)內(nèi)生安全發(fā)展現(xiàn)狀 21 23(一)產(chǎn)業(yè)發(fā)展?fàn)顩r述評(píng) (二)國(guó)內(nèi)相關(guān)研究成果 四、技術(shù)預(yù)見 30 301.數(shù)據(jù)安全風(fēng)險(xiǎn) 2.算法安全風(fēng)險(xiǎn) 3.模型安全風(fēng)險(xiǎn) 314.軟硬件運(yùn)行環(huán)境安全風(fēng)險(xiǎn) 5.惡意使用風(fēng)險(xiǎn) 6.法律和倫理風(fēng)險(xiǎn)327.系統(tǒng)同質(zhì)化和系統(tǒng)性風(fēng)險(xiǎn) (二)人工智能應(yīng)用系統(tǒng)的風(fēng)險(xiǎn)成因分析 31.人工智能算法理論存在局限性 343.人工智能應(yīng)用系統(tǒng)要素缺乏安全性 34 35 1.人工智能應(yīng)用系統(tǒng)的內(nèi)生安全共性問題 2.人工智能應(yīng)用系統(tǒng)的內(nèi)生安全個(gè)性問題 3.人工智能應(yīng)用系統(tǒng)的廣義功能安全問題 (四)人工智能應(yīng)用系統(tǒng)內(nèi)生安全框架 401.內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)安全的機(jī)理 2.內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)安全的特殊性 3.內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)安全的可行性 4.內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)構(gòu)建 (三)提升AI價(jià)值觀對(duì)齊能力 (四)建強(qiáng)AI應(yīng)用系統(tǒng)安全環(huán)境 54 (一)加快推進(jìn)人工智能應(yīng)用系統(tǒng)立法保護(hù) (二)加快人工智能應(yīng)用系統(tǒng)供給側(cè)安全治理 (三)加快解決關(guān)鍵技術(shù)受制于人的短板問題 (四)加快建立國(guó)家級(jí)人工智能安全試驗(yàn)場(chǎng) (五)加快轉(zhuǎn)變教育范式培養(yǎng)負(fù)責(zé)任的開發(fā)者 60(六)不斷提高人工智能內(nèi)生安全治理的國(guó)際影響力 (七)建立健全人工智能應(yīng)用系統(tǒng)風(fēng)險(xiǎn)等級(jí)劃分制度 參考文獻(xiàn) 一、研究概述(一)人工智能應(yīng)用系統(tǒng)圖1顯示了人工智能產(chǎn)業(yè)鏈框架，主要分為上游的基礎(chǔ)層、中游術(shù)、人機(jī)交互五類，代表性企業(yè)有OpenAI、谷歌、微軟、英偉達(dá)、場(chǎng)景包括所有AI技術(shù)與傳統(tǒng)應(yīng)用結(jié)合形成的產(chǎn)業(yè)種類，主要有語言2娛樂游戲產(chǎn)業(yè)娛樂游戲產(chǎn)業(yè)元宇宙游戲開發(fā)通用大語言模型自然語言處理機(jī)器問答知識(shí)圖譜算法模型軟件框架采集[清洗行業(yè)大語言模型音頻處理技術(shù)數(shù)據(jù)治理資產(chǎn)管理數(shù)據(jù)平臺(tái)數(shù)據(jù)安全危險(xiǎn)應(yīng)急倫理評(píng)估制造業(yè)工業(yè)控制 工業(yè)維護(hù)具身體智能類腦算法科學(xué)研究材料科學(xué)天文探索量子模擬計(jì)算機(jī)視覺3D建模醫(yī)療業(yè)醫(yī)療影像藥物研發(fā)遠(yuǎn)程手術(shù)交通業(yè)導(dǎo)航定位智能駕駛智能物流金融業(yè)風(fēng)險(xiǎn)控制推薦系統(tǒng)人機(jī)客服人機(jī)交互視覺交互音頻交互SaaS技術(shù)基礎(chǔ)應(yīng)用數(shù)據(jù)管理算力芯片1.人工智能應(yīng)用發(fā)展趨勢(shì)分析在科技飛速發(fā)展的今天，人工智能這股新浪潮正以前所未有的速度沖擊著各個(gè)領(lǐng)域，改寫著人類的生活方式。從ChatGPT為代表的大語言單模態(tài)模型到AI文生圖等多模態(tài)生成模型，從煤礦到鐵路，從金融到教育，AI技術(shù)的影子無處不在。人工智能作為當(dāng)今世界科技革命和產(chǎn)業(yè)變革的關(guān)鍵領(lǐng)域，其產(chǎn)業(yè)應(yīng)用的發(fā)展趨勢(shì)呈現(xiàn)出多元化、深度滲透和廣泛應(yīng)用的特點(diǎn)。(1)技術(shù)創(chuàng)新持續(xù)升級(jí)隨著計(jì)算能力的不斷提高和邏輯算法的不斷優(yōu)化，人工智能技術(shù)將更加成熟。深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)、語言大模型、多模態(tài)預(yù)訓(xùn)練大模型等核心技術(shù)的不斷進(jìn)步，提升了語音識(shí)別、圖像處理、自然語言理解等領(lǐng)域的準(zhǔn)確性和效率。當(dāng)前多模態(tài)預(yù)訓(xùn)練大模型正成為AI大模型的主流形態(tài)，堪稱當(dāng)今人工智能產(chǎn)業(yè)的“標(biāo)配”。(2)行業(yè)應(yīng)用加速擴(kuò)展3人工智能正應(yīng)用于眾多行業(yè)和領(lǐng)域，成為推動(dòng)傳統(tǒng)產(chǎn)業(yè)升級(jí)和新興產(chǎn)業(yè)成長(zhǎng)的重要力量。智能制造、智能醫(yī)療、智能交通、智慧城市等已經(jīng)成為人工智能應(yīng)用的熱點(diǎn)領(lǐng)域。特別是生成式人工智能技術(shù)的飛躍式發(fā)展，其在廣告營(yíng)銷、游戲創(chuàng)作、藝術(shù)設(shè)計(jì)等創(chuàng)造性工作場(chǎng)景與行業(yè)中，正得到更為廣泛的應(yīng)用。一方面，創(chuàng)意屬于稀缺資源，人創(chuàng)造性對(duì)激發(fā)靈感、輔助創(chuàng)作、驗(yàn)證創(chuàng)意等大有裨益，另一方面，互聯(lián)網(wǎng)大規(guī)模普及使得“一切皆可在線”,數(shù)字內(nèi)容消費(fèi)需求持續(xù)旺盛，AIGC能更低成本、更高效率地生產(chǎn)內(nèi)容，其經(jīng)濟(jì)性愈發(fā)凸顯。(3)智能化服務(wù)成為常態(tài)智能客服、智能助手等智能化服務(wù)將更加普及，成為人們?nèi)粘Ｉ詈凸ぷ髦胁豢苫蛉钡囊徊糠?。同時(shí)，基于人工智能的大數(shù)據(jù)分析能力，企業(yè)將能夠提供更加精準(zhǔn)和個(gè)性化的服務(wù)。由于ChatGPT在文本對(duì)話領(lǐng)域表現(xiàn)出的和人類行為的相似性，其被認(rèn)為是人類通往通用人工智能(ArtificialGeneralIntelligence,AGI)道路上的里程碑式產(chǎn)品。2023年7月，AI科學(xué)家李飛飛團(tuán)隊(duì)公布了利用大型語言模型 (LargeLanguageModels,LLMs)和視覺語言模型(Vision-LanguageModels,VLMs)驅(qū)動(dòng)的機(jī)器人項(xiàng)目VoxPoser,人類可以用自然語言給機(jī)器人下達(dá)指令，機(jī)器人直接能夠理解指令語義并做出相應(yīng)動(dòng)作，而無需額外數(shù)據(jù)和訓(xùn)練。這些技術(shù)將推動(dòng)智能化服務(wù)產(chǎn)業(yè)進(jìn)入拓寬加(4)倫理安全重視程度提高隨著人工智能技術(shù)的深入應(yīng)用，深度神經(jīng)網(wǎng)絡(luò)大模型的預(yù)訓(xùn)練和大規(guī)模人機(jī)交互中的強(qiáng)化學(xué)習(xí)技術(shù)正在推動(dòng)人工智能向認(rèn)知發(fā)展導(dǎo)4臨的重大挑戰(zhàn)。2023年11月，包括英國(guó)、美國(guó)、歐盟、澳大利亞和中國(guó)等在內(nèi)的28個(gè)國(guó)家和地區(qū)共同簽署了《布萊切利宣言》,旨在(5)算力資源需求持續(xù)增長(zhǎng)“多元異構(gòu)、軟硬件協(xié)同、綠色集約、云邊端一體化”四大特征。(6)應(yīng)用安全問題日益突出程中的透明性和可控性。但是，因?yàn)槟壳叭斯ぶ悄芫哂胁豢山忉?.人工智能應(yīng)用系統(tǒng)分析5(1)城市公共安全領(lǐng)域如盜竊、暴力等，發(fā)出警報(bào)并提供相關(guān)信息。例如在張學(xué)友2018年后追蹤到80多名犯罪分子，順利將他們抓捕歸案。②社交媒體監(jiān)測(cè)(2)金融服務(wù)領(lǐng)域6用。主要應(yīng)用系統(tǒng)有：①金融風(fēng)險(xiǎn)評(píng)估系統(tǒng)：該系統(tǒng)利用人工智能和大數(shù)據(jù)分析技術(shù)來評(píng)估金融領(lǐng)域風(fēng)險(xiǎn)，它通過分析大量的金融數(shù)據(jù)和市場(chǎng)信息，利用人工智能算法，幫助金融機(jī)構(gòu)和投資者識(shí)別、評(píng)估和管理各種金融風(fēng)險(xiǎn)，以支持金融決策和風(fēng)險(xiǎn)管理。②欺詐檢測(cè)系統(tǒng)：通過分析大量的金融數(shù)據(jù)和交易信息，幫助金融機(jī)構(gòu)和支付服務(wù)提供商發(fā)現(xiàn)潛在的欺詐行為，準(zhǔn)確識(shí)別信用卡欺詐、網(wǎng)絡(luò)詐騙、洗錢等不該系統(tǒng)能夠根據(jù)投資者的風(fēng)險(xiǎn)偏好、投資目標(biāo)和市場(chǎng)情況，利用人工智能技術(shù)為投資者提供個(gè)性化投資建議和服務(wù)，系統(tǒng)會(huì)根據(jù)投資者的目標(biāo)和風(fēng)險(xiǎn)偏好，選擇適合的資產(chǎn)類別、投資品種和配置比例，幫助投資者更好地理解市場(chǎng)趨勢(shì)和風(fēng)險(xiǎn)，提供更準(zhǔn)確的投資建議，同時(shí)實(shí)現(xiàn)交易的自動(dòng)化執(zhí)行。(3)醫(yī)療保健領(lǐng)域人工智能技術(shù)在影像診斷、疾病預(yù)測(cè)、智能醫(yī)療設(shè)備等領(lǐng)域中廣泛應(yīng)用。主要應(yīng)用系統(tǒng)有：①醫(yī)學(xué)影像分析系統(tǒng)：利用深度學(xué)習(xí)和計(jì)算機(jī)視覺技術(shù)，對(duì)醫(yī)學(xué)影像進(jìn)行自動(dòng)分析和診斷，如腫瘤檢測(cè)、疾病分類等。②個(gè)性化醫(yī)療推薦系統(tǒng)：根據(jù)患者的病歷數(shù)據(jù)和基因組信息，人工智能技術(shù)可以提供更精確的診斷和治療方案，并在早期發(fā)現(xiàn)疾病，可以輔助醫(yī)生進(jìn)行疾病診斷，提供更準(zhǔn)確的診斷結(jié)果和治療建議，為患者提供個(gè)性化的治療方案和藥物推薦。③醫(yī)療機(jī)器人系統(tǒng)：結(jié)合機(jī)器人和人工智能技術(shù)，用于手術(shù)輔助、康復(fù)治療和護(hù)理服務(wù)等。人工智能可以模擬醫(yī)生的思維和診斷推理，通過大量學(xué)習(xí)醫(yī)學(xué)影像，可以幫助醫(yī)生進(jìn)行病灶區(qū)域定位，給出患者可靠的診斷和治療方案，減少漏診誤診的問題；同時(shí)像骨科、泌尿外科、婦產(chǎn)科、神經(jīng)外科等多個(gè)7醫(yī)學(xué)領(lǐng)域中，手術(shù)機(jī)器人能夠極大地提高手術(shù)的精準(zhǔn)率而被廣泛使用。④智能醫(yī)療大數(shù)據(jù)分析系統(tǒng)：利用人工智能和大數(shù)據(jù)分析技術(shù)來處理和分析醫(yī)療領(lǐng)域大規(guī)模數(shù)據(jù)的系統(tǒng)，它通過對(duì)醫(yī)療數(shù)據(jù)的深度分析和挖掘，為醫(yī)療服務(wù)提供者、患者和醫(yī)療決策者提供精準(zhǔn)、高效的決策支持，如傳染病監(jiān)測(cè)與防控策略制定、藥物研發(fā)支持等。(4)零售和電子商務(wù)領(lǐng)域人工智能技術(shù)可以幫助零售商和電商平臺(tái)提供更好的產(chǎn)品和服務(wù)，提高銷售效率和用戶體驗(yàn)。以下是一些常見的人工智能應(yīng)用系統(tǒng)：①智能推薦系統(tǒng)：推薦系統(tǒng)利用機(jī)器學(xué)習(xí)和數(shù)據(jù)分析技術(shù)，通過分析用戶的購(gòu)買記錄、點(diǎn)擊行為和社交媒體數(shù)據(jù)，構(gòu)建用戶的興趣和需求模型，根據(jù)用戶的歷史行為和偏好，為他們推薦個(gè)性化的產(chǎn)品和服務(wù)，提高銷售轉(zhuǎn)化率和用戶滿意度。②機(jī)器人客服：聊天機(jī)器人利用自然語言處理和機(jī)器學(xué)習(xí)技術(shù)，與用戶進(jìn)行自動(dòng)化的對(duì)話交互，如在電商領(lǐng)域，機(jī)器人客服可以回答用戶的問題、提供產(chǎn)品建議、處理訂單和退款等事務(wù)性任務(wù)，提供即時(shí)的客戶服務(wù)和支持，提高用戶體驗(yàn)和客戶滿意度。③智能供應(yīng)鏈管理系統(tǒng)：利用數(shù)據(jù)分析和預(yù)測(cè)算法，優(yōu)化零售和電商平臺(tái)的供應(yīng)鏈管理，如通過分析銷售數(shù)據(jù)、庫(kù)存情況和交通運(yùn)輸信息，供應(yīng)鏈優(yōu)化系統(tǒng)可以預(yù)測(cè)需求、優(yōu)化庫(kù)存管理、提高配送效率，減少成本和提供更快的交付服務(wù)。(5)生產(chǎn)制造領(lǐng)域人工智能技術(shù)在智能裝配線、智能機(jī)器人等領(lǐng)域中廣泛應(yīng)用。主要應(yīng)用系統(tǒng)包括：①智能生產(chǎn)調(diào)度系統(tǒng)：通過實(shí)時(shí)監(jiān)測(cè)和分析生產(chǎn)數(shù)據(jù)，可以幫助發(fā)現(xiàn)生產(chǎn)流程中的瓶頸，提出改進(jìn)建議，優(yōu)化生產(chǎn)計(jì)劃和資源分配，提高生產(chǎn)效率和質(zhì)量。②預(yù)測(cè)維護(hù)系統(tǒng)：利用機(jī)器學(xué)習(xí)8和傳感器數(shù)據(jù)，預(yù)測(cè)設(shè)備故障和維護(hù)需求，從而提前進(jìn)行維護(hù)，減少停機(jī)時(shí)間和維修成本。③自動(dòng)化智能機(jī)器人系統(tǒng)：結(jié)合機(jī)器人和人工智能技術(shù)，使得生產(chǎn)制造領(lǐng)域的機(jī)器人能夠在更復(fù)雜的環(huán)境中工作，執(zhí)行更精細(xì)的任務(wù)，如組裝、包裝、搬運(yùn)等，實(shí)現(xiàn)自動(dòng)化的生產(chǎn)和裝配，提高生產(chǎn)線的靈活性和效率。(6)交通和物流領(lǐng)域人工智能技術(shù)在交通調(diào)度、智能駕駛等領(lǐng)域廣泛應(yīng)用。主要應(yīng)用系統(tǒng)包括：①智能交通管理系統(tǒng)：利用實(shí)時(shí)交通數(shù)據(jù)和優(yōu)化算法，實(shí)現(xiàn)智能信號(hào)控制和交通流量?jī)?yōu)化，減少擁堵和提高道路利用率，并能夠預(yù)測(cè)未來一段時(shí)期內(nèi)的交通模式，提前規(guī)劃交通流量。②自動(dòng)駕駛技術(shù)：以雷達(dá)、激光雷達(dá)等傳感器等基礎(chǔ)，結(jié)合計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)，實(shí)現(xiàn)自動(dòng)駕駛車輛的感知、決策和控制，使自動(dòng)駕駛汽車可以在沒有人類干預(yù)的情況下導(dǎo)航和駕駛，提高交通安全和效率。③物流智能調(diào)度系統(tǒng)：通過數(shù)據(jù)分析和路徑規(guī)劃算法，優(yōu)化貨物的運(yùn)輸路線和配送計(jì)劃，減少運(yùn)輸成本和時(shí)間，自動(dòng)計(jì)算貨物的裝載方案，最大化利用運(yùn)輸工具的裝載空間。(7)農(nóng)業(yè)領(lǐng)域人工智能技術(shù)可以幫助農(nóng)業(yè)領(lǐng)域人員提高農(nóng)業(yè)生產(chǎn)效率、優(yōu)化資源利用、增強(qiáng)農(nóng)作物和養(yǎng)殖的管理能力。常見的系統(tǒng)包括：①農(nóng)作物生長(zhǎng)監(jiān)測(cè)系統(tǒng)：該系統(tǒng)可以通過使用傳感器、遙感技術(shù)和圖像識(shí)別等技術(shù)，實(shí)時(shí)監(jiān)測(cè)農(nóng)作物的生長(zhǎng)環(huán)境以及生長(zhǎng)狀況，包括土壤濕度、氣候條件、病蟲害情況等，并提供農(nóng)作物的生長(zhǎng)預(yù)測(cè)、灌溉建議和病蟲害預(yù)警，幫助農(nóng)民優(yōu)化農(nóng)作物的管理和決策。②智能化農(nóng)機(jī)系統(tǒng)：該系統(tǒng)利用人工智能和自動(dòng)化技術(shù)，將傳感器、攝像頭和機(jī)器學(xué)習(xí)算法9應(yīng)用于農(nóng)業(yè)機(jī)械設(shè)備，實(shí)現(xiàn)農(nóng)機(jī)的智能化操作，如根據(jù)土壤條件和作物需求自動(dòng)調(diào)整播種深度和密度，提高播種效率和作物產(chǎn)量。③農(nóng)產(chǎn)品質(zhì)量檢測(cè)系統(tǒng)：該系統(tǒng)利用計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)算法，通過農(nóng)產(chǎn)品的圖像分析，自動(dòng)識(shí)別并評(píng)估產(chǎn)品的大小、顏色、瑕疵等特征，對(duì)農(nóng)產(chǎn)品進(jìn)行質(zhì)量檢測(cè)和分級(jí)，提供質(zhì)量評(píng)估和分級(jí)結(jié)果，幫助農(nóng)產(chǎn)品的銷售和市場(chǎng)定位。④農(nóng)業(yè)供應(yīng)鏈管理系統(tǒng)：這種系統(tǒng)利用物聯(lián)網(wǎng)、大數(shù)據(jù)和人工智能技術(shù)，實(shí)現(xiàn)農(nóng)產(chǎn)品的溯源和供應(yīng)鏈管理，實(shí)現(xiàn)對(duì)農(nóng)產(chǎn)品的生產(chǎn)、加工、運(yùn)輸和銷售信息的全鏈條追溯，提供農(nóng)產(chǎn)品的溯源證明、質(zhì)量追蹤和供應(yīng)鏈可視化，增加消費(fèi)者對(duì)農(nóng)產(chǎn)品的信任和透明度。多樣化智能化系統(tǒng)證明了人工智能技術(shù)龐大的應(yīng)用價(jià)值。隨著人工智能應(yīng)用系統(tǒng)的增多，應(yīng)用安全問題自然日益突出，已經(jīng)成為了個(gè)體、企業(yè)與社會(huì)面臨的重大挑戰(zhàn)。面對(duì)快速發(fā)展的技術(shù)與應(yīng)用，如何增強(qiáng)應(yīng)用系統(tǒng)的安全性成為了系統(tǒng)推廣急需解決的問題。人工智能模型的不可解釋性等問題使得安全挑戰(zhàn)難以應(yīng)對(duì)，同時(shí)，其依賴的軟件系統(tǒng)和硬件環(huán)境等也潛藏著未知的安全風(fēng)險(xiǎn)。這些問題的疊加讓安全形勢(shì)更加嚴(yán)峻，亟需一套新的防御思路與安全框架，以構(gòu)建安全可靠的應(yīng)用系統(tǒng)。德國(guó)哲學(xué)大師黑格爾曾經(jīng)說過，“一切事物都是自在的矛盾，矛盾是一切運(yùn)動(dòng)和生命力的根源”。從一般哲學(xué)意義上講：自然界或人工系統(tǒng)中不存在邏輯或數(shù)學(xué)意義上的“當(dāng)且僅當(dāng)?shù)墓δ堋?即不存在沒有矛盾或缺陷的事物；從經(jīng)典可靠性和傳統(tǒng)功能彈性理論出發(fā)：沒有一個(gè)人工設(shè)計(jì)與制造的物理或邏輯實(shí)體是“完美無缺”的，例外的情況是普遍存在的。這些泛在性矛盾問題，在各種干擾或擾動(dòng)因素作用下，其全生命周期內(nèi)總存在不同前提、不同程度的功能失效問題，即存在內(nèi)生安全問題。從具體層面認(rèn)知，在網(wǎng)絡(luò)安全方面我們可以觀察到以下現(xiàn)象：為保證網(wǎng)絡(luò)信息的機(jī)密性、可用性和完整性，數(shù)字加密認(rèn)證成為不可或缺的技術(shù)措施，但這也會(huì)給數(shù)字資源的便利性帶來使用上的諸多不便；智能手機(jī)能為人們?cè)陔娫捦ㄐ?、互?lián)網(wǎng)瀏覽、電子游戲、電子支付等方面帶來極大便利，但是同時(shí)也會(huì)帶來敏感信息泄漏或私有財(cái)產(chǎn)方面的損失。內(nèi)生安全問題的本質(zhì)是事物內(nèi)在矛盾性的表達(dá)，那么網(wǎng)絡(luò)空間內(nèi)生安全問題的本質(zhì)就是信息物理系統(tǒng)內(nèi)在安全性矛盾的表達(dá)，具有存在的必然性、呈現(xiàn)的偶然性和認(rèn)知的時(shí)空局限性等基本特征，其突出表現(xiàn)是構(gòu)成信息物理系統(tǒng)基礎(chǔ)的軟硬件元素存在內(nèi)生安全“基因缺陷”。內(nèi)生安全問題是結(jié)構(gòu)性矛盾決定了不可能割裂處理更不可能從根本上被消除，只能不斷演進(jìn)轉(zhuǎn)化或和解。內(nèi)生安全是指一種網(wǎng)絡(luò)空間安全的理念和技術(shù)體系，它強(qiáng)調(diào)在網(wǎng)絡(luò)信息系統(tǒng)設(shè)計(jì)之初就要考慮到安全性，而不是事后附加的安全措施。內(nèi)生安全的核心思想是通過在網(wǎng)絡(luò)信息系統(tǒng)的設(shè)計(jì)階段融入特定的安全機(jī)制，使得網(wǎng)絡(luò)信息系統(tǒng)在面對(duì)威脅時(shí)具有自我保護(hù)的能力。即內(nèi)生安全強(qiáng)調(diào)的是安全與系統(tǒng)的內(nèi)在聯(lián)系，即安全功能成為系統(tǒng)架構(gòu)的一部分，而非外部附加的功能。隨著AI技術(shù)的發(fā)展及其在各個(gè)領(lǐng)域的廣泛應(yīng)用，人工智能系統(tǒng)的安全性變得越來越重要，在諸如金融服務(wù)、醫(yī)療保健、交通控制等(三)研究意義風(fēng)險(xiǎn)。如2023年11月，韓國(guó)一名40多歲的男子在一個(gè)農(nóng)業(yè)配送中如2024年3月，攻擊者利用開源人工智能框架Ray中的安全漏洞，發(fā)動(dòng)一場(chǎng)名為“ShadowRay”的攻擊活動(dòng)，成功入侵了數(shù)千家公司的網(wǎng)絡(luò)服務(wù)器，盜取大量敏感數(shù)據(jù)。2024年3月，美國(guó)網(wǎng)絡(luò)安全公司的報(bào)告，前瞻警告了2024年人工智能的各種可能惡意用例，測(cè)試了2023年10月18日，習(xí)近平主席在第三屆“一帶一路”國(guó)際合作高峰論壇開幕式主旨演講中提出《全球人工智能治理倡議》,強(qiáng)調(diào)要推動(dòng)建立風(fēng)險(xiǎn)等級(jí)測(cè)試評(píng)估體系，實(shí)施敏快速有效響應(yīng)，各研發(fā)主體不斷提高人工智造可審核、可監(jiān)督、可追溯、可信賴的人工智能技英國(guó)發(fā)起并舉辦首屆“全球人工智能安全峰會(huì)”,英國(guó)、美國(guó)、中國(guó)等28國(guó)及歐盟共同簽署首個(gè)全球性人工智能聲明《布萊切利宣言》,隨著深度學(xué)習(xí)技術(shù)的進(jìn)步，特別是2016年AlphaGo戰(zhàn)勝人類圍棋選全球社會(huì)發(fā)展和經(jīng)濟(jì)增長(zhǎng)的關(guān)鍵驅(qū)動(dòng)力。然而AI在復(fù)雜任務(wù)上的可靠性、穩(wěn)定性、可解釋性方面仍面臨著較大的挑戰(zhàn)，因此AI的安全2024年4月，斯坦福大學(xué)以人為本人工智能研究所發(fā)布《2024年人工智能指數(shù)報(bào)告》,指出人工智能已在圖像分類、視覺推理、英語升級(jí)進(jìn)步快等新特點(diǎn)。如2024年9月，谷歌DeepMind公司公布了一項(xiàng)名為AlphaChip的強(qiáng)化學(xué)習(xí)方法，可在數(shù)小時(shí)內(nèi)生成Model,LLM)技術(shù)誕生，引爆了新一輪人工智能的全球研究熱潮，各國(guó)紛紛投入或加強(qiáng)對(duì)AI大模型的研究，其中美國(guó)、中國(guó)成果頻出，引領(lǐng)產(chǎn)業(yè)發(fā)展。以O(shè)penAI的GPT-4和谷歌的Gemini為代表的先進(jìn)了前所未有的處理能力，多模態(tài)大模型技術(shù)的進(jìn)步，以LLM為基礎(chǔ)浪潮。《2024年人工智能指數(shù)報(bào)告》顯示，2023年投資生成式人工智能的資金大幅激增，比2022年增長(zhǎng)了近八倍，達(dá)到252億美元，有力地證明了生成式人工智能在當(dāng)前技術(shù)發(fā)展中的重要地位和廣泛隨著大模型在社會(huì)生產(chǎn)和生活各個(gè)領(lǐng)域的“主體化”,大模型的人工智能武器化，WormGPT、PoisonGPT、EvilGPT等一批惡意人帶來了新的嚴(yán)峻挑戰(zhàn)。而像Degravel1]等提出的將AI應(yīng)用于核聚變(二)全球人工智能安全研究現(xiàn)狀由于人工智能存在著算法偏見、數(shù)據(jù)隱私泄露、對(duì)抗樣本攻主要目的是生成能通過異常檢測(cè)器并影響分類器準(zhǔn)確性的中毒訓(xùn)練樣本，盡管該方法在K-最近鄰(KNN)和二叉決策樹(BDT)等算法上表現(xiàn)良好，但在隨機(jī)森林(RF)和深度神經(jīng)網(wǎng)絡(luò)(DNN)上效提出了一種基于分析的不公平性正則化方法來解決算法偏見。 (Model-agnostic)和模型特定(Model-specific)兩大類。Akram等人[261提出了一種名為StaDRe(統(tǒng)計(jì)距離可靠性)的度量指標(biāo)，通過利用經(jīng)驗(yàn)累積分布函數(shù)(ECDF)的統(tǒng)計(jì)距離測(cè)量，評(píng)估機(jī)器學(xué)習(xí)預(yù)測(cè)技術(shù)在時(shí)間序列數(shù)據(jù)中的可靠性，并能夠檢測(cè)數(shù)據(jù)分布的變化。在實(shí)際應(yīng)用中，對(duì)人工智能應(yīng)用系統(tǒng)進(jìn)行有效監(jiān)控以確保其安全控系統(tǒng)，該系統(tǒng)集成了黑箱和白箱監(jiān)控器，用于確保由機(jī)器學(xué)習(xí)算法驅(qū)動(dòng)的網(wǎng)絡(luò)物理系統(tǒng)的安全性；一旦監(jiān)測(cè)到異常，系統(tǒng)將自動(dòng)切換至安全模式，對(duì)決策過程和結(jié)果進(jìn)行全面的安全審查。鑒于人工智能系統(tǒng)是通過人類生成的數(shù)據(jù)進(jìn)行訓(xùn)練，而這些數(shù)據(jù)可能內(nèi)含偏見，因此，種定制化的概率測(cè)量方法用于偏見檢測(cè)，通過生命周期活動(dòng)中獲得的先驗(yàn)知識(shí)來指導(dǎo)統(tǒng)計(jì)推斷，以揭示和理解未標(biāo)記及非結(jié)構(gòu)化數(shù)據(jù)集中的潛在偏見。人工智能模型算法的“黑箱”理論[44],意味著算法的決策過程對(duì)其創(chuàng)建者也不透明。因此將這些系統(tǒng)用于更復(fù)雜和風(fēng)險(xiǎn)更高的活動(dòng)時(shí)，準(zhǔn)確解釋AI系統(tǒng)的預(yù)測(cè)是至關(guān)重要的?？山忉屓斯ぶ悄?XAI)是一套用于理解和說明AI系統(tǒng)所做決策的程序。為了提高AI系統(tǒng)的魯棒性，數(shù)據(jù)增強(qiáng)、領(lǐng)域遷移和協(xié)變量偏移(CovariateShift)等技術(shù)常被用來增強(qiáng)模型對(duì)未知數(shù)據(jù)和輸入特征變化的適應(yīng)能力。其中數(shù)據(jù)增強(qiáng)通過擴(kuò)展和轉(zhuǎn)換現(xiàn)有數(shù)據(jù)來生成新數(shù)據(jù)；領(lǐng)域遷移則幫助模型在源領(lǐng)域和目標(biāo)領(lǐng)域之間進(jìn)行有效泛化；協(xié)變量偏移技術(shù)是指調(diào)整輸入特征分布，以確保模型在不同場(chǎng)景中繼續(xù)有效。盡管大模型技術(shù)在處理復(fù)雜任務(wù)時(shí)展現(xiàn)強(qiáng)大的自然語言理解、意圖識(shí)別、推理、內(nèi)容生成等能力，且具有通用問題求解能力，被視作通往通用人工智能的重要路徑。然而大模型(LLM)卻普遍面臨著生全和隱私風(fēng)險(xiǎn)[49]等問題。常見的大模型攻擊方法主要有提示攻擊越獄攻擊和(Ⅱ)提示注入攻擊；對(duì)抗攻擊[52][53],包括(I)后門攻擊和(Ⅱ)數(shù)據(jù)中毒攻擊。此外大模型還面臨著后門攻擊和數(shù)據(jù)中毒攻擊，其中數(shù)據(jù)中毒攻擊通過注入樣本來?yè)p害訓(xùn)練模型；而后門攻擊則機(jī)構(gòu)研究人員對(duì)GPTol-previe發(fā)現(xiàn)即使是最強(qiáng)的LLM比如GPTol-preview也是不可靠的。為保障大模型安全，研究者們提出了許多思路與方法。但受限于單一大模型的訓(xùn)練成本，如何使得LLM更加魯棒是當(dāng)前最大的難題。即使是當(dāng)前主流的指令調(diào)整也被證明為不可靠的[56],因此基于多個(gè)大模型來進(jìn)行安全生成輸出是提高大模型結(jié)果魯棒性與準(zhǔn)確性的重要做法，如使SmoothLLM[58]也利用多次對(duì)模型的輸入然后聚合相應(yīng)的預(yù)測(cè)以檢測(cè)對(duì)抗性輸入。(三)全球人工智能安全產(chǎn)業(yè)發(fā)展現(xiàn)狀據(jù)PrecedenceResearch市場(chǎng)數(shù)據(jù)統(tǒng)計(jì)預(yù)測(cè)，得益于各國(guó)政府的大力政策支持，全球人工智能企業(yè)數(shù)量正以驚人的速度增長(zhǎng)，人工智能產(chǎn)業(yè)蓬勃發(fā)展。2023年全球人工智能(AI)市場(chǎng)規(guī)模已經(jīng)達(dá)到了約11879億元，而到2030年，全球人工智能(AI)市場(chǎng)規(guī)模將實(shí)現(xiàn)飛躍式增長(zhǎng)，預(yù)計(jì)將達(dá)到驚人的114554億元。這一增長(zhǎng)表明，從2023年至2030年，全球人工智能市場(chǎng)將實(shí)現(xiàn)超過35%的復(fù)合增長(zhǎng)率，凸的實(shí)力和創(chuàng)新能力。截至2023年，全球人工智能企業(yè)分布中，美國(guó)企業(yè)數(shù)量以34%的占比穩(wěn)居榜首，而中國(guó)企業(yè)和英國(guó)企業(yè)則分別以16%、7%的占比位列第二和第三。這三個(gè)國(guó)家在人工智能企業(yè)數(shù)量上總共有291家，其中美國(guó)獨(dú)占131家，而中國(guó)也擁有108家此外，其一全球趨勢(shì)，努力提升自身在人工智能領(lǐng)域的地位和影響力對(duì)AI的可靠性風(fēng)險(xiǎn)，如模型幻覺或錯(cuò)誤輸出等表示關(guān)注。潛在的緩解措施可能包括管理低置信度的輸出或?qū)嵤└采w各種場(chǎng)景的綜合測(cè)試用例。在對(duì)超過1,000個(gè)組織的調(diào)查中，45%的組織認(rèn)為可靠性風(fēng)險(xiǎn)與他們的AI采納策略相關(guān)。在這些組織中，13%已經(jīng)全面實(shí)施了超過一半的調(diào)查措施，而75%則已實(shí)施至少一種但不到一半的措施。此外，12%的受訪者承認(rèn)沒有完全落實(shí)任何可靠性措施。全球平均水平為實(shí)施了6項(xiàng)調(diào)查措施中的2.16項(xiàng)。調(diào)查還詢問了組織對(duì)安全風(fēng)險(xiǎn)的關(guān)注程度，其中47%承認(rèn)這些風(fēng)險(xiǎn)的相關(guān)性。結(jié)果顯示，28%的組織已全面實(shí)施了超過一半的建議安全措施，而63%的組織則已全面實(shí)施了至少一種但不到一半的措施。此外，10%的組織報(bào)告稱沒有完全落實(shí)任何AI安全措施。平均而言，公司在五項(xiàng)調(diào)查措施中采用了1.94項(xiàng)。大多數(shù)組織(88%)表示同意或強(qiáng)烈同意，認(rèn)為開發(fā)基礎(chǔ)模認(rèn)為生成式AI帶來的潛在威脅足夠重大，需要全球達(dá)成一致的治理工智能安全治理體系，成為全球共同面臨的時(shí)代課題。2023年10月命令》,2024年2月美國(guó)宣布成立人工智能安全研究所聯(lián)盟，并得到200多家領(lǐng)先的人工智能利益相關(guān)者的支持，旨在建立在人工智能在2023年10月提出《全球人工智能治理倡議》,提出各國(guó)應(yīng)秉持共Cohere、Chainguard、WIZ、GenLab等14家領(lǐng)先企業(yè)，于2024年5月共同成立了安全人工智能聯(lián)盟(CoSAI),旨在通過共享資源、標(biāo)準(zhǔn)化框架和工具，構(gòu)建一個(gè)協(xié)作的生態(tài)系統(tǒng)，確保AI系統(tǒng)的安全性和透明度。CoSAI的成立，為全球AI產(chǎn)業(yè)的健康發(fā)展提供了有力保障。我國(guó)也于2024年9月發(fā)布《AI安全產(chǎn)業(yè)圖譜(2024)》,收錄信服、天融信、啟明星辰等安全企業(yè)的164項(xiàng)AI安全產(chǎn)品、技術(shù)、關(guān)注的重點(diǎn)。AI安全解決方案已經(jīng)不斷細(xì)化和專業(yè)化，行業(yè)將進(jìn)一(四)全球人工智能應(yīng)用系統(tǒng)內(nèi)生安全發(fā)展現(xiàn)狀2023年，全球立法程序中有2175次提及人工智能，幾乎是上一年的兩倍。2023年美國(guó)在聯(lián)邦層面通過的與人工智能有關(guān)的法案占所有法案的比重從2%躍升至10%,翻了5倍。分析這些法案及規(guī)則注人工智能應(yīng)用系統(tǒng)安全。2020年美國(guó)發(fā)布了《促進(jìn)聯(lián)邦政府使用標(biāo)強(qiáng)化人工智能應(yīng)用系統(tǒng)治理”;2023年10月美國(guó)發(fā)布《關(guān)于安全、可靠和可信的人工智能行政命令》,11月美英成立人工智能應(yīng)用安全研究所(AISafetyInstitute);智能法案》,從制度上推動(dòng)形成區(qū)域聯(lián)盟，共同管控人工智能應(yīng)用中人工智能時(shí)代“盎格魯-撒克遜”話語體系。2023年4月，美及五眼聯(lián)盟發(fā)布了《改變網(wǎng)絡(luò)安全風(fēng)險(xiǎn)的平衡：設(shè)計(jì)安全和默認(rèn)安全的原則和方法》指南，指出數(shù)字系統(tǒng)的安全必須從設(shè)計(jì)、制造階段就開始部署，以實(shí)現(xiàn)“設(shè)計(jì)安全”(Secure-by-Design),并提供“開箱即用” (Out-of-Box)的“默認(rèn)安全”(Secure-by-Default)產(chǎn)品，以達(dá)成“幾乎無需用戶額外配置即具備的安全能力”。三是將一體化解決信息安全和功能安全問題作為技術(shù)路徑。美國(guó)在2023年《人工智能研究和發(fā)展戰(zhàn)略計(jì)劃》中，強(qiáng)調(diào)人工智能一體化安全(Safety&Security),提出單純的功能安全不能確保網(wǎng)絡(luò)安全，要從單純的功能安全向網(wǎng)絡(luò)安全與功能安全(乃至信息安全)一體化知失效”的新型安全拓展。2023年8月，美國(guó)能源部發(fā)布《國(guó)家網(wǎng)絡(luò)知情工程戰(zhàn)略》實(shí)施計(jì)劃，鼓勵(lì)技術(shù)制造商開發(fā)符合設(shè)計(jì)安全和默認(rèn)安全要求的產(chǎn)品，客戶無需再通過應(yīng)用另一套補(bǔ)丁程序等修復(fù)系統(tǒng)來實(shí)現(xiàn)安全。該計(jì)劃倡導(dǎo)將安全融入數(shù)字產(chǎn)品的設(shè)計(jì)制造中，防止制造商將脆弱的產(chǎn)品引入市場(chǎng)。四是將防范未知風(fēng)險(xiǎn)和“未知的未知”風(fēng)險(xiǎn)作為關(guān)鍵目標(biāo)。歐盟高度關(guān)注人工智能系統(tǒng)潛在安全風(fēng)險(xiǎn)，指出“人工智能技術(shù)嵌入產(chǎn)品和服務(wù)時(shí)對(duì)安全的忽視正在引發(fā)新的風(fēng)險(xiǎn)”。事實(shí)上，人工智能開發(fā)者雖能意識(shí)到風(fēng)險(xiǎn)，但并未優(yōu)先考慮安全性。2024年6月IBM發(fā)布的調(diào)查指出，生成式人工智能的安全性是事后才想到的，82%的高管表示值得信賴和安全的人工智能至關(guān)重要，但真正做到在生成式人工智能項(xiàng)目中嵌入安全組件的卻只有24%。為此，美國(guó)科學(xué)、工程與醫(yī)學(xué)院專門設(shè)置研究論壇，探討新型數(shù)字系統(tǒng)面對(duì)未知安全風(fēng)險(xiǎn)時(shí)保持安全、抵抗退化以及從不良事件中恢復(fù)的能力。五是將人工智能應(yīng)用系統(tǒng)置信度研究作為亟待突破的方向。美國(guó)國(guó)家網(wǎng)絡(luò)安全卓越中心NCCoE、NIST于2022年11月發(fā)布人工智能應(yīng)用系統(tǒng)的安全計(jì)劃《減輕人工智能/機(jī)器學(xué)習(xí)的偏差》,旨在建立“人工智能系統(tǒng)的測(cè)試、評(píng)估、驗(yàn)證和確認(rèn)(TEVV)實(shí)踐”,通過對(duì)系統(tǒng)全生命周期的四大場(chǎng)景(預(yù)處理數(shù)據(jù)集、模型分析訓(xùn)練、模型推理訓(xùn)練、決策流中的人機(jī)對(duì)齊)來度量可信度。今年，美國(guó)發(fā)布《聯(lián)邦網(wǎng)絡(luò)安全研究與發(fā)展戰(zhàn)略計(jì)劃(2024-2027)》,提出要建立包括智能系統(tǒng)在內(nèi)的數(shù)字系統(tǒng)可信度評(píng)估新方法，以確保數(shù)字系統(tǒng)以及相互作用的各方和各組成部分之間建立信任。三、我國(guó)發(fā)展現(xiàn)狀(一)產(chǎn)業(yè)發(fā)展?fàn)顩r述評(píng)自2017年國(guó)務(wù)院印發(fā)《新一代人工智能發(fā)展規(guī)劃》以來，國(guó)內(nèi)人工智能在多個(gè)領(lǐng)域的產(chǎn)業(yè)化應(yīng)用取得了顯著進(jìn)展，尤其在自動(dòng)駕駛、醫(yī)學(xué)影像、金融、生成式AI等領(lǐng)域表現(xiàn)突出，給社會(huì)發(fā)展和人民生活帶來巨大的變革。根據(jù)《2024年中國(guó)人工智能行業(yè)全景圖譜》,我國(guó)人工智能市場(chǎng)規(guī)模突破5000億元。人工智能技術(shù)的不斷創(chuàng)新推動(dòng)了應(yīng)用場(chǎng)景的深度發(fā)展，牽動(dòng)著以AIGC、數(shù)字人、多模態(tài)、AI大模型、智能決策為代表的技術(shù)浪潮。這些尖端技術(shù)為市場(chǎng)注入廣泛的可能性和巨大的增長(zhǎng)潛力。同時(shí)國(guó)內(nèi)企業(yè)對(duì)自身數(shù)字化和數(shù)字化轉(zhuǎn)型的積極推動(dòng)也催生了對(duì)人工智能技術(shù)多樣的需求，為我國(guó)人工智能市場(chǎng)規(guī)模的長(zhǎng)期增長(zhǎng)奠定了堅(jiān)實(shí)基礎(chǔ)。國(guó)家“十四五”政策明確支持人工智能產(chǎn)業(yè)行業(yè)發(fā)展。據(jù)測(cè)算，2024-2029年期間，我國(guó)人工智能行業(yè)市場(chǎng)規(guī)模將進(jìn)一步擴(kuò)大，2029年市場(chǎng)規(guī)模將突破萬億大關(guān)，提前實(shí)現(xiàn)《新一代人工智能發(fā)展規(guī)劃》中2030年人工智能產(chǎn)業(yè)規(guī)模達(dá)到10000億元的規(guī)模目標(biāo)。AI技術(shù)廣泛應(yīng)用于各個(gè)領(lǐng)域的同時(shí)，模型自身的安全性問題也愈加凸顯。當(dāng)前人工智能應(yīng)用系統(tǒng)面臨安全性問題主要包括三個(gè)方面，對(duì)抗樣本攻擊、后門攻擊以及生成式AI的內(nèi)容安全性問題?！?024年中國(guó)人工智能行業(yè)全景圖譜》強(qiáng)調(diào)要推動(dòng)人工智能朝著可靠可控方向發(fā)展，且圍繞數(shù)據(jù)保護(hù)已經(jīng)催生了大量從事隱私計(jì)算的企業(yè)，未來人工智能穩(wěn)定性、公平性等方面的技術(shù)也將會(huì)形成重要的力量，同時(shí)我國(guó)政府、行業(yè)組織、企業(yè)等已在人工智能治理方面率先開始探索，正在制定與人工智能相關(guān)的技術(shù)文檔與規(guī)范，以確保人工智能系統(tǒng)的可靠性和安全性。2017年國(guó)務(wù)院發(fā)布了《新一代人工智能發(fā)展規(guī)劃》,明確提出要加強(qiáng)人工智能的治理體系建設(shè)，包括研究AI倫理、隱私保護(hù)以及AI安全的規(guī)范，推動(dòng)建立相關(guān)法律法規(guī)體系。2021年，國(guó)家互聯(lián)網(wǎng)信息辦公室發(fā)布了《網(wǎng)絡(luò)數(shù)據(jù)安全管理?xiàng)l例(征求意見稿)》,進(jìn)一步強(qiáng)調(diào)了數(shù)據(jù)安全的重要性，涵蓋了人工智能相關(guān)的數(shù)據(jù)處理和隱私保護(hù)問題。2021年，《中華人民共和國(guó)個(gè)人信息保護(hù)法》正式施行，規(guī)范了AI技術(shù)在個(gè)人信息處理中的安全性，防止個(gè)人數(shù)據(jù)濫用，特別是在AI系統(tǒng)進(jìn)行數(shù)據(jù)采集、分析、決策時(shí)的風(fēng)險(xiǎn)問題。2024年，全國(guó)網(wǎng)絡(luò)安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)近日正式發(fā)布《人工智能安全治理框架》,針對(duì)模型算法安全、數(shù)據(jù)安全和系統(tǒng)安全等內(nèi)生安全風(fēng)險(xiǎn)和網(wǎng)絡(luò)域、現(xiàn)實(shí)域、認(rèn)知域、倫理域等應(yīng)用安全風(fēng)險(xiǎn)，提出相應(yīng)技術(shù)應(yīng)對(duì)和綜合防治措施，以及人工智能安全開發(fā)應(yīng)用指引。在標(biāo)準(zhǔn)制定方面，國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)牽頭推動(dòng)了AI安全和治理相關(guān)的標(biāo)準(zhǔn)化工作。2019我國(guó)科技部發(fā)布《新一代人工智能治建人類命運(yùn)共同體。2021年發(fā)布的《人工智能標(biāo)準(zhǔn)化白皮書》明確了我國(guó)在AI安全、倫理、隱私保護(hù)等方面的標(biāo)準(zhǔn)化工作目標(biāo)。2023年我國(guó)發(fā)布《生成式人工智能服務(wù)管理暫行辦法》,對(duì)生成式AI應(yīng)動(dòng)人工智能技術(shù)的健康發(fā)展與安全應(yīng)用，確保在快速發(fā)展的AI技術(shù)(二)國(guó)內(nèi)相關(guān)研究成果在頻域中利用量化篩選器有效捕捉使圖像正確分類的關(guān)鍵特征在頻通用對(duì)抗攻擊方法(Phonemicadversarialnoise,PAN),通過攻擊在功率不高以及生成質(zhì)量低等問題，提出了一種基于生成對(duì)抗網(wǎng)絡(luò)提出了基于區(qū)域感知的人臉對(duì)抗樣本生成方法(IG-FGSM)算法，利這些關(guān)鍵的特征使用I-FGSM方法施加擾動(dòng)，從樣本生成方法(CoDE-AG)。這些攻擊方法的提出證明了目前多個(gè)領(lǐng)域的AI模型都存在著各種問題，同時(shí)也可以作為案例來指導(dǎo)防御在對(duì)抗攻擊防御領(lǐng)域，國(guó)內(nèi)研究者也在不斷探索如何特定場(chǎng)景下抗樣本防御方法需要大量對(duì)抗樣本且訓(xùn)練后會(huì)降低對(duì)原始數(shù)據(jù)的識(shí)別準(zhǔn)確率的問題，提出一種基于特征遷移的流量對(duì)抗樣本防御方法，使用堆疊自編碼器作為底層的防御模塊進(jìn)行對(duì)抗知識(shí)學(xué)習(xí)，使其擁有對(duì)抗特征提取的能力，進(jìn)而根據(jù)流量特征進(jìn)行功能自適應(yīng)構(gòu)造，通過防御+識(shí)別功能的拆分，降低了防御成本消耗并減少了對(duì)抗訓(xùn)練對(duì)于原始數(shù)據(jù)識(shí)別準(zhǔn)確率的影響，實(shí)現(xiàn)了快速適配且提高了模型防御彈性。測(cè)模型的堆疊集成對(duì)抗防御方法D-SE(DetectorStackingEnsemble),將對(duì)抗訓(xùn)練引入檢測(cè)器訓(xùn)練以提高其抵抗對(duì)抗攻擊的能力。同時(shí)在決策層中添加了一種基于投票和權(quán)重機(jī)制的聯(lián)合決策模塊，通過擇多判決機(jī)制和高權(quán)重者優(yōu)先機(jī)制避免最終預(yù)測(cè)結(jié)果過度依賴部分分類器，律失常分類中不能有效防御對(duì)抗樣本攻擊的問題，提出一種新型魯棒LipschitzConstraintsNet),其在特征提取階段通過通道激活抑制策略動(dòng)態(tài)調(diào)整模型通道重要性，抑制非魯棒通道的表達(dá)，有效降低對(duì)抗樣本產(chǎn)生的信號(hào)增強(qiáng)效應(yīng)。同時(shí)引入重視誤分類對(duì)抗訓(xùn)練 魯棒性影響大的錯(cuò)誤分類樣本進(jìn)行正則化，提升模型防御對(duì)抗樣本攻型對(duì)抗樣本時(shí)表現(xiàn)較差的問題，提出特征惡意度的概念，通過計(jì)算特征的惡意程度對(duì)特征進(jìn)行排序，利用排序后的特征構(gòu)建一個(gè)具有對(duì)抗防御能力的惡意軟件對(duì)抗防御模型FMP(FeatureMaliciousnessProcessing),并利用該模型提取待檢測(cè)軟件的高惡意度特征進(jìn)行檢測(cè)，避免出現(xiàn)對(duì)抗擾動(dòng)導(dǎo)致的模型錯(cuò)誤分類問題。在后門攻擊方面，攻擊者在模型中注入特定的觸發(fā)器，使得模型在遇到觸發(fā)器時(shí)產(chǎn)生錯(cuò)誤的行為。相比對(duì)抗樣本，后門攻擊更加隱蔽攻擊實(shí)現(xiàn)惡意流量逃逸的方法，通過在訓(xùn)練過程添加毒化數(shù)據(jù)將后門植入模型，從而實(shí)現(xiàn)惡意流量逃逸；同時(shí)對(duì)不含觸發(fā)器的干凈流量正常判定，保證了模型后門的隱蔽性。在圖像分類領(lǐng)域，朱素霞等[70]針對(duì)目前大多數(shù)后門攻擊產(chǎn)生的后門圖像容易被人眼察覺，導(dǎo)致后門攻擊隱蔽性不足的問題，提出一種基于感知相似性的多目標(biāo)優(yōu)化隱蔽圖像后門攻擊方法，使用感知相似性損失函數(shù)減少后門圖像與原始圖像之間的視覺差異，并采用多目標(biāo)優(yōu)化方法解決中毒模型上任務(wù)間沖突的問題，從而確保模型投毒后性能穩(wěn)定。在語音識(shí)別領(lǐng)域，張書藝和基于音頻隱寫術(shù)的方法來觸發(fā)后門攻擊的條件。該攻擊方法一方面可以在語音片段中隱藏特定的信息，并對(duì)樣本進(jìn)行特定的處理，僅通過修改樣本音頻文件的頻率和音高，而不改變被攻擊模型的結(jié)構(gòu)，使能體競(jìng)爭(zhēng)環(huán)境，設(shè)計(jì)了一種環(huán)境狀態(tài)分布內(nèi)的觸發(fā)器，觸發(fā)器屬于環(huán)境中的正常狀態(tài)，使得觸發(fā)器不易被人類察覺。并且利用多智能體競(jìng)爭(zhēng)環(huán)境中，智能體動(dòng)作的輸出受對(duì)手狀態(tài)影響的特點(diǎn)，讓受害智能體的對(duì)手也參與到觸發(fā)器的形成，從而提高后門攻擊的隱蔽性和成功率。在后門防御方面，國(guó)內(nèi)研究者針對(duì)后門防御技術(shù)提出許多創(chuàng)新方法。在工業(yè)場(chǎng)景下的聯(lián)邦學(xué)習(xí)應(yīng)用場(chǎng)景中，鑒于傳統(tǒng)的防御方案往往無法在聯(lián)邦學(xué)習(xí)架構(gòu)下發(fā)揮作用或者對(duì)早期攻擊防范能力不足，王迅況下利用后門模型的形成特點(diǎn)重構(gòu)后門觸發(fā)器，實(shí)現(xiàn)準(zhǔn)確識(shí)別并移除的聯(lián)邦學(xué)習(xí)后門防御方法大多基于模型檢測(cè)的思想進(jìn)行后門防御，而忽略了聯(lián)邦學(xué)習(xí)自身的分布式特性的問題，提出一種基于觸發(fā)器逆向的聯(lián)邦學(xué)習(xí)后門防御方法。該方法讓聚合服務(wù)器和分布式客戶端協(xié)作，利用觸發(fā)器逆向技術(shù)生成額外的數(shù)據(jù)，增強(qiáng)客戶端本地模型的魯棒性，本損失值變化統(tǒng)一性的后門樣本隔離方案，旨在凈化訓(xùn)練數(shù)據(jù)，并盡可能地減少對(duì)干凈樣本的錯(cuò)誤隔離。在強(qiáng)化學(xué)習(xí)領(lǐng)域，沈效羽等[76]針對(duì)原NeuralCleanse算法與原模型遺忘方法在強(qiáng)化學(xué)習(xí)場(chǎng)景中失效的問題，提出了基于NeuralCleanse與模型遺忘的后門防御方案。通過對(duì)當(dāng)前后門逆向方法原理的分析，將NeuralCleanse優(yōu)化為適用于強(qiáng)化學(xué)習(xí)的后門逆向算法。隨著國(guó)際多種生成式模型的火熱發(fā)展，尤其是以大模型為代表的新型生成式人工智能的出現(xiàn)，如何確保生成式模型的內(nèi)容安全性成為當(dāng)前研究中的重要議題。為了應(yīng)對(duì)這些問題，國(guó)內(nèi)學(xué)者也進(jìn)行探索嘗特征的投毒防御算法infoGAN_Defense,利用樣本原生特征的不變性進(jìn)行投毒防御，引入樣本原生特征與人為特征的概念，采用耦合infoGAN結(jié)構(gòu)實(shí)現(xiàn)樣本特征的分離及提取。最后通過進(jìn)行模型的重訓(xùn)練，從而防止數(shù)據(jù)投毒攻擊的危害性。周林興等[79]針對(duì)LLM頻遭數(shù)據(jù)投毒攻擊而使分配器不受控暗中輸出黑化信息問題，設(shè)計(jì)投毒與黑化識(shí)別方案及模型，將其整合后形成情報(bào)感知方法運(yùn)行機(jī)制。張明慧[80]對(duì)類ChatGPT模型大規(guī)模應(yīng)用時(shí)帶來的安全風(fēng)險(xiǎn)隱患進(jìn)行分析，進(jìn)一步提出如何利用技術(shù)手段防范化解風(fēng)險(xiǎn)。針對(duì)生成式大模型的倫理安全性問題，劉志紅。分析了人工智能大模型在倫理方面可能引發(fā)的問題，如數(shù)據(jù)隱私、算法歧視和決策透明度等。針對(duì)這些問題，劉等提出加強(qiáng)數(shù)據(jù)保護(hù)、改進(jìn)算法設(shè)計(jì)和提高透明度等措施。盡管國(guó)內(nèi)在生成式模型的安全性研究上取得了一定進(jìn)展，但是當(dāng)前的研究主要集中在數(shù)據(jù)投毒防御和生成內(nèi)容監(jiān)控等方面。針對(duì)于日益增長(zhǎng)的新型安全威脅與模型復(fù)雜性日益增加的背景下，有效的防御手段仍顯不足。未來的研究應(yīng)進(jìn)一步探討如何構(gòu)建更具通用性、魯棒性和可解釋性的安全機(jī)制，加強(qiáng)對(duì)模型生成過程的全鏈路監(jiān)控與干預(yù)，確保生成內(nèi)容的合規(guī)性和道德性。此外，跨學(xué)科的合作，如倫理學(xué)、法律和計(jì)算機(jī)科學(xué)的交叉研究，將為推動(dòng)生成式模型安全性和倫理性的發(fā)展提供新的視角。四、技術(shù)預(yù)見(一)人工智能應(yīng)用系統(tǒng)的安全風(fēng)險(xiǎn)當(dāng)前，人工智能技術(shù)的迅速發(fā)展，正在對(duì)經(jīng)濟(jì)發(fā)展、社會(huì)治理、人民生活產(chǎn)生重大而深刻的影響，給世界帶來巨大機(jī)遇。與此同時(shí)，人工智能技術(shù)也帶來日益嚴(yán)峻和復(fù)雜的風(fēng)險(xiǎn)?，F(xiàn)有的人工智能安全問題分類研究往往相對(duì)瑣碎且過于具體。人工智能應(yīng)用系統(tǒng)的安全風(fēng)險(xiǎn)主要有：全風(fēng)險(xiǎn)是人工智能開發(fā)及應(yīng)用企業(yè)對(duì)持有數(shù)據(jù)的全生命周期安全保2.算法安全風(fēng)險(xiǎn)法設(shè)計(jì)安全風(fēng)險(xiǎn)是在算法或?qū)嵤┻^程有誤可產(chǎn)生與預(yù)期不符甚至傷釋其背后的邏輯和依據(jù)，導(dǎo)致在關(guān)鍵領(lǐng)域(如醫(yī)療、金融、司法)中型竊取風(fēng)險(xiǎn)是指攻擊者可能會(huì)對(duì)模型進(jìn)行成員推斷攻擊與數(shù)據(jù)竊取4.軟硬件運(yùn)行環(huán)境安全風(fēng)險(xiǎn)軟硬件運(yùn)行環(huán)境安全風(fēng)險(xiǎn)指人工智能系統(tǒng)應(yīng)用過程中所依賴的練AI模型算法的軟件框架環(huán)境以及第三方的依賴庫(kù)問題；算力設(shè)施安全風(fēng)險(xiǎn)主要是GPU驅(qū)動(dòng)和芯片漏洞問題；云平臺(tái)安全風(fēng)險(xiǎn)主要是虛擬化和Web平臺(tái)問題，用于深度學(xué)習(xí)任務(wù)的節(jié)點(diǎn)性能強(qiáng)大時(shí)，面惡意使用風(fēng)險(xiǎn)指不法分子可能會(huì)使用人工智能應(yīng)用系統(tǒng)來做一6.法律和倫理風(fēng)險(xiǎn)7.系統(tǒng)同質(zhì)化和系統(tǒng)性風(fēng)險(xiǎn)CPU、GPU、TPU;編程語言主要是Python;深度學(xué)習(xí)框架應(yīng)用最廣泛的是TensorFlow、Pytorch等，這些基礎(chǔ)設(shè)施的安全漏洞極易大范(二)人工智能應(yīng)用系統(tǒng)的風(fēng)險(xiǎn)成因分析目前提升人工智能算法處理問題能力的主要做法提高模型的參反而更不可靠。即使當(dāng)前最強(qiáng)大的人工智能算法也面臨著“災(zāi)難性”知識(shí)或技能的現(xiàn)象。這種遺忘可能導(dǎo)致模型在新任務(wù)上產(chǎn)生性能下降，很難將之前學(xué)到的知識(shí)來遷移到新任務(wù)。2.人工智能算法結(jié)果難以解釋當(dāng)前人工智能算法的參數(shù)量十分龐大，輸入數(shù)據(jù)通過復(fù)雜的非線性變換得到對(duì)應(yīng)的輸出。在理論上分析輸入和輸出之間的關(guān)系成了一件幾乎不可能的事情。在實(shí)踐中，人們通常把人工智能算法為代表的機(jī)器學(xué)習(xí)模型看作是一個(gè)“黑匣子”,只能觀察到模型的輸入和輸出，而對(duì)算法產(chǎn)生預(yù)測(cè)和決策的過程和依據(jù)難以理解和描述，也很難預(yù)估人工智能算法決策結(jié)果可能帶來的負(fù)面影響。這種可解釋性問題使得人們?cè)诟叨茸詣?dòng)化的人工智能應(yīng)用系統(tǒng)出現(xiàn)問題時(shí)，很難定位到問題所在并及時(shí)排除故障。3.人工智能應(yīng)用系統(tǒng)要素缺乏安全性從狹義層面看，人工智能應(yīng)用系統(tǒng)是指純粹提供人工智能算法服務(wù)的應(yīng)用系統(tǒng)，其主要由三大核心要素組成，即數(shù)據(jù)、算法、算力。在數(shù)據(jù)層面，人工智能應(yīng)用系統(tǒng)的性能很大程度上依賴于數(shù)據(jù)的質(zhì)量和完整性，如果訓(xùn)練數(shù)據(jù)存在偏差、不準(zhǔn)確或被惡意污染，人工智能模型可能會(huì)學(xué)習(xí)到錯(cuò)誤的知識(shí)，從而在應(yīng)用時(shí)產(chǎn)生預(yù)期之外的錯(cuò)誤預(yù)測(cè)和決策；在算法層面，除人工智能應(yīng)用系統(tǒng)所依賴的算法原理的缺陷外，算法還存在具體實(shí)現(xiàn)的軟件代碼層面的安全問題；在算力相關(guān)的硬件方面，人工智能應(yīng)用系統(tǒng)運(yùn)行環(huán)境中所使用的硬件產(chǎn)品同樣存在安全漏洞。此外與其他應(yīng)用系統(tǒng)一樣，人工智能應(yīng)用系統(tǒng)的實(shí)體也依托于信息物理系統(tǒng)而存在的，當(dāng)其所依賴的底層軟件框架、軟件庫(kù)、操作系統(tǒng)和各種硬件平臺(tái)中存在的漏洞后門被攻擊者利用時(shí)，整個(gè)人工智能應(yīng)用系統(tǒng)將會(huì)面臨被破壞、篡改和信息竊取的風(fēng)險(xiǎn)。4.法律、倫理和信任度等社會(huì)因素共同作用在法律層面，人工智能應(yīng)用系統(tǒng)風(fēng)險(xiǎn)成因主要包括權(quán)責(zé)主體的確定、個(gè)人隱私和數(shù)據(jù)安全確認(rèn)及知識(shí)產(chǎn)權(quán)相關(guān)問題。在倫理和道德層面，隱私問題、公平性問題和道德問題是關(guān)鍵的倫理風(fēng)險(xiǎn)。某些個(gè)體或群體使用人工智能系統(tǒng)進(jìn)行社交媒體操縱、虛假信息傳播等行為也加劇了人工智能應(yīng)用系統(tǒng)面臨的道德風(fēng)險(xiǎn)。在社會(huì)信任和接受度方面，一旦人工智能應(yīng)用系統(tǒng)廣泛應(yīng)用，可能對(duì)社會(huì)就業(yè)、公平性等方面產(chǎn)生重大影響，如果不能妥善解決，可能會(huì)引發(fā)社會(huì)公眾擔(dān)憂。(三)人工智能應(yīng)用系統(tǒng)的內(nèi)生安全問題隨著以深度學(xué)習(xí)為代表的人工智能技術(shù)廣泛普及應(yīng)用，其安全問題也越來越受到學(xué)術(shù)界、產(chǎn)業(yè)界，甚至是廣大社會(huì)的關(guān)注。盡管目前已經(jīng)存在人工智能系統(tǒng)安全防護(hù)方法，但總體上還是屬于“亡羊補(bǔ)牢”式的安全機(jī)制。因此本節(jié)以內(nèi)生安全理論的新視角去分析當(dāng)前人工智能應(yīng)用系統(tǒng)的安全問題。1.人工智能應(yīng)用系統(tǒng)的內(nèi)生安全共性問題人工智能應(yīng)用系統(tǒng)在本質(zhì)上仍然遵循馮·諾依曼架構(gòu)，即將程序指令和數(shù)據(jù)存儲(chǔ)在同一存儲(chǔ)器中，并通過中央處理單元(CPU)來執(zhí)行指令的計(jì)算機(jī)模型。因此人工智能應(yīng)用系統(tǒng)不可避免存在著被各種漏洞后門攻擊的風(fēng)險(xiǎn)。(1)軟件的安全漏洞數(shù)量持續(xù)增加當(dāng)前的TensorFlow、Torch、Caffe等國(guó)外平臺(tái)均被曝出過安全漏洞。據(jù)開源軟件社區(qū)GitHub數(shù)據(jù)顯示，2020年以來，TensorFlow被曝出安全漏洞百余個(gè)，可導(dǎo)致系統(tǒng)不穩(wěn)定、數(shù)據(jù)泄漏、內(nèi)存破壞等問題。2021年，360公司對(duì)國(guó)內(nèi)外主流開源人工智能框架進(jìn)行了安全性評(píng)測(cè)，從7款機(jī)器學(xué)習(xí)框架(包含當(dāng)前應(yīng)用最廣泛的TensorFlow、PyTorch等)中發(fā)現(xiàn)漏洞150多個(gè)，框架供應(yīng)鏈漏洞200多個(gè)。該結(jié)果與2017年曝光的TensorFlow、Caffe和Torch三個(gè)平臺(tái)存在DDoS攻擊、躲避攻擊、系統(tǒng)宕機(jī)等威脅相印證；2024年8月，知名開源大模型軟件庫(kù)llama.cpp被發(fā)現(xiàn)在加載模型和分布式推理場(chǎng)景中存在著多個(gè)安全漏洞，其中影響最大的漏洞是CVE-2024-42479(CVSS評(píng)分為9.8/10),表明存在較高的利用風(fēng)險(xiǎn)，如若被組合利用可實(shí)現(xiàn)(2)硬件產(chǎn)品的安全漏洞日益嚴(yán)峻當(dāng)前，人工智能算法主要依托GPU進(jìn)行開發(fā)和應(yīng)用，最具代表光安全漏洞問題。2018年曝光的“熔斷”(Meltdown)和“幽靈” 等系列產(chǎn)品，基本涵蓋了英偉達(dá)大部分的產(chǎn)品線。2024年1月，據(jù)TrailofBits披露，蘋果、AMD、高通等多個(gè)品牌和型號(hào)的主流GPU被發(fā)現(xiàn)重大漏洞，這個(gè)漏洞可能會(huì)讓攻擊者能從GPU內(nèi)存中竊取大量數(shù)據(jù)，影響到在這些GPU上運(yùn)行的大語言模型2.人工智能應(yīng)用系統(tǒng)的內(nèi)生安全個(gè)性問題天下的深度神經(jīng)網(wǎng)絡(luò)(DeepNeuralNetworks,DNN)為例，其個(gè)性(1)DNN的“黑盒”特點(diǎn)導(dǎo)致了其結(jié)果缺作為一種典型的大數(shù)據(jù)驅(qū)動(dòng)技術(shù)，DNN一大明顯特征就是“知其自我訓(xùn)練的時(shí)間達(dá)到了恐怖的3天490萬盤，40天出山打遍天下DNN的學(xué)習(xí)訓(xùn)練過程是對(duì)樣本數(shù)據(jù)的特征擬合過程，但由于樣是其ModelY型號(hào)自動(dòng)駕駛汽車的車載圖像識(shí)別系統(tǒng)錯(cuò)把白色半掛前人工智能應(yīng)用系統(tǒng)對(duì)于目標(biāo)事物的判識(shí)存在復(fù)雜場(chǎng)景下適應(yīng)能力弱的局限性。2024年7月，當(dāng)被問及“9.11和9.9兩個(gè)數(shù)字哪個(gè)大?”是對(duì)數(shù)據(jù)樣本的處理過程中，它們沒有將9.11和9.9當(dāng)作數(shù)字，而是找模式和規(guī)律。通過算法，AI可以識(shí)別數(shù)據(jù)中的相關(guān)性，并用這些信息來做出預(yù)測(cè)或決策。然而AI的這種能力在很大程度上依賴于訓(xùn)乏人類的直覺、經(jīng)驗(yàn)和抽象思維能力，AI可能無法有效地理解和處3.人工智能應(yīng)用系統(tǒng)的廣義功能安全問題(1)新域新質(zhì)的廣義功能安全風(fēng)險(xiǎn)愈發(fā)凸顯型如ChatGPT的人工智能系統(tǒng)具有知識(shí)生成的能力，打破了笛卡爾體”,打破了信息物理系統(tǒng)(Cyber-PhysicalSystems,CPS)與現(xiàn)實(shí)義安全風(fēng)險(xiǎn)，如圖2所示。物理空間網(wǎng)絡(luò)空間網(wǎng)絡(luò)安全圖2人工智能應(yīng)用系統(tǒng)中泛在化存在的廣義功能安全問題(2)人工智能應(yīng)用系統(tǒng)容易引發(fā)安全事故導(dǎo)致其存在缺陷，這種缺陷即便經(jīng)過權(quán)威的安全評(píng)測(cè)也往往難以全部暴露出來，人工智能應(yīng)用系統(tǒng)在投入實(shí)際使用時(shí)，就容易因自身失誤而引發(fā)人身安全問題。當(dāng)前，具有移動(dòng)能力和破壞能力的智能體，可引發(fā)的安全隱患尤為突出。2018年3月，由Uber運(yùn)營(yíng)的自動(dòng)駕駛汽車在美國(guó)亞利桑那州坦佩市Tempe)撞倒了一名女性并致其死亡，經(jīng)車，同時(shí)自動(dòng)駕駛系統(tǒng)也沒有生成故障預(yù)警信息。目前，人工智能智能體已經(jīng)引發(fā)近百種至上千個(gè)重要事故，包括自動(dòng)駕駛汽車致人死傷、工廠機(jī)器人致人死傷、醫(yī)療事故致人死傷、偽造政治領(lǐng)袖演講、種族歧視言論、不健康內(nèi)容等安全危害事件；而利用人工智能技術(shù)造成的系統(tǒng)破壞、人身殺傷、隱私泄露、虛假身份識(shí)別風(fēng)險(xiǎn)、社會(huì)影響重大的輿論等事故也多有發(fā)生。(3)智能體一旦失控將危及人類安全智能體一旦同時(shí)具有行為能力以及破壞力、不可解釋的決策能力、可進(jìn)化成自主系統(tǒng)的進(jìn)化能力這三個(gè)失控要素，不排除其脫離人類控制和危及人類安全的可能。智能體失控造成的廣義功能安全問題，無疑是人類在發(fā)展人工智能時(shí)最關(guān)心的一個(gè)重要問題。已有一些學(xué)者開思想，導(dǎo)致智慧爆炸。盡管目前尚未出現(xiàn)真正意義上的人工智能失控事件，但新技術(shù)的發(fā)展很難保證在將來超級(jí)人工智能不會(huì)出現(xiàn)，屆時(shí)將如何保護(hù)人類，實(shí)現(xiàn)超級(jí)人工智能和人類的和諧共存，這是人工智能在未來發(fā)展道路上需要解決的主要問題之一。(四)人工智能應(yīng)用系統(tǒng)內(nèi)生安全框架人工智能應(yīng)用系統(tǒng)因其智能程度而備受青睞之余，其內(nèi)部算法、數(shù)據(jù)的邏輯關(guān)系越復(fù)雜，存在著諸多不可預(yù)知的脆弱點(diǎn)。面對(duì)越來越多的外部干擾，這種脆弱性或?qū)⒊蔀槿斯ぶ悄墚a(chǎn)業(yè)發(fā)展的“阿喀琉斯之踵”。1.內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)安全的機(jī)理以人工智能應(yīng)用系統(tǒng)的內(nèi)生安全共性問題為例，漏洞后門及相關(guān)問題與物理信息系統(tǒng)在安全層面的矛盾屬性，致使內(nèi)生安全問題只可能通過演進(jìn)轉(zhuǎn)化或和解方式達(dá)成對(duì)立統(tǒng)一關(guān)系，不可能徹底消除矛盾本身。任何有違矛盾同一性和斗爭(zhēng)性的安全技術(shù)發(fā)展路線，以及試圖窮盡漏洞后門問題的工程技術(shù)方法或措施，在哲學(xué)層面不可避免地會(huì)陷入邏輯悖論。針對(duì)人工智能應(yīng)用系統(tǒng)共性安全問題方面，由“亡羊補(bǔ)牢”的思維視角，“封門補(bǔ)漏”的方法論和“盡力而為”的實(shí)踐規(guī)范構(gòu)成的網(wǎng)絡(luò)安全防御范式，對(duì)基于內(nèi)生安全問題的“未知的未知”網(wǎng)絡(luò)攻擊不僅存在防御體制機(jī)制上的基因缺陷，而且在哲學(xué)層面也存在無法自圓其說的邏輯悖論，且在可預(yù)見的將來，人類試圖在工程技術(shù)層面通過種種附加、內(nèi)置、嵌入或外科手術(shù)方式給予根本性修補(bǔ)，理論層面就不存在任何可行性。在人工智能個(gè)性安全問題方面，目前針對(duì)人工智能的對(duì)抗攻擊，最典型和廣泛的應(yīng)對(duì)方法是對(duì)抗性訓(xùn)練，即在每個(gè)訓(xùn)練步驟中，對(duì)抗訓(xùn)練通過最小化網(wǎng)絡(luò)模型正確預(yù)測(cè)對(duì)抗樣本的損失函數(shù)，達(dá)到較好的防御效果。而研究表明：對(duì)抗訓(xùn)練不僅會(huì)使得深度神經(jīng)網(wǎng)絡(luò)泛化能力退化，而且其防御效果與訓(xùn)練所包含的對(duì)抗樣本種類數(shù)量強(qiáng)相關(guān)，存在著“亡羊補(bǔ)牢”式的被動(dòng)局限性，特別是在缺乏先驗(yàn)難以應(yīng)對(duì)未知漏洞后門等的攻擊威脅，從而難以保證人工智能應(yīng)用系統(tǒng)安全穩(wěn)定服務(wù)運(yùn)行。為創(chuàng)造性破解人工智能應(yīng)用系統(tǒng)內(nèi)生安全難題，本藍(lán)皮書提出一種以內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)的方法，即利用內(nèi)生安全機(jī)理中內(nèi)在的構(gòu)造效應(yīng)，從體制機(jī)制上管控或規(guī)避此類威脅和破壞的理論與方法，在人工智能應(yīng)用系統(tǒng)中實(shí)現(xiàn)“構(gòu)造決定安全”的重要技術(shù)路線。其中內(nèi)生安全構(gòu)造具有的性質(zhì)或?qū)傩匀缦拢?1)內(nèi)生安全構(gòu)造應(yīng)當(dāng)具有開放性，基于該構(gòu)造可實(shí)現(xiàn)任何信息物理系統(tǒng)非安全相關(guān)(任務(wù)或服務(wù)等)功能和安全相關(guān)功能，并允許架構(gòu)內(nèi)存在“已知的未知”或“未知的未知”內(nèi)生安全共性問題，架構(gòu)的固有屬性及安全效應(yīng)對(duì)于轉(zhuǎn)化或和解目標(biāo)系統(tǒng)內(nèi)生安全矛盾，達(dá)成對(duì)立統(tǒng)一關(guān)系具有普適性意義。(2)內(nèi)生安全構(gòu)造應(yīng)當(dāng)能以一體化形態(tài)獲得體系化的安全增益，為解決數(shù)字系統(tǒng)包括功能安全、網(wǎng)絡(luò)安全和信息安全三重交織問題在內(nèi)的廣義功能安全問題，提供高可靠、高可用、高可信三位一體可量化設(shè)計(jì)與驗(yàn)證度量解決方案。(3)內(nèi)生安全構(gòu)造應(yīng)能將多樣性、動(dòng)態(tài)性和冗余性等防御要素或功能，以不可分割的一體化方式賦予數(shù)字產(chǎn)品或信息物理系統(tǒng)內(nèi)生安全的網(wǎng)絡(luò)彈性。(4)內(nèi)生安全構(gòu)造應(yīng)當(dāng)能從機(jī)理上有效瓦解任何形式的試錯(cuò)攻擊或盲攻擊，能為人工智能應(yīng)用系統(tǒng)帶來穩(wěn)定魯棒性與品質(zhì)魯棒性。(5)內(nèi)生安全構(gòu)造對(duì)信息物理系統(tǒng)應(yīng)能起到“鋼筋混凝土骨架”的作用，可以“砼料”方式自然地接納已有或未來可能擁有的、以附加或內(nèi)置或內(nèi)嵌方式差異化(或策略性)部署的專業(yè)化的安全防護(hù)技化的量化設(shè)計(jì)與驗(yàn)證指標(biāo)。(6)內(nèi)生安全構(gòu)造應(yīng)當(dāng)對(duì)架構(gòu)內(nèi)存在的軟硬件漏洞后門等廣義功能安全問題的具體細(xì)節(jié)不敏感。理論上，構(gòu)造效應(yīng)能在機(jī)理上抑制構(gòu)造內(nèi)以差模形態(tài)存在的功能安全、網(wǎng)絡(luò)安全和信息安全問題，即使攻擊者試圖利用構(gòu)造內(nèi)共模形態(tài)安全漏洞，也很難實(shí)現(xiàn)協(xié)同逃逸，因?yàn)樵诜桥浜蠗l件下操作的難度會(huì)指數(shù)級(jí)增加。目前，實(shí)現(xiàn)內(nèi)生安全構(gòu)造，常采用動(dòng)態(tài)異構(gòu)冗余(Dynamic所示。策略裁決輸入代理糾錯(cuò)輸出輸入代理糾錯(cuò)輸出輸入輸出輸入輸出【O】假定一個(gè)DHR構(gòu)造內(nèi)，擁有M個(gè)等價(jià)功能的異構(gòu)執(zhí)行體構(gòu)成的分布式資源池，其中等價(jià)功能異構(gòu)執(zhí)行體的組合形成運(yùn)行場(chǎng)景(本質(zhì)上對(duì)應(yīng)可重構(gòu)或狀態(tài)可改變系統(tǒng)的一種物理或邏輯、實(shí)體或虛體、集中或分散組態(tài))。如果每個(gè)分布式運(yùn)行環(huán)境內(nèi)有k個(gè)(k<M)異構(gòu)執(zhí)行體，則資源池內(nèi)就有Ck個(gè)運(yùn)行場(chǎng)景可供策略調(diào)度；凡是當(dāng)前承載在DHR構(gòu)造中，輸入代理或分發(fā)環(huán)節(jié)需要根據(jù)反饋控制器的指數(shù)(控制律)生成的控制算法，決定是否要向輸入代理或分發(fā)環(huán)節(jié)發(fā)或者對(duì)異常執(zhí)行體本身進(jìn)行功能等價(jià)條件下基于軟硬構(gòu)件的重組/重構(gòu)/重置等多樣化操作。反饋控制過程直至當(dāng)前輸出矢量不合規(guī)狀態(tài)DHR構(gòu)造的網(wǎng)絡(luò)安全防御效果與是否存在廣義不確定破壞或知極大的“零日”類型的未知安全問題或網(wǎng)絡(luò)攻擊2.內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)安全的特殊性人工智能應(yīng)用系統(tǒng)本身可以看作是一個(gè)I/O系統(tǒng)，與傳統(tǒng)信息系統(tǒng)具有相似性。當(dāng)前傳統(tǒng)信息系統(tǒng)的內(nèi)生安全賦能成果已經(jīng)覆蓋網(wǎng)絡(luò)而對(duì)于人工智能應(yīng)用系統(tǒng)而言，內(nèi)生安全的賦能，需要結(jié)合人工智能應(yīng)用系統(tǒng)自身的特點(diǎn)進(jìn)行設(shè)計(jì)，主要考慮如下：(1)人工智能應(yīng)用系統(tǒng)的構(gòu)建基于優(yōu)化學(xué)習(xí)的過程。人工智能應(yīng)用系統(tǒng)的內(nèi)核模型是在算力硬件支持下利用優(yōu)化算法對(duì)大量處理數(shù)據(jù)進(jìn)行學(xué)習(xí)的過程。作為一個(gè)I/O系統(tǒng)，其算法構(gòu)建核心部分在于學(xué)習(xí)目標(biāo)的最優(yōu)化和學(xué)習(xí)數(shù)據(jù)的向量化，需依靠?jī)?yōu)化算法來構(gòu)建核心功能。傳統(tǒng)的軟硬件算法系統(tǒng)在構(gòu)建時(shí)，其往往是簡(jiǎn)單直接的，直接對(duì)實(shí)現(xiàn)功能進(jìn)行建模，并利用指定的方法來實(shí)現(xiàn)。因此傳統(tǒng)信息系統(tǒng)功能的異構(gòu)化為自身功能實(shí)現(xiàn)方式的異構(gòu)，而人工智能應(yīng)用系統(tǒng)是基于優(yōu)化學(xué)習(xí)這一大前提下的異構(gòu)化。(2)人工智能應(yīng)用系統(tǒng)的輸出是概率。人工智能應(yīng)用系統(tǒng)的輸出往往是從置信度(概率)中選擇最佳的輸出結(jié)果。例如圖像分類模型輸出的是圖片歸屬類別的概率，自然語言模型輸出的下一個(gè)詞的概率。這種輸出結(jié)果與傳統(tǒng)信息系統(tǒng)確定性的輸出是不同的。傳統(tǒng)軟硬件系統(tǒng)需要考慮輸出格式的統(tǒng)一性，輸出時(shí)間的先后問題，使得其結(jié)果的融合裁決相對(duì)確定。而對(duì)于人工智能應(yīng)用系統(tǒng)，其輸出結(jié)果的融合裁決則需要根據(jù)不同任務(wù)需求，靈活處理各種概率輸出。這種靈活性使得AI系統(tǒng)在應(yīng)對(duì)復(fù)雜場(chǎng)景時(shí)能夠更好地適應(yīng)和調(diào)整，但是也增加了融合裁決的復(fù)雜性。(3)人工智能應(yīng)用系統(tǒng)的內(nèi)部機(jī)理未知。傳統(tǒng)信息系統(tǒng)輸入與輸化學(xué)習(xí)的機(jī)制是使得人工智能模型內(nèi)部是一個(gè)“黑盒”,具體參數(shù)無使得AI異構(gòu)模型的結(jié)果融合裁決面臨著信任難題，即用戶可能對(duì)模型的預(yù)測(cè)結(jié)果持懷疑態(tài)度，如果一個(gè)AI異構(gòu)模型在特定數(shù)據(jù)集上表而在人工智能應(yīng)用系統(tǒng)內(nèi)生安全個(gè)性問題方面，DHR架構(gòu)同樣具體思路方法如圖4所示。即使用多個(gè)功能等價(jià)的神經(jīng)網(wǎng)絡(luò)子模型構(gòu)化O對(duì)抗樣本系統(tǒng)動(dòng)態(tài)變結(jié)構(gòu)“panda”調(diào)度控制輸出輸入代理功能等價(jià)O正常樣本備用子模型集合基于DHR架構(gòu)一體化解決人工智能應(yīng)用系統(tǒng)的個(gè)性化與共性化問題，其基本可行性主要在于以下兩點(diǎn)：(1)各功能等價(jià)體的對(duì)抗表現(xiàn)符合相對(duì)正確公理所述。研究發(fā)現(xiàn)，對(duì)同一決策點(diǎn)上不同方向梯度的搜索，不同結(jié)構(gòu)的網(wǎng)絡(luò)所得到的正確分類邊界是相似的，這導(dǎo)致相同的擾動(dòng)使得不同的模型發(fā)生錯(cuò)誤，即對(duì)抗攻擊具有遷移性；但與此同時(shí)，每個(gè)模型梯度下降方向卻具有極大的隨機(jī)性，其導(dǎo)向的錯(cuò)誤結(jié)果是不同的，所以達(dá)成特定目標(biāo)的遷移攻擊較為困難。因此，DHR架構(gòu)中神經(jīng)網(wǎng)絡(luò)子模型多樣異構(gòu)的有效性得以保證。(2)功能等價(jià)可重構(gòu)執(zhí)行體的輸入和輸出界面可歸一化或標(biāo)準(zhǔn)化。對(duì)于神經(jīng)網(wǎng)絡(luò)而言，輸入的待識(shí)別或分類數(shù)據(jù)是其歸一化輸入，識(shí)別或分類的結(jié)果是其可歸一化的輸出結(jié)果。在這個(gè)界面上，給定輸入序列激勵(lì)下，功能等價(jià)的神經(jīng)網(wǎng)絡(luò)子模型執(zhí)行體在許多輸出矢量或狀態(tài)大概率上具有相同性，這使得通過給定功能或性能的一致性測(cè)試方法能夠判斷和確保子模型執(zhí)行體間的等價(jià)性。4.內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)構(gòu)建根據(jù)圖4,內(nèi)生安全賦能人工智能應(yīng)用系統(tǒng)構(gòu)建，其基本內(nèi)核是多模型的異構(gòu)性。因此如何構(gòu)建具有差異性的AI模型，是保障人工智能應(yīng)用系統(tǒng)能夠在“有毒帶菌”環(huán)境下正常運(yùn)行的關(guān)鍵。下面從數(shù)據(jù)集異構(gòu)、模型結(jié)構(gòu)異構(gòu)、訓(xùn)練方法異構(gòu)和推理方法異構(gòu)等多個(gè)角度，闡述差異化AI模型的構(gòu)建思路。1.數(shù)據(jù)集異構(gòu)數(shù)據(jù)是AI模型構(gòu)建的基礎(chǔ)，且數(shù)據(jù)將直接影響AI模型算法的性能。數(shù)據(jù)集異構(gòu)是指在保證模型任務(wù)一致的情況下使得每個(gè)模型學(xué)習(xí)到的數(shù)據(jù)特征呈現(xiàn)差異性，從而使得模型在面對(duì)對(duì)抗樣本攻擊時(shí)能夠呈現(xiàn)魯棒性。目前廣泛應(yīng)用于人工智能模型訓(xùn)練的數(shù)據(jù)增強(qiáng)技術(shù)已經(jīng)非常成熟，但是主要用于提高單一模型的性能表現(xiàn)。數(shù)據(jù)集異構(gòu)的實(shí)現(xiàn)，可借鑒已有的數(shù)據(jù)增強(qiáng)方法，如引入對(duì)抗樣例、差異性樣例、擾動(dòng)樣例等。通過數(shù)據(jù)的增強(qiáng)，不僅可以提高單一模型的魯棒性，還可以引入不同的數(shù)據(jù)增強(qiáng)樣例，以使得多個(gè)模型產(chǎn)生異構(gòu)效應(yīng)。除了數(shù)據(jù)增強(qiáng)的思路之外，還可以對(duì)相同數(shù)據(jù)集進(jìn)行差異化的嵌入表示進(jìn)行異構(gòu)，如使用差異化的濾波器過濾、差異化的預(yù)處理流程、差異化標(biāo)簽表示等等。如EADSR[87]方法通過多個(gè)角度利用擾動(dòng)數(shù)據(jù)結(jié)合模型行為對(duì)設(shè)定不同的優(yōu)化目標(biāo)，利用數(shù)據(jù)差異化設(shè)計(jì)差異化訓(xùn)練方法從而使得多個(gè)模型產(chǎn)生差異性提高其對(duì)抗魯棒性；或者通過對(duì)訓(xùn)練數(shù)據(jù)的重表達(dá)[88]也可以實(shí)現(xiàn)模型2.模型結(jié)構(gòu)異構(gòu)AI模型內(nèi)部多由多層神經(jīng)網(wǎng)絡(luò)構(gòu)成，這些層的神經(jīng)網(wǎng)絡(luò)內(nèi)部結(jié)訓(xùn)練與推理的核心要素。AI模型結(jié)構(gòu)異構(gòu)是指在保證模型任務(wù)相同結(jié)構(gòu)上的修正設(shè)計(jì)差異化訓(xùn)練方法使得訓(xùn)練出來的多個(gè)模型發(fā)生差A(yù)I模型訓(xùn)練過程本質(zhì)上是一個(gè)基于最優(yōu)化思想的擬合過程，訓(xùn)的優(yōu)化方法大都是基于梯度下降的優(yōu)化。AI模型優(yōu)化目標(biāo)是通過不程中收斂于不同的特征角度。如基于梯度多樣性的GAL[901方法，利用多個(gè)模型之間收斂梯度的角度差異使得多個(gè)模型的優(yōu)化方向產(chǎn)生賴于模型行為多樣性的ADP[91]方法，嘗試在訓(xùn)練過程中對(duì)模型的預(yù)當(dāng)AI模型訓(xùn)練完成并進(jìn)行部署時(shí)，應(yīng)用推理異構(gòu)方法是一種有如目前熱門的大模型領(lǐng)域也出現(xiàn)了SmoothLLM的多模型集成融合思模型的結(jié)果融合裁決輸出。結(jié)果裁決輸出是指根據(jù)設(shè)定好的規(guī)則或特定的方法對(duì)多個(gè)模型的輸出結(jié)果進(jìn)行融合，達(dá)到過濾錯(cuò)誤異常結(jié)果輸出正確結(jié)果的目的。因此裁決輸出的核心目標(biāo)為保證正常輸出性能的情況下過濾異常的輸出，最終保證系統(tǒng)的輸出一致性與準(zhǔn)確性。不同的人工智能應(yīng)用系統(tǒng)，其結(jié)果融合裁決方法，需要根據(jù)不同任務(wù)目標(biāo)進(jìn)行設(shè)計(jì)。由于不同的人工智能應(yīng)用系統(tǒng)，其輸出格式與結(jié)果內(nèi)容必然存在差異，如呈現(xiàn)為概率、坐標(biāo)、特征向量等不同的形式。融合裁決過程，對(duì)外需要正確輸出類似于單一模型的結(jié)果，以保證應(yīng)用系統(tǒng)的正常功能；而對(duì)內(nèi)需要對(duì)差異化模型的輸出結(jié)果進(jìn)行融合，檢測(cè)異常輸出并通過融合實(shí)現(xiàn)對(duì)異常的過濾。目前針對(duì)多個(gè)輸出結(jié)果的融合案例主要有：在目標(biāo)檢測(cè)領(lǐng)域，彭等人[93]基于已有目標(biāo)檢測(cè)領(lǐng)域的非極大抑制算法進(jìn)行多模型融合的改良，實(shí)現(xiàn)了多異構(gòu)模型對(duì)于對(duì)抗攻擊的抵抗；羅等人[94]提出基于模型的不確定性來進(jìn)行輸出的融合，不確定性越高的模型其可信度越低；在人臉識(shí)別領(lǐng)域，胡等人[95]利用神經(jīng)網(wǎng)絡(luò)連接層將在不同的兩個(gè)模型特征進(jìn)行融合提高模型的魯棒性。目前在大模型領(lǐng)域，多個(gè)模型的交叉輸出驗(yàn)證已經(jīng)是提高模型性能的一個(gè)有效手段，如SmoothLLM就采用了大數(shù)裁決的方式。通過利用合適的裁決方法，將使內(nèi)生安全在高可靠人工智能應(yīng)用系統(tǒng)構(gòu)建中發(fā)揮關(guān)鍵作用。隨著AI系統(tǒng)在關(guān)鍵基礎(chǔ)設(shè)施、金融服務(wù)、醫(yī)療健康和自動(dòng)駕駛等領(lǐng)域的深度應(yīng)用，其安全性和可靠性的挑戰(zhàn)日益凸顯。本藍(lán)皮書提出了一種解決人工智能應(yīng)用系統(tǒng)安全問題的內(nèi)生安全新途徑，然而如(一)提高AI模型算法魯棒性AI模型魯棒性是指系統(tǒng)在面對(duì)各種挑戰(zhàn)和不確定性時(shí)能保持性能的能力。AI模型魯棒性包括對(duì)抗性魯棒性、噪聲魯棒性和強(qiáng)泛化在工程實(shí)踐中，提升AI模型魯棒性是人工智能應(yīng)用系統(tǒng)安全的填補(bǔ)缺失值以及數(shù)據(jù)標(biāo)準(zhǔn)化，可以為模型提供更高質(zhì)量的訓(xùn)練數(shù)據(jù)；應(yīng)用正則化技術(shù)如L1和L2正則化，能夠減少模型對(duì)訓(xùn)練數(shù)據(jù)噪聲提升AI模型魯棒性的另一個(gè)方法是增加模型的可解釋性，以求于發(fā)展完善階段，短時(shí)間內(nèi)難以直接運(yùn)用于實(shí)際的工程化AI應(yīng)用系的可解釋性變得逐步降低。如何在工程上構(gòu)建更加透明和可解釋的AI模型，是未來的重點(diǎn)研究方向。(二)構(gòu)建AI模型安全監(jiān)測(cè)體系A(chǔ)I模型安全監(jiān)測(cè)，旨在及時(shí)發(fā)現(xiàn)潛在的異?；顒?dòng)，防范可能的對(duì)抗攻擊、后門攻擊等安全威脅，以有效地確保AI模型在實(shí)際應(yīng)用構(gòu)建AI模型安全監(jiān)測(cè)體系涵蓋對(duì)模型進(jìn)行性能監(jiān)控、風(fēng)險(xiǎn)檢測(cè)主要涵蓋訓(xùn)練監(jiān)控與應(yīng)用監(jiān)控，其中訓(xùn)練監(jiān)控主要是對(duì)AI模型算法應(yīng)用監(jiān)控是指在AI模型訓(xùn)練完成后進(jìn)行部署應(yīng)用后，為了確保AI模型在實(shí)際環(huán)境中能夠最佳運(yùn)行，對(duì)其運(yùn)行推理等過程進(jìn)行安全監(jiān)控。監(jiān)控的內(nèi)容主要包括AI模型的軟硬件運(yùn)行情況、調(diào)用情況監(jiān)系統(tǒng)是否出現(xiàn)故障，并確定故障的時(shí)間。除此之外，當(dāng)發(fā)現(xiàn)AI模型AI模型安全監(jiān)測(cè)的工程化實(shí)現(xiàn)，需要結(jié)合實(shí)際應(yīng)用場(chǎng)景進(jìn)行體定期更新以維持模型的穩(wěn)定性。通過構(gòu)建全流程的AI模型安全監(jiān)測(cè)(三)提升AI價(jià)值觀對(duì)齊能力人類價(jià)值觀，這就要求AI應(yīng)用系統(tǒng)具備可拓展監(jiān)督(scalable價(jià)值觀對(duì)齊是AI模型應(yīng)用的基本要求，模型必須有足夠的能力完成指定的目標(biāo)任務(wù)，且實(shí)現(xiàn)的結(jié)果是符合監(jiān)督要求的。AI模型價(jià)值觀對(duì)齊的核心影響因素在于其訓(xùn)練過程，基于優(yōu)化理論生成的AI系統(tǒng)AI模型獎(jiǎng)勵(lì)建模的局限性同樣顯著。AI(四)建強(qiáng)AI應(yīng)用系統(tǒng)安全環(huán)境由于技術(shù)階段性和認(rèn)知局限性導(dǎo)致軟硬件代碼設(shè)計(jì)脆弱性和安全問題不確定性，當(dāng)前基于漏洞后門的網(wǎng)絡(luò)攻擊威脅對(duì)AI應(yīng)用系統(tǒng)安全內(nèi)生安全構(gòu)造，將為AI應(yīng)用系統(tǒng)安全環(huán)境塑造提供AI安全是推動(dòng)AI產(chǎn)業(yè)進(jìn)步的關(guān)鍵因素，實(shí)現(xiàn)安全的人工智能應(yīng)內(nèi)生安全理論既可以有效阻斷和控制人工智能應(yīng)用系統(tǒng)的共性能人工智能應(yīng)用系統(tǒng)有望成為防范新型安全風(fēng)險(xiǎn)和開展人工智能治一是通過總體性立法確立人工智能治理的核心理念，包括貫徹堅(jiān)持內(nèi)生安全治理的原則將安全作為人工智能應(yīng)用系統(tǒng)的內(nèi)在稟安全責(zé)任，不但要強(qiáng)調(diào)“誰使用誰負(fù)責(zé)、誰運(yùn)營(yíng)誰負(fù)責(zé)”,還要強(qiáng)化(二)加快人工智能應(yīng)用系統(tǒng)供給側(cè)安全治理加快人工智能應(yīng)用系統(tǒng)供給側(cè)安全治理是提高人工智能應(yīng)用系和配套工具鏈，進(jìn)而構(gòu)建一體化安全的技術(shù)格局。二是圍繞人工智能應(yīng)用系統(tǒng)全生命周期、全棧架構(gòu)，建立一套包括數(shù)據(jù)安全標(biāo)準(zhǔn)、模型安全標(biāo)準(zhǔn)、信息加工安全標(biāo)準(zhǔn)、內(nèi)容輸出安全標(biāo)準(zhǔn)、場(chǎng)景應(yīng)用安全標(biāo)準(zhǔn)、安全措施標(biāo)準(zhǔn)、安全評(píng)估標(biāo)準(zhǔn)等在內(nèi)的全方面標(biāo)準(zhǔn)體系，重點(diǎn)在關(guān)鍵設(shè)施應(yīng)用上使用內(nèi)生安全多樣性機(jī)制，打造受信任應(yīng)用系統(tǒng)安全底座。三是發(fā)展人工智能可量化評(píng)估技術(shù)手段，將“白盒插樁”測(cè)試作為人工智能應(yīng)用系統(tǒng)檢測(cè)的“金標(biāo)準(zhǔn)”,通過注入式/破壞式測(cè)試方法定量描述人工智能應(yīng)用系統(tǒng)安全性事件發(fā)生的概率。可推行以攻防為路徑的多樣化眾測(cè)，打造點(diǎn)面結(jié)合的測(cè)試網(wǎng)絡(luò)，為人工智能技術(shù)的實(shí)際應(yīng)用提供強(qiáng)有力的評(píng)估測(cè)試保障。四是跟進(jìn)出臺(tái)供給側(cè)安全的產(chǎn)業(yè)政策，建議考慮通過安全補(bǔ)貼、稅收減免等激勵(lì)方式，如建立人工智能產(chǎn)品安全認(rèn)證體系，對(duì)于通過的應(yīng)用系統(tǒng)給予市場(chǎng)準(zhǔn)入便利，使用政府的產(chǎn)業(yè)政策，扶持設(shè)計(jì)安全技術(shù)以及產(chǎn)品的發(fā)展。同時(shí)發(fā)揮金融市場(chǎng)的力量，為人工智能的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)提供保險(xiǎn)產(chǎn)品，促進(jìn)制造側(cè)負(fù)責(zé)任地創(chuàng)新。(三)加快解決關(guān)鍵技術(shù)受制于人的短板問題實(shí)現(xiàn)算力技術(shù)突破是提高人工智能應(yīng)用系統(tǒng)安全的技術(shù)保證，當(dāng)前，我國(guó)人工智能技術(shù)發(fā)展的基礎(chǔ)不牢，在很大程度上制約了在關(guān)鍵領(lǐng)域應(yīng)用的范圍，為此需要加快突破基礎(chǔ)算力和基礎(chǔ)軟硬件受制于人的困局，確保關(guān)鍵領(lǐng)域應(yīng)用安全。一是打破“路徑依賴”。繼桌面計(jì)算時(shí)代的“Wintel”困境，移動(dòng)計(jì)算時(shí)代的“AA”困境之后，目前我們正在智能計(jì)算時(shí)代陷入“GC”件下實(shí)現(xiàn)3個(gè)數(shù)量級(jí)效能增益，達(dá)到芯片級(jí)工藝2納米的等效能力。(四)加快建立國(guó)家級(jí)人工智能安全試驗(yàn)場(chǎng)一是構(gòu)建國(guó)家人工智能訓(xùn)練場(chǎng)“5+1”的建設(shè)格局，除部署建設(shè)+安全驗(yàn)證”相輔相成，推動(dòng)人工智能應(yīng)用系統(tǒng)在開發(fā)流程中從一開三是搭建促進(jìn)產(chǎn)業(yè)發(fā)展的“概念驗(yàn)證中心”,通過實(shí)驗(yàn)檢驗(yàn)測(cè)試創(chuàng)新者的新想法和概念，提供技術(shù)的可行性分析。充當(dāng)產(chǎn)品孵化器，訓(xùn)練基地相互銜接的安全“會(huì)診中心”,為人工智能應(yīng)用系統(tǒng)及時(shí)提(五)加快轉(zhuǎn)變教育范式培養(yǎng)負(fù)責(zé)任的開發(fā)者教育范式轉(zhuǎn)變是提高人工智能應(yīng)用系統(tǒng)安全防御能力的人才保證。據(jù)預(yù)測(cè)我國(guó)到2027年網(wǎng)信領(lǐng)域人才缺口達(dá)327萬，人工智能應(yīng)用領(lǐng)域安全人才缺口達(dá)100萬，而年供給量不足5萬人。亟須轉(zhuǎn)變教二是搭建新型人才的“知識(shí)一能力一素質(zhì)”(KS2A)的培養(yǎng)模為學(xué)生搭建“腳手架”,鼓勵(lì)學(xué)生在真實(shí)的情境中獲得解決實(shí)際問題培養(yǎng)方式，以“項(xiàng)目導(dǎo)向”“問題導(dǎo)向”,鼓勵(lì)學(xué)生在項(xiàng)目落地的全解決人才培養(yǎng)從供給端向需求端(社會(huì)/行業(yè))相互適配的問題。(六)不斷提高人工智