人工智能安全：原理與實(shí)踐 課件 第1章 人工智能安全概述

第一章人工智能安全概述人工智能安全簡介本章介紹

本章從經(jīng)典的兩個(gè)人工智能安全案例事件說起，引入人工智能安全的概念及框架，說明了人工智能安全現(xiàn)狀，最后給出了本教材的組織、學(xué)習(xí)和講授教材的方法。知識與能力目標(biāo)了解人工智能安全的重要性。認(rèn)知人工智能安全的概念。掌握人工智能安全的模型。了解這門課的知識體系。了解如何學(xué)習(xí)這門課程。熟悉這門課的講授方法。內(nèi)容提綱1.3人工智能安全的架構(gòu)、風(fēng)險(xiǎn)及應(yīng)對方法1.2人工智能安全的概念1.1人工智能安全的引入1.4人工智能安全現(xiàn)狀1.1人工智能安全的引入

2016年11月18日，在中國深圳舉辦的“第十八屆中國國際高新技術(shù)成果交易會(huì)”上，一臺(tái)名為“小胖”的機(jī)器人引起了很多人的興趣。如圖所示為小胖機(jī)器人。1.1人工智能安全的引入小胖機(jī)器人原為4-12歲兒童研發(fā)，主要用于教育目的。然而在展示的過程中這臺(tái)機(jī)器人卻突發(fā)故障，在沒有任何指令的前提下自行打砸展臺(tái)的玻璃，最終導(dǎo)致部分展臺(tái)被破壞。更為嚴(yán)重的是，該機(jī)器人在破壞展臺(tái)的過程中還砸傷了一名路人。如圖所示為受傷的路人。該事件大概是國內(nèi)最早報(bào)道的機(jī)器人傷害人類的事件。以前類似事件多是在電影電視里才能看到的虛擬場景。從深圳這次安全事件可以看出，人工智能方法自身如果出現(xiàn)問題就可以威脅到人類的安全。1.1人工智能安全的引入當(dāng)前，人工智能技術(shù)應(yīng)用最具新穎和挑戰(zhàn)性的場景之一就是自動(dòng)駕駛技術(shù)，但是就是這樣一種技術(shù)處理不好的話，依然影響著人類的生命安全。例如，2018年3月23日，蘋果公司華裔工程師黃偉倫駕駛特斯拉ModelX在加利福尼亞州山景城附近的高速路上，撞上公路屏障不幸身亡。如圖所示為事故現(xiàn)場。1.1人工智能安全的引入美國國家運(yùn)輸安全委員會(huì)（NTSB）的調(diào)查結(jié)果顯示，該車禍發(fā)生前，這輛特斯拉車的自動(dòng)駕駛輔助系統(tǒng)被使用了近19分鐘，當(dāng)時(shí)汽車以每小時(shí)71英里的速度偏離了高速公路。這場導(dǎo)致駕駛員死亡的車禍明顯是技術(shù)問題，而非人為因素。

從這次事件可以看出，就連特斯拉這樣的世界級頂流自動(dòng)駕駛車企，在面臨人工智能安全問題時(shí)，依然會(huì)出重大安全問題。由此可見，人工智能技術(shù)的應(yīng)用處理不好，會(huì)導(dǎo)致人類的生命受到安全威脅。

以上兩個(gè)典型的與人工智能相關(guān)的安全事件，一個(gè)是人工智能系統(tǒng)自身的安全問題，也稱為人工智能原生安全；另一個(gè)是人工智能技術(shù)應(yīng)用出現(xiàn)的安全問題，也稱作人工智能衍生安全。以上兩種安全問題引起了國內(nèi)外的廣泛討論，人們紛紛提出一個(gè)問題：人工智能是否安全呢？內(nèi)容提綱1.3人工智能安全的架構(gòu)、風(fēng)險(xiǎn)及應(yīng)對方法1.2人工智能安全的概念1.1人工智能安全的引入1.4人工智能安全現(xiàn)狀1.2人工智能安全的概念人工智能（ArtificialIntelligence），英文縮寫為AI。它是指通過計(jì)算機(jī)科學(xué)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)等多學(xué)科交叉融合的方法，開發(fā)出模擬人類智能的技術(shù)和算法。它通過模擬人類智能的學(xué)習(xí)、推理、感知和行動(dòng)能力，實(shí)現(xiàn)機(jī)器自主的思考和決策，從而完成一系列復(fù)雜的任務(wù)和功能。人工智能是十分廣泛的科學(xué)，包括機(jī)器人、語言識別、圖像識別、自然語言處理、專家系統(tǒng)、機(jī)器學(xué)習(xí)，計(jì)算機(jī)視覺等。

簡單來說，人工智能就是：人類的智慧轉(zhuǎn)化成的能力！1.2人工智能安全的概念人工智能安全是指通過采取必要措施，防范對人工智能系統(tǒng)的攻擊、侵入、干擾、破壞和非法使用以及意外事故，使人工智能系統(tǒng)處于穩(wěn)定可靠運(yùn)行的狀態(tài)，以及遵循人工智能以人為本、權(quán)責(zé)一致等安全原則，保障人工智能算法模型、數(shù)據(jù)、系統(tǒng)和產(chǎn)品應(yīng)用的完整性、保密性、可用性、魯棒性、透明性、公平性和隱私的能力。

這個(gè)人工智能安全定義是全國信息安全標(biāo)準(zhǔn)化技術(shù)委員會(huì)在《人工智能安全標(biāo)準(zhǔn)化白皮書(2019年版)》上發(fā)布的。以上的對人工智能安全定義只是強(qiáng)調(diào)人工智能內(nèi)在的安全。更廣義上的講，人工智能安全還包括人工智能的應(yīng)用安全。內(nèi)容提綱1.3人工智能安全的架構(gòu)、風(fēng)險(xiǎn)及應(yīng)對方法1.2人工智能安全的概念1.1人工智能安全的引入1.4人工智能安全現(xiàn)狀1.3人工智能安全的架構(gòu)、風(fēng)險(xiǎn)及應(yīng)對方法

1.人工智能安全框架：如圖所示。包含安全目標(biāo)、安全風(fēng)險(xiǎn)、安全評估和安全保障4大維度。人工智能安全分為4個(gè)核心步驟：1.3人工智能安全的架構(gòu)、風(fēng)險(xiǎn)及應(yīng)對方法1.人工智能安全架構(gòu)：第1步：從人工智能的應(yīng)用安全和人工智能系統(tǒng)自身的安全角度來設(shè)立安全目標(biāo)。第2步：梳理人工智能的原生安全和衍生安全風(fēng)險(xiǎn)。(1)原生安全(也叫內(nèi)生安全)主要是人工智能系統(tǒng)內(nèi)在的安全或本身的安全，包括人工智能系統(tǒng)中機(jī)器學(xué)習(xí)框架的安全、數(shù)據(jù)安全和算法模型的安全等。(2)衍生安全主要是人工智能系統(tǒng)應(yīng)用到實(shí)際生活當(dāng)中而引起的安全問題。第3步：對人工智能安全現(xiàn)狀進(jìn)行評估。主要是評估數(shù)據(jù)、算法、基礎(chǔ)設(shè)施和系統(tǒng)應(yīng)用所面臨的風(fēng)險(xiǎn)程度。第4步：根據(jù)安全評估的結(jié)果，綜合運(yùn)用技術(shù)和管理相結(jié)合的方法保障人工智能系統(tǒng)的安全。原生安全是人工智能技術(shù)自身在可解釋性、魯棒性、可控性、穩(wěn)定性等方面存在的缺陷。衍生安全是人工智能技術(shù)在應(yīng)用的過程中，由于不當(dāng)使用或外部攻擊造成系統(tǒng)功能失效或錯(cuò)誤使用。1.3人工智能安全的架構(gòu)、風(fēng)險(xiǎn)及應(yīng)對方法2.人工智能安全風(fēng)險(xiǎn)(1)數(shù)據(jù)安全風(fēng)險(xiǎn)攻擊者利用模型的輸出信息可以開展模型盜取攻擊和訓(xùn)練數(shù)據(jù)盜取攻擊。在機(jī)器學(xué)習(xí)模型的訓(xùn)練和應(yīng)用過程中，所使用的訓(xùn)練數(shù)據(jù)和模型參數(shù)都有被泄露的風(fēng)險(xiǎn)。(2)算法模型安全風(fēng)險(xiǎn)針對人工智能深度學(xué)習(xí)算法提取樣本特征的特點(diǎn)，在不改變深度學(xué)習(xí)系統(tǒng)模型的前提下，通過構(gòu)造相關(guān)輸入樣本，使系統(tǒng)輸出錯(cuò)誤的結(jié)果來對抗樣本攻擊。這種攻擊可分為躲避攻擊（即非定向攻擊）和假冒攻擊（即定向攻擊）。攻擊者可以通過特定樣本誤導(dǎo)深度學(xué)習(xí)系統(tǒng)輸出特定的錯(cuò)誤結(jié)果。1.3人工智能安全的架構(gòu)、風(fēng)險(xiǎn)及應(yīng)對方法2.人工智能安全風(fēng)險(xiǎn)(3)機(jī)器學(xué)習(xí)框架安全風(fēng)險(xiǎn)人工智能算法基于機(jī)器學(xué)習(xí)框架完成其模型的搭建、訓(xùn)練和運(yùn)行。深度學(xué)習(xí)框架需要依靠于大量的基礎(chǔ)庫和第三方組件支持，組件的復(fù)雜度會(huì)嚴(yán)重降低深度學(xué)習(xí)框架的安全性。(4)人工智能系統(tǒng)應(yīng)用安全風(fēng)險(xiǎn)。不當(dāng)使用、外部攻擊和業(yè)務(wù)設(shè)計(jì)安全錯(cuò)誤等都會(huì)引發(fā)人工智能系統(tǒng)的應(yīng)用安全風(fēng)險(xiǎn)。例如，攻擊者可以通過提示詞技術(shù)輸入錯(cuò)誤數(shù)據(jù)，使人工智能系統(tǒng)自學(xué)習(xí)到錯(cuò)誤信息；也可以通過智能終端、應(yīng)用軟件和設(shè)備的漏洞對人工智能系統(tǒng)實(shí)施注入攻擊，如以人臉識別系統(tǒng)、智能語音助手、偽造圖像為入口攻擊后臺(tái)業(yè)務(wù)系統(tǒng)。1.3人工智能安全的架構(gòu)、風(fēng)險(xiǎn)及應(yīng)對方法2.人工智能安全風(fēng)險(xiǎn)(5)法律風(fēng)險(xiǎn)。人工智能系統(tǒng)在使用過程中可能違反國家的相關(guān)法律法規(guī)。例如在人臉識別、語音識別、身份認(rèn)證等領(lǐng)域使用的人工智能技術(shù)可能涉及侵犯隱私問題。如果這些個(gè)人隱私數(shù)據(jù)被大量竊取和泄露將會(huì)對個(gè)人造成嚴(yán)重后果，使用的企業(yè)和組織也會(huì)被判罰款、整頓或停運(yùn)等。1.3人工智能安全的架構(gòu)、風(fēng)險(xiǎn)及應(yīng)對方法3.人工智能安全風(fēng)險(xiǎn)的應(yīng)對方法(1)建立完善的安全管理制度。三分技術(shù)，七分管理，這句話在人工智能安全領(lǐng)域依然適用。在人工智能系統(tǒng)應(yīng)用過程中，安全管理應(yīng)該放在首位。(2)人工智能系統(tǒng)風(fēng)險(xiǎn)評估。對每個(gè)人工智能系統(tǒng)應(yīng)用前都要進(jìn)行風(fēng)險(xiǎn)評估。評估的目的是確定人工智能系統(tǒng)的安全性和可靠性。1.3人工智能安全的架構(gòu)、風(fēng)險(xiǎn)及應(yīng)對方法3.人工智能安全風(fēng)險(xiǎn)的應(yīng)對方法(3)建立應(yīng)急響應(yīng)機(jī)制。在對人工智能系統(tǒng)進(jìn)行風(fēng)險(xiǎn)評估之后，必須建立相應(yīng)的風(fēng)險(xiǎn)應(yīng)對機(jī)制。這些機(jī)制主要包括：預(yù)警機(jī)制。建立合理的預(yù)警機(jī)制，提前預(yù)測和識別風(fēng)險(xiǎn)，限制風(fēng)險(xiǎn)的發(fā)展，盡量減小風(fēng)險(xiǎn)帶來的影響。備份機(jī)制。對人工智能系統(tǒng)的重要數(shù)據(jù)進(jìn)行備份，防止數(shù)據(jù)丟失，保證系統(tǒng)在出現(xiàn)問題時(shí)，依然能順利運(yùn)行。應(yīng)急響應(yīng)機(jī)制。不要因?yàn)槿斯ぶ悄芟到y(tǒng)存在安全威脅或可能的隱患而不敢使用它，或者過多地限制使用它。1.3人工智能安全的架構(gòu)、風(fēng)險(xiǎn)及應(yīng)對方法3.人工智能安全風(fēng)險(xiǎn)的應(yīng)對方法(4)加強(qiáng)法律法規(guī)的制定和執(zhí)行。在人工智能系統(tǒng)應(yīng)用的時(shí)候，必須加強(qiáng)法律法規(guī)的制定和執(zhí)行。應(yīng)該借鑒國外人工智能安全法律法規(guī)的經(jīng)驗(yàn)，規(guī)定人工智能系統(tǒng)的應(yīng)用和限制條件，以保障企業(yè)和個(gè)人數(shù)據(jù)的安全；同時(shí)應(yīng)該明確責(zé)任人違反人工智能安全時(shí)應(yīng)承擔(dān)的相應(yīng)處罰。內(nèi)容提綱1.3人工智能安全的架構(gòu)、風(fēng)險(xiǎn)及應(yīng)對方法1.2人工智能安全的概念1.1人工智能安全的引入1.4人工智能安全現(xiàn)狀1.4人工智能安全現(xiàn)狀3.人工智能安全風(fēng)險(xiǎn)的應(yīng)對方法人工智能的安全性甚至于關(guān)乎整個(gè)人類的命運(yùn)。人工智能安全與國家安全緊密相連，世界各國都試圖在該領(lǐng)域占領(lǐng)先機(jī)，美國、歐盟、日本等多個(gè)國家接連發(fā)布相關(guān)政策法規(guī)加以規(guī)制。2024年3月21日，聯(lián)合國大會(huì)通過了首個(gè)關(guān)于人工智能安全的全球決議草案，倡議各國合作起來共同開發(fā)“安全、可靠和值得信賴的”人工智能系統(tǒng)，為全球各國合作制定并實(shí)施人工智能技術(shù)和安全應(yīng)用的標(biāo)準(zhǔn)奠定了堅(jiān)實(shí)基礎(chǔ)。2024年3月13日歐盟通過了《人工智能法案》，2023年10月，美國頒布《關(guān)于安全、可靠和值得信賴的人工智能開發(fā)和使用的行政命令》，中國也積極參與并倡導(dǎo)全球人工智能治理工作，中國國家網(wǎng)信辦在2023年10月提出《全球人工智能治理倡議》。小結(jié)人工智能安全很重要。世界各國都在積極發(fā)展人工智能安全技術(shù)！感謝同學(xué)們的收聽！致謝李劍博士，教授，博士生導(dǎo)師網(wǎng)絡(luò)空間安全學(xué)院lijiananuary23,2025第一章人工智能安全概述教材的組織、學(xué)習(xí)和講授方法1.5教材的組織、學(xué)習(xí)和講授方法由于關(guān)于人工智能安全的知識點(diǎn)非常多，本教材只是從實(shí)踐應(yīng)用的角度講述了一些主要的人工智能安全知識。重點(diǎn)是教會(huì)學(xué)生如何通過Python語言編程的方法來實(shí)現(xiàn)一些經(jīng)典的人工智能安全案例。1.5.1教材的組織教材主要從原理和實(shí)踐兩個(gè)方向出發(fā)編寫知識點(diǎn)，如表所示。這些原理和實(shí)踐知識都是當(dāng)前人工智能安全領(lǐng)域的熱點(diǎn)。1.5.1教材的組織本教材的所有實(shí)踐內(nèi)容如表所示。表中給出了所有實(shí)踐編程的題目，以及他們的難度水平。期中1星級最簡單，5星級最難。在做Python實(shí)踐編程的時(shí)候，教師可以根據(jù)實(shí)踐內(nèi)容的偏好和難度級別選擇要做的實(shí)踐內(nèi)容。本教材絕大部分編程實(shí)踐內(nèi)容都可以在普通筆記本電腦上實(shí)現(xiàn)。1.5.1教材的組織本教材中所有18個(gè)Python編程實(shí)踐的內(nèi)容都提供源代碼(見本教材的網(wǎng)盤)、數(shù)據(jù)集和相關(guān)庫文件。大部分源代碼都可以通過復(fù)制粘貼的方式進(jìn)行編程，核心代碼采用圖片的方式呈現(xiàn)，需要學(xué)生自己理解并輸入。本教材的第2個(gè)實(shí)踐內(nèi)容“實(shí)踐2-2基于對抗性攻擊無數(shù)據(jù)替代訓(xùn)練的模型竊取”在運(yùn)行時(shí)，需要大量的運(yùn)算資源進(jìn)行訓(xùn)練，它的難度是5星級。感興趣的同學(xué)可以在老師的帶領(lǐng)下在網(wǎng)上購買計(jì)算資源再訓(xùn)練得出實(shí)踐結(jié)果，或者直接使用本書已經(jīng)訓(xùn)練好的模型(詳見本書的網(wǎng)盤)進(jìn)行實(shí)踐，得出實(shí)踐結(jié)果。本教材的第18個(gè)實(shí)踐內(nèi)容“實(shí)踐16-1基于圖神經(jīng)網(wǎng)絡(luò)的代碼漏洞檢測”需要在Ubuntu虛擬機(jī)上運(yùn)行，并且需要學(xué)習(xí)的知識點(diǎn)比較多，它的難度是5星級。學(xué)生在做實(shí)踐的時(shí)候，如果感覺比較困難，可以以不多于4人的團(tuán)隊(duì)形式進(jìn)行編程實(shí)踐。1.5.2教材的學(xué)習(xí)方法學(xué)生在學(xué)習(xí)本教材的實(shí)踐內(nèi)容時(shí)，可以通過以下步驟進(jìn)行：第1步：學(xué)習(xí)教材中實(shí)踐內(nèi)容的原理，理解實(shí)踐的目的。第2步：下載本教材指定的網(wǎng)盤中的資料，特別是實(shí)踐內(nèi)容的原代碼、庫文件和數(shù)據(jù)集。第3步：配置編程實(shí)踐環(huán)境。第4步：按照教材中指定的實(shí)踐步驟進(jìn)行編程實(shí)踐，直到最終出現(xiàn)正確的實(shí)踐結(jié)果。第5步：對實(shí)踐內(nèi)容進(jìn)行擴(kuò)展練習(xí)，在教材內(nèi)容基礎(chǔ)上進(jìn)行更為深入的編程實(shí)踐。注意：這一步不是必須的，但是如果有的話，會(huì)加分。第6步：按照老師給的實(shí)踐報(bào)告模板撰寫實(shí)踐報(bào)告。報(bào)告要求如下：(1)對實(shí)踐中的原理部分進(jìn)行更為詳細(xì)的描述；(2)報(bào)告中需要詳細(xì)說明自己的實(shí)踐步驟；(3)詳細(xì)說明每行代碼的功能作用。第7步：給老師提交報(bào)告。1.5.3教材的講授方法老師在輔導(dǎo)學(xué)生做編程實(shí)踐的時(shí)候，可以通過以下步驟進(jìn)行：第1步：輔導(dǎo)學(xué)生在本教材指定的網(wǎng)盤下載實(shí)踐所需要的素材，如實(shí)踐所需要的數(shù)據(jù)集、圖像、視頻、模型等。第2步：輔導(dǎo)學(xué)生安裝實(shí)踐用的實(shí)踐環(huán)境，主要是Python編程環(huán)境和相關(guān)的庫文件。第3步：讓學(xué)生自己用Python編程實(shí)踐。大部分源代碼都可以從下載的文件中獲取并直接復(fù)制粘貼，少量核心代碼以圖片的形式出現(xiàn)在下載的文件當(dāng)中，需要學(xué)生自己理解并輸入。第4步：老師給出學(xué)生的實(shí)踐成績。老師給出成績的標(biāo)準(zhǔn)建議如下：(1)編程