2024“AI換臉”威脅研究與安全策略報(bào)告

目錄一“AI換臉”基于“深度偽造”技術(shù) 31“深度偽造”的構(gòu)成 3人臉識(shí)別和關(guān)鍵點(diǎn)檢測(cè) 3圖像視頻合成技術(shù) 3生成對(duì)抗網(wǎng)絡(luò)(GAN) 3增強(qiáng)效果技術(shù) 42、“深度偽造”的危害 4“換臉”視頻和圖像 4合成真人音頻 5偽造文本信息 6二、常見(jiàn)的“深度偽造”欺詐類(lèi)型 81、偽造賬號(hào)造謠傳謠 82、冒充熟人進(jìn)行詐騙 83、偽造身份申請(qǐng)銀行貸款 94、讓“網(wǎng)絡(luò)釣魚(yú)”更加難以識(shí)別 95、冒充他人遠(yuǎn)程面試入職 96、冒名登錄盜走銀行余額 11三、“深度偽造”的產(chǎn)業(yè)鏈 121“深度偽造”欺詐的過(guò)程 122“深度偽造”欺詐上游：虛假圖文與視頻的制作 133“深度偽造”欺詐下游：多個(gè)平臺(tái)多個(gè)方式實(shí)施詐騙 15四、識(shí)別檢測(cè)“深度偽造”的音視頻 171、人的行為與生物識(shí)別 172、設(shè)備與操作識(shí)別 173、技術(shù)識(shí)別與取證 184、社交防范與公眾教育 19五、對(duì)抗“AI換臉”欺詐的安全策略 191、社交媒體場(chǎng)景下的安全策略 192、銀行信貸場(chǎng)景下的安全策略 21六、國(guó)家監(jiān)管與相關(guān)法律法規(guī) 221中國(guó) 222、美國(guó) 233、歐盟 234、澳大利亞 235、國(guó)際組織及會(huì)議 24七、哪些機(jī)構(gòu)需要負(fù)起責(zé)任 241、社交媒體 242、金融機(jī)構(gòu) 253、AI工具提供商 25八、關(guān)于情報(bào)作者 251、頂象業(yè)務(wù)安全情報(bào)簡(jiǎn)介 252、頂象簡(jiǎn)介 26AI換臉”基于“深度偽造”技術(shù)IDp1、“深度偽造”的構(gòu)成人臉識(shí)別和關(guān)鍵點(diǎn)檢測(cè)Eigenfaces、Fisherfaces、LocalBinaryPatterns(LBP，基于子空間的人臉識(shí)別的PrincipalComponentAnalysis(PCALinearDiscriminantAnalysisLDA)DeepFace、FaceNet、Dlib等；關(guān)鍵點(diǎn)檢測(cè)算法包含基于形狀的人臉關(guān)鍵點(diǎn)檢測(cè)的ActiveShapeModelASM)、ConstrainedLocalModel(CLM，基于外觀的人臉關(guān)鍵點(diǎn)檢測(cè)的CascadedShapeRegression(CSR、DeepPose等。圖像/視頻合成技術(shù)圖像/視頻合成技術(shù)將不同的人臉、表情、動(dòng)作等合成到目標(biāo)圖像或視頻中，是“深度偽造”技術(shù)的核心，主要用于將不同的人臉、表情、動(dòng)作等合成到目標(biāo)圖像或視頻中。常用的圖像/視頻合成技術(shù)包括，含基于像素的圖像/視頻合成的PoissonBlending、SeamlessCloning，基于特征的圖像/視頻合成的FaceSwap、DeepFaceLab。生成對(duì)抗網(wǎng)絡(luò)(GAN)(GAN)是一種深度學(xué)習(xí)技術(shù)，可以生成非常逼真的圖像或視頻。GAN由DCGAN、ProGAN、StyleGAN。增強(qiáng)效果技術(shù)WaveNet3DShapefromShadingructurefromMotion等。2、“深度偽造”的危害20241正成為一種新的威脅手段，AI2024年業(yè)務(wù)欺詐風(fēng)險(xiǎn)的五大趨勢(shì)。圖1-1：“AI換臉”技術(shù)上稱(chēng)為“深度偽造”“換臉”視頻和圖像202412億港元。該員工收到一封偽裝成公司總部CFO2億港元至五個(gè)銀行賬戶(hù)。圖1-2：香港“AI換臉”案被騙2億港元23年20萬(wàn)元贖金，還讓針對(duì)留學(xué)生和家屬的“虛擬綁架”詐騙。（900%bandeepfakes%lonuskCuberea）以及流行歌星泰勒·斯威夫特Swift）都因在詐騙視頻中偽造身份而成為受害者。合成真人音頻202311得郭先生信任后，詐騙分子佯裝需要借用郭先生公司的賬戶(hù)走賬，成功騙取了郭先生430萬(wàn)元。圖-3（）301的2022年經(jīng)歷了“深度偽造”的語(yǔ)音欺詐。偽造文本信息為和事例屢見(jiàn)不鮮。不僅危害社會(huì)經(jīng)濟(jì)安全，更關(guān)乎企業(yè)個(gè)人聲譽(yù)以及個(gè)人財(cái)產(chǎn)安全。圖1-4：各種“深度偽造”的虛假信息肆虐二、常見(jiàn)的“深度偽造”欺詐類(lèi)型1、偽造賬號(hào)造謠傳謠（如真實(shí)地址圖2-1：賬號(hào)背后的陌生人2、冒充熟人進(jìn)行詐騙202412202311月內(nèi)蒙古包頭市警方通報(bào)的詐騙案件均屬冒充熟人詐騙。（動(dòng)信賴(lài)后，進(jìn)而對(duì)受害人進(jìn)行財(cái)務(wù)資金、商業(yè)機(jī)密等詐騙。3、偽造身份申請(qǐng)銀行貸款85%。此外，英國(guó)GDG860萬(wàn)人使用虛假或他人的身份來(lái)獲取商品、服務(wù)或信貸。她適合授信0萬(wàn)？還是20%4、讓“網(wǎng)絡(luò)釣魚(yú)”更加難以識(shí)別（隨著技術(shù)的發(fā)展，網(wǎng)絡(luò)釣魚(yú)者也在改變策略，尤其在AI的幫助下，詐騙分子使用“深度偽造”技術(shù)欺騙受害者，讓釣魚(yú)攻擊更加復(fù)雜，攻擊極難檢測(cè)。2023年，深度偽造網(wǎng)絡(luò)釣魚(yú)欺詐事件激增了3,000%。5、冒充他人遠(yuǎn)程面試入職2022年7月，美國(guó)聯(lián)邦調(diào)查局（FBI）發(fā)出警告稱(chēng)，越來(lái)越多的詐騙分子正在使用“深度偽造”技術(shù)在遠(yuǎn)程職位面試中冒充求職者，騙取企業(yè)薪資、盜取企業(yè)的商業(yè)機(jī)密。圖2-2：冒充他人遠(yuǎn)程面試PII（個(gè)人身份信息IT數(shù)據(jù)庫(kù)和/或?qū)Ｓ行畔ⅰ钡让舾袛?shù)據(jù)。聯(lián)邦調(diào)查局還稱(chēng)，該騙局的一些受害者被盜的個(gè)人信息已被用于進(jìn)行遠(yuǎn)程面試工作，并且還曾被用于與其他申請(qǐng)人的個(gè)人資料進(jìn)行就業(yè)前背景調(diào)查。6、冒名登錄盜走銀行余額2024215Group-IBGoldPickaxe”的惡意iOS版本圖2-3：最新發(fā)現(xiàn)的AI病毒“GoldPickaxe”三、“深度偽造”的產(chǎn)業(yè)鏈1、“深度偽造”欺詐的過(guò)程的環(huán)節(jié)中，受害人如果無(wú)法甄別和判斷，很容易在詐騙分子的指示下一步步步入陷阱。第一階段，騙取受害人信任。詐騙分子通過(guò)短信、社交工具、社交媒體、電話等方式，（同事App軟件，可以呼叫轉(zhuǎn)移或攔截銀行的客服電話或電話。第三階段，登錄受害人銀行賬戶(hù)。App登錄受害人的銀行賬戶(hù)，提第四階段，轉(zhuǎn)走受害人銀行余額。將銀行打來(lái)人工訪問(wèn)電話呼叫轉(zhuǎn)移至詐騙分子預(yù)先圖-“深度偽造”質(zhì)量的提高，檢測(cè)是一大難題。不僅肉眼無(wú)法有效識(shí)別，一些常規(guī)的檢測(cè)工具也不能及時(shí)發(fā)現(xiàn)。追溯難。IP地址、虛假的設(shè)備信息，沒(méi)有明需（行“深度偽造”欺詐的渠道和平臺(tái)網(wǎng)絡(luò)進(jìn)行識(shí)別與檢測(cè)（多方面提升數(shù)字賬號(hào)的安全性。這不僅需要技術(shù)對(duì)策，更需要復(fù)雜的心理戰(zhàn)和公眾安全意識(shí)的提升。2、“深度偽造”欺詐上游：虛假圖文與視頻的制作調(diào)查發(fā)現(xiàn)，GitHub（軟件項(xiàng)目托管平臺(tái)，用于托管和管理開(kāi)發(fā)項(xiàng)目的代碼存儲(chǔ)庫(kù)、協(xié)作和版本控制的最大基于Web的平臺(tái)）上，有超過(guò)3000個(gè)與“深度偽造”技術(shù)相關(guān)的的頻道或群組2美元，而需求復(fù)雜的一個(gè)“深度偽造”視頻要100美元起，易用性使得犯罪分子更容易進(jìn)行“深度偽造”欺詐。圖-隨著網(wǎng)絡(luò)犯罪即服務(wù)（Cybercrimeas-a-Service）的出現(xiàn)，由此導(dǎo)致普通人也可以輕松方便地購(gòu)買(mǎi)到“深度偽造”的服務(wù)或技術(shù)。頂象防御云業(yè)務(wù)安全情報(bào)中心分析發(fā)現(xiàn)，創(chuàng)建一個(gè)“深度偽造”視頻涉及如下過(guò)程。第一步，收集數(shù)據(jù)。收集目標(biāo)任務(wù)的大量數(shù)據(jù)，包含多角度的人臉照片、工作信息、生活信息等，其中在公開(kāi)的社交媒體采集到大量圖片、信息和視頻。圖-3第六步，視頻合成。3、“深度偽造”欺詐下游：多個(gè)平臺(tái)多個(gè)方式實(shí)施詐騙2021年，國(guó)內(nèi)首部業(yè)務(wù)安全圖書(shū)《攻守道——企業(yè)數(shù)字業(yè)務(wù)安全風(fēng)險(xiǎn)與防范》認(rèn)為，IP行詐騙時(shí)，會(huì)使用到如下技術(shù)工具。圖3-4：詐騙分子利用各種技術(shù)手段IP。IP地址就是用戶(hù)上網(wǎng)時(shí)的網(wǎng)絡(luò)信息地址。該類(lèi)工具是能夠自動(dòng)調(diào)用全球的動(dòng)IPCookiesIP地址。模擬器。GPS定位就是用戶(hù)使用網(wǎng)絡(luò)服務(wù)時(shí)所處的地理位置信息，利用模擬軟件、第三方工具，就可以改變所在位置的經(jīng)緯度，可以實(shí)現(xiàn)任何地方的瞬間“穿越”。改機(jī)工具。設(shè)備的型號(hào)、串碼、IMEI等具有唯一性，利用改機(jī)工具能夠從系統(tǒng)層面劫1000個(gè)設(shè)備屬性。2023315晚會(huì)”曝光的某公司云控系統(tǒng)就是該工具。四、識(shí)別檢測(cè)“深度偽造”的音視頻1、人的行為與生物識(shí)別在視頻對(duì)話的時(shí)候，可以要求對(duì)方摁鼻子、摁臉觀察其面部變化，如果是真人的在點(diǎn)對(duì)點(diǎn)的溝通中可以問(wèn)一些只有對(duì)方才知道的問(wèn)題，以驗(yàn)證對(duì)方的真實(shí)性。仔細(xì)聆聽(tīng)后會(huì)顯得格外突出。同時(shí)，語(yǔ)音分析軟件可以幫助識(shí)別語(yǔ)音異常。2、設(shè)備與操作識(shí)別數(shù)字簽名和區(qū)塊鏈賬本具有唯一性，可以對(duì)行為來(lái)源跟蹤，并對(duì)其進(jìn)行標(biāo)記以供審查。對(duì)設(shè)備信息、地理位置以及行為操作進(jìn)行比對(duì)識(shí)別，能夠發(fā)現(xiàn)并防范異常操作。IP地址、頻繁更換設(shè)備屬性等出現(xiàn)異?；虿环嫌脩?hù)習(xí)慣的行為，幫助追蹤和識(shí)別欺詐者的活動(dòng)。此外，基于最小權(quán)限原則限制對(duì)敏感系統(tǒng)和賬戶(hù)的訪問(wèn)，確保訪問(wèn)其角色所需的資源，從而減少賬戶(hù)被盜用的潛在影響。圖4-1：頂象全鏈路全景式人臉安全威脅感知方案AI頂象全鏈路全景式人臉安全威脅感知方案（如、屏幕共享等核驗(yàn)，發(fā)現(xiàn)偽造視頻或異常人臉信息后，可自動(dòng)阻斷異?；蚱墼p操作。3、技術(shù)識(shí)別與取證基于深度學(xué)習(xí)的生成對(duì)抗網(wǎng)絡(luò)（GAN）能夠訓(xùn)練一種稱(chēng)之為“鑒別器”神經(jīng)網(wǎng)絡(luò)圖4-2：用AI對(duì)抗“深度偽造”欺詐AI在涉及文件的情況下，自動(dòng)文檔驗(yàn)證系統(tǒng)可以分析文檔是否存在不一致之處，例如字體更改或布局差異。4、社交防范與公眾教育減少或者杜絕在社交媒體上分享賬戶(hù)、家庭家人、交通出行、工作崗位等敏感信持續(xù)對(duì)公眾進(jìn)行“深度偽造”技術(shù)及其相關(guān)風(fēng)險(xiǎn)的教育至關(guān)重要，鼓勵(lì)公眾保持警惕并快速報(bào)告異常情況，也可以顯著提高組織檢測(cè)和響應(yīng)“深度偽造”威脅的能力。技術(shù)在不斷發(fā)展，新的欺詐也在不斷涌現(xiàn)。盡可能隨時(shí)了解AI和“深度偽造”技術(shù)的最新發(fā)展，以相應(yīng)地調(diào)整保障措施。對(duì)AI模型的持續(xù)研究、開(kāi)發(fā)和更新對(duì)于在日益復(fù)雜的“深度偽造”技術(shù)中保持領(lǐng)先地位至關(guān)重要。五、對(duì)抗“AI換臉”欺詐的安全策略1、社交媒體場(chǎng)景下的安全策略社交媒體平臺(tái)上的詐騙分子利用注冊(cè)機(jī)進(jìn)行大規(guī)模自動(dòng)化賬號(hào)注冊(cè)。為了規(guī)避社交平臺(tái)2～31000圖5-1：社交媒體場(chǎng)景下的安全策略頂象防御云業(yè)務(wù)安全情報(bào)中心建首先精準(zhǔn)識(shí)別欺詐賬號(hào)，然后才能有效防范欺詐行為。針對(duì)欺詐賬號(hào)注冊(cè)過(guò)程的檢測(cè)與識(shí)別，建議及時(shí)發(fā)現(xiàn)是否存在刷機(jī)改機(jī)、Root、越獄、hook指令以及模擬器特征等。IP行IP短時(shí)間大量聚集、同一渠道中老設(shè)備型號(hào)占比異常、同一渠道中老操作ID、手機(jī)號(hào)、設(shè)備等維度的黑名單。2、銀行信貸場(chǎng)景下的安全策略圖5-2：金融業(yè)務(wù)場(chǎng)景下的安全策略AI挖掘出潛在風(fēng)險(xiǎn)賬戶(hù)。其次，利用頂象防御云和頂象Dinsight風(fēng)控引擎，構(gòu)建機(jī)器學(xué)習(xí)和規(guī)則導(dǎo)向相結(jié)合的風(fēng)Xintell智能模型平臺(tái)對(duì)隱匿、復(fù)雜的欺詐行為進(jìn)行挖掘。六、國(guó)家監(jiān)管與相關(guān)法律法規(guī)“深度偽造”基于AI，而AI治理攸關(guān)全人類(lèi)命運(yùn)，是世界各國(guó)面臨的共同課題。全球多個(gè)國(guó)家和組織紛紛出臺(tái)倡議或規(guī)范，一致要求加強(qiáng)AI的安全監(jiān)管。1、中國(guó)（1）2023713日，國(guó)家網(wǎng)信辦聯(lián)合國(guó)家有關(guān)部門(mén)公布《生成式人工智能服務(wù)管9月，最高人民法院最高人民檢察院公安部印發(fā)《關(guān)于依法懲治網(wǎng)絡(luò)8條明確規(guī)定，對(duì)“利用‘深度合成’等生成式人工智能技術(shù)發(fā)布違法信息”的情形予以從重處罰。（3）2023101831應(yīng)個(gè)人單獨(dú)同意或者符合法律、行政法規(guī)規(guī)定的其他情形。2、美國(guó)（1）20231030AI生成內(nèi)容和認(rèn)證官方內(nèi)容的標(biāo)準(zhǔn)，從而保護(hù)美國(guó)用戶(hù)免受人工智能欺詐和欺騙。28AI生成的聲音為非AI生成的虛假和錯(cuò)誤信息。3、歐盟（1）2023652（1）2024221日，歐盟人工智能辦公室于成立，標(biāo)志著在歐盟內(nèi)促進(jìn)負(fù)責(zé)任4、澳大利亞7（ASIC）LoweScamwatch報(bào)告的投資詐騙損失呈下降趨勢(shì)。223年400人報(bào)告因在線交易平臺(tái)詐騙損失超過(guò)800萬(wàn)澳元（約合520萬(wàn)美元。副主席卡特里奧娜（Catriona5、國(guó)際組織及會(huì)議（1）2023111日，首屆全球人工智能（AI）安全峰會(huì)上，28國(guó)聯(lián)署關(guān)于人工智潛在有害能力及其可能產(chǎn)生的影響，并提供透明度和問(wèn)責(zé)制。（2）2023年10月30日，七國(guó)集團(tuán)（G7）發(fā)布《開(kāi)發(fā)先進(jìn)人工智能系統(tǒng)組織的國(guó)際行1134年2月7IMLindIn、McAfee、Meta、Microsoft、OpenAI、Snap、X20家世界領(lǐng)先的科技公司宣布，七、哪些機(jī)構(gòu)需要負(fù)起責(zé)任“深度造假”欺詐面向全球肆虐，哪些機(jī)構(gòu)需要負(fù)相關(guān)責(zé)任呢？1、社交媒體（ACCC）FacebookACCC還認(rèn)為，F(xiàn)acebook應(yīng)該作為騙局的從犯承擔(dān)責(zé)任——因?yàn)樵谑盏絾?wèn)題通知后未能及時(shí)刪除FacebookAIFacebook和17項(xiàng)政策。2、金融機(jī)構(gòu)ACCC和其他機(jī)構(gòu)已經(jīng)提出了類(lèi)似計(jì)劃的提案，但現(xiàn)階段還沒(méi)有。3、AI工具提供商AIAI工具提供商企業(yè)確實(shí)有機(jī)會(huì)使用技術(shù)來(lái)減少“深度偽造”的可能性。與銀行和社交媒體平臺(tái)一樣，AI工具提供商可能很快就會(huì)被要求這樣做。例如，最近出臺(tái)的《歐盟人工智能法案》要求AI工具的提供者有義務(wù)以允許檢測(cè)合成/虛假內(nèi)容的方式設(shè)計(jì)這些工具、增加數(shù)字水印、及時(shí)限制用于驗(yàn)證個(gè)人身份的數(shù)字身份證等。AI水印的工作原理是將獨(dú)特的信號(hào)嵌入到人工智能模型的輸出中，此信號(hào)可以是圖像或文本，旨在將內(nèi)容標(biāo)識(shí)為AI生成的內(nèi)容，以幫助他人識(shí)別有效識(shí)別。八、關(guān)于情報(bào)作者1、頂象業(yè)務(wù)安全情報(bào)簡(jiǎn)介30000+風(fēng)險(xiǎn)源，包含來(lái)自對(duì)黑灰產(chǎn)社區(qū)社群、暗網(wǎng)