2023 OWASP機(jī)器學(xué)習(xí)安全風(fēng)險 TOP 10

SPoJamiesonO’ReillyooHaralTsitsivas）：SP當(dāng)攻擊者故意更改輸入數(shù)據(jù)以誤導(dǎo)模型時，就當(dāng)攻擊者操縱訓(xùn)練數(shù)據(jù)導(dǎo)致模型以不良方式運當(dāng)攻擊者對模型進(jìn)行逆向工程以從中提取信息當(dāng)攻擊者操縱模型的訓(xùn)練數(shù)據(jù)以使其行為暴露當(dāng)攻擊者獲得對模型參數(shù)的訪問權(quán)時，就會發(fā)當(dāng)攻擊者修改或替換系統(tǒng)使用的機(jī)器學(xué)習(xí)庫或當(dāng)攻擊者在一個任務(wù)上訓(xùn)練模型，然后在另一個任務(wù)中對其進(jìn)行微調(diào)，導(dǎo)致結(jié)果未按照預(yù)期當(dāng)攻擊者操縱訓(xùn)練數(shù)據(jù)的分布，導(dǎo)致模型以不對使用該模型的系統(tǒng)造成損害，從而修改或操當(dāng)攻擊者操縱模型的參數(shù)使其以不良的方式運SP威脅代理：具有深度學(xué)習(xí)和深度學(xué)習(xí)模型準(zhǔn)確分類圖像圖像分類錯誤，導(dǎo)致安全攻擊向量：故意制作與合法訓(xùn)練深度學(xué)習(xí)模型將圖像分類為不同的類別，例如狗和貓。攻擊者創(chuàng)建了一個與貓的合法圖像非常相似的對抗圖像。該對抗圖像帶有一些精心設(shè)計的小擾動，導(dǎo)致模型將其錯誤分類為狗。訓(xùn)練一個深度學(xué)習(xí)模型來進(jìn)行網(wǎng)絡(luò)入侵檢測。攻擊者通過精心制作數(shù)據(jù)包來創(chuàng)建對抗性網(wǎng)絡(luò)目標(biāo)IP地址或負(fù)載，從而使入侵檢測系統(tǒng)無法檢測到它們。例如，攻擊者可能會將其源IP地址隱藏在代理服務(wù)器后面或加密其網(wǎng)絡(luò)流量的有效負(fù)載。這種類型的攻擊可能會導(dǎo)致數(shù)據(jù)被盜、系防御對抗性攻擊的一種方法是在對抗性示例上訓(xùn)練模型。這可以幫助模型對攻擊另一種方法是使用旨在抵御對抗性攻擊的模型，例如對抗性訓(xùn)練或包含防御機(jī)制輸入驗證是另一個重要的防御機(jī)制，可用于檢測和防止對抗性攻擊。這涉及檢查SP威脅代理人：有權(quán)訪問用于缺乏數(shù)據(jù)驗證和對培訓(xùn)數(shù)據(jù)該模型將基于中毒數(shù)據(jù)做出錯誤的預(yù)測，從而導(dǎo)致錯誤的決策和潛在的嚴(yán)重攻擊向量：攻擊者將惡意數(shù)攻擊者給一款用于將電子郵件分類為垃圾郵件或非垃圾郵件的深度學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)投毒，該模型用于。攻擊者通過侵入網(wǎng)絡(luò)或利用數(shù)據(jù)存儲軟件中的漏洞或其他破壞數(shù)據(jù)存儲系統(tǒng)的方式，將惡意標(biāo)記的垃圾郵件注入訓(xùn)練數(shù)據(jù)集來執(zhí)行此攻擊。攻擊者還可以操縱數(shù)據(jù)標(biāo)記過程，學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)投毒。他們引入了大量網(wǎng)絡(luò)流量示例，這些示例被錯誤地標(biāo)記為不同類型的流量，導(dǎo)致訓(xùn)練模型將此流量分類為錯誤類別。因此當(dāng)部署模型時，模型可能會進(jìn)行錯誤的流量確保訓(xùn)練數(shù)據(jù)在用于訓(xùn)練模型之前得到徹底驗證和確認(rèn)。這可以通過實施數(shù)據(jù)驗SP使用訓(xùn)練期間未使用過的單獨驗證集來驗證模型。這有助于檢測可能影響訓(xùn)練數(shù)使用訓(xùn)練數(shù)據(jù)的不同子集訓(xùn)練多個模型，并使用這些模型的集成來進(jìn)行預(yù)測。因為攻擊者需要破壞多個模型才能實現(xiàn)影響預(yù)測，這給攻擊者加大了難度，從而減使用異常檢測技術(shù)來檢測訓(xùn)練數(shù)據(jù)中的任何異常行為，例如數(shù)據(jù)分布或數(shù)據(jù)標(biāo)簽SP威脅代理：可以訪問模型和模型的輸出可用于推斷有關(guān)有關(guān)輸入數(shù)據(jù)的機(jī)密信息攻擊向量：向模型提交圖像攻擊者訓(xùn)練一款深度學(xué)習(xí)模型來執(zhí)行人臉識別。然后，他們使用該模型對公司使用的不同人臉識別模型進(jìn)行模型反轉(zhuǎn)攻擊。攻擊者將某個人的圖像輸入到模型中，并從模型的預(yù)測中恢復(fù)這在線廣告平臺使用機(jī)器人檢測模型來阻止機(jī)器人執(zhí)行這些操作。為了繞過這類模型，廣告商訓(xùn)練針對機(jī)器人檢測的深度學(xué)習(xí)模型，并使用該模型來反轉(zhuǎn)在線廣告平臺使用的機(jī)器人檢測模型的預(yù)測。廣告商將他們的機(jī)器人輸入到模型中，使機(jī)器人以人類用戶的身份出現(xiàn)，從而能夠繞過機(jī)器此攻擊方式為：廣告商首先訓(xùn)練他們自己的機(jī)器人檢測模型A，然后使用A來逆轉(zhuǎn)在線廣告平臺使用的機(jī)器人檢測模式B的預(yù)測，從而廣告商可以使他們的機(jī)器人看起來像人類用戶，成功SP限制對模型或其預(yù)測的訪問可以防止攻擊者獲得反轉(zhuǎn)模型所需的信息。這可以通驗證模型的輸入可以防止攻擊者提供可用于反轉(zhuǎn)模型的惡意數(shù)據(jù)。這可以通過在使模型及其預(yù)測透明有助于檢測和防止模型反轉(zhuǎn)攻擊。這可以通過記錄所有輸入監(jiān)測模型對異常的預(yù)測有助于檢測和防止模型反轉(zhuǎn)攻擊。這可以通過跟蹤輸入和輸出的分布、將模型的預(yù)測與實際真實數(shù)據(jù)進(jìn)行比較或隨時間的變化監(jiān)測模型的定期對模型進(jìn)行再訓(xùn)練可以有助于防止對“過時”模型的反轉(zhuǎn)攻擊，從而避免信SP有權(quán)訪問數(shù)據(jù)和模型的黑客失去敏感數(shù)據(jù)的機(jī)密性和有惡意或被賄賂干擾數(shù)據(jù)的允許未經(jīng)授權(quán)訪問數(shù)據(jù)的不并使用它來查詢特定個人的記錄是否包含在訓(xùn)練數(shù)據(jù)中來做到這一點。然后，攻擊者可以使用這攻擊者通過在從金融組織獲得的財務(wù)記錄數(shù)據(jù)集上訓(xùn)練機(jī)器學(xué)習(xí)模型來執(zhí)行此攻擊。然后，在隨機(jī)或混合數(shù)據(jù)上訓(xùn)練機(jī)器學(xué)習(xí)模型會使攻擊者更難確定訓(xùn)練數(shù)據(jù)集通過添加隨機(jī)干擾或使用差分隱私技術(shù)來混淆模型的預(yù)測，可以使攻擊L1或L2等正則化技術(shù)有助于防止模型與訓(xùn)練數(shù)據(jù)的過擬合，這會降低SP減少訓(xùn)練數(shù)據(jù)集的大小或刪除冗余或高度相關(guān)的特征有助于減少攻擊者定期測試和監(jiān)控模型的異常行為，可以通過檢測攻擊者何時試圖訪問敏SP威脅代理/攻擊向量：這是指執(zhí)行攻擊的實體，在這種情況下，它是指想要竊取機(jī)模型的不安全部署：模型的不安全部署使攻擊者更容易訪問和竊模型竊取可能既影響用于同時也會影響開發(fā)模型的原公司開發(fā)了一款有競爭優(yōu)勢的機(jī)器學(xué)習(xí)模型，競爭對手雇傭惡意攻擊者為其工作。攻擊者攻擊者通過反匯編二進(jìn)制代碼或訪問模型的訓(xùn)練數(shù)據(jù)和算法，對原公司的機(jī)器學(xué)習(xí)模型進(jìn)行逆向工程來執(zhí)行此攻擊。一旦攻擊者對模型進(jìn)行了逆向工程，攻擊者就可以使用此信息重新創(chuàng)建對模型的代碼、訓(xùn)練數(shù)據(jù)和其他敏感信息進(jìn)行加密，可以防止攻擊者訪實施嚴(yán)格的訪問控制措施，例如雙因素身份驗證，可以防止未經(jīng)授權(quán)的SP在模型的代碼和訓(xùn)練數(shù)據(jù)中添加水印可以追蹤盜竊的來源并追究攻擊者為模型提供法律保護(hù)，例如專利或商業(yè)秘密，可以使攻擊者更難竊取模定期監(jiān)控和審計模型的使用可以通過檢測攻擊者何時試圖訪問或竊取模SP惡意攻擊者修改機(jī)器學(xué)習(xí)項對機(jī)器學(xué)習(xí)項目的損害和惡意攻擊者想要破壞大型組織正在開發(fā)的機(jī)器學(xué)習(xí)項目。攻擊者知道該項目依賴于幾個開源因為受害者可能沒有意識到自己使用的軟件包已經(jīng)損壞，所以在很長一段時間內(nèi)忽視該類型在安裝任何組件包之前，驗證組件包的數(shù)字簽名以確保該安裝組件包沒使用安全的組件包存儲庫，例如Anaconda，該存儲庫執(zhí)行嚴(yán)格的安全使用虛擬環(huán)境將組件包和庫與系統(tǒng)的其余部分隔離開來。這樣可以更容SP定期對項目中使用的所有組件包和庫執(zhí)行代碼審查，以檢測任何惡意代教育開發(fā)人員了解與損壞的組件包攻擊相關(guān)的風(fēng)險以及在安裝前驗證組SP具有機(jī)器學(xué)習(xí)知識和擁有訪問訓(xùn)練數(shù)據(jù)集或預(yù)訓(xùn)練模型缺乏對訓(xùn)練數(shù)據(jù)集和預(yù)訓(xùn)練模型機(jī)器學(xué)習(xí)模型錯誤或產(chǎn)生訓(xùn)練數(shù)據(jù)集中敏感信息泄缺乏對預(yù)訓(xùn)練模型和訓(xùn)練數(shù)據(jù)集攻擊者在包含被操縱的人臉圖像的惡意數(shù)據(jù)集上訓(xùn)練機(jī)器學(xué)習(xí)模型，并想用此攻擊一家安全然后，攻擊者將模型知識遷移到目標(biāo)人臉識別系統(tǒng)。目標(biāo)系統(tǒng)開始使用攻擊者操縱的模型進(jìn)定期監(jiān)控和升級訓(xùn)練數(shù)據(jù)集有助于防止惡意知識從攻擊者的模型轉(zhuǎn)移到使用安全可信的訓(xùn)練數(shù)據(jù)集有助于防止惡意知識從攻擊者的模型轉(zhuǎn)移到SP將訓(xùn)練環(huán)境和部署環(huán)境分開可以防止攻擊者將知識從訓(xùn)練環(huán)境轉(zhuǎn)移到部使用差分隱私有助于保護(hù)訓(xùn)練數(shù)據(jù)集中的個人隱私數(shù)據(jù)，并防止惡意知定期安全審計可以通過識別消除系統(tǒng)中的漏洞來幫助識別和防止遷移學(xué)SP模型偏斜攻擊中的攻擊者可能是惡意個人，也可能是在操縱模型結(jié)果方面第三方既模型無法準(zhǔn)確反映訓(xùn)練數(shù)據(jù)的分布。這可能是由于數(shù)據(jù)偏差、不正確地數(shù)據(jù)采樣或攻擊者操縱數(shù)可能導(dǎo)致基于模型輸出做出錯誤的決策。如果該模型用于醫(yī)學(xué)診斷或刑事司法等關(guān)鍵應(yīng)用，這可能會一家金融機(jī)構(gòu)正在使用機(jī)器學(xué)習(xí)模型來預(yù)測貸款申請人的信用度，該模型的預(yù)測被集成到貸款審批流程中。攻擊者希望增加獲得貸款批準(zhǔn)的機(jī)會，因此他們操縱MLOps（Machine請人過去曾被批準(zhǔn)發(fā)放過貸款，且該反饋用于更新訓(xùn)練模型數(shù)據(jù)。因此，該模型的預(yù)測偏向于攻這種類型的攻擊可能會損害模型的準(zhǔn)確性和公平性，導(dǎo)致預(yù)料之外的后果，并對金融機(jī)構(gòu)及確保只有授權(quán)人員才能訪問MLOps系統(tǒng)及其反饋回路，并記錄和審計使用數(shù)字簽名和校驗和等技術(shù)來驗證系統(tǒng)接收到的反饋數(shù)據(jù)是否真實，在使用反饋數(shù)據(jù)更新訓(xùn)練數(shù)據(jù)之前，先對其進(jìn)行清理和驗證，以最大限SP使用統(tǒng)計和基于機(jī)器學(xué)習(xí)的方法等技術(shù)來檢測和警告反饋數(shù)據(jù)中的異持續(xù)監(jiān)控模型性能，并將其預(yù)測與實際結(jié)果進(jìn)行比較，以檢測任何偏差使用更新和驗證的訓(xùn)練數(shù)據(jù)定期對模型進(jìn)行再訓(xùn)練，以確保其持續(xù)反映SP可以訪問模型輸入和輸出的由于缺乏適當(dāng)?shù)蔫b權(quán)及身份驗證校驗授權(quán)的措施，所以不能確保此風(fēng)險可導(dǎo)致用戶對模型如果模型的預(yù)測結(jié)果被用可能導(dǎo)致經(jīng)濟(jì)損失或名譽(yù)因?qū)δＰ偷妮斎胼敵鋈狈Τ浞值尿炞C及鑒權(quán)，不能防止輸入輸出有權(quán)獲取輸入和輸出并可能篡改輸入和輸出以實現(xiàn)特定如果模型在關(guān)鍵/重要的應(yīng)用場景中使用，如金融詐騙的檢測或網(wǎng)絡(luò)安全場缺少對模型輸入輸出的監(jiān)控及相關(guān)日志的記錄，導(dǎo)致無法檢測出在模型與輸出結(jié)果的接口之間應(yīng)該使用安全的協(xié)議進(jìn)行通信的保護(hù)SP在提供結(jié)果反饋的位置應(yīng)該進(jìn)行輸入?yún)?shù)的檢測以檢查未預(yù)期或被操縱將所有輸入輸出的交互及響應(yīng)結(jié)果進(jìn)行日志記錄及使用防篡改技術(shù)保護(hù)定期監(jiān)視和審計結(jié)果以及模型和接口之間的交互行為可以幫助檢測任何SP擁有知識和資源且?guī)в袗阂獾膫€人或組織操縱深度學(xué)習(xí)對模型的代碼和參數(shù)缺少訪問控模型的預(yù)測可以被人為操可以提取模型中的機(jī)密信具有惡意行為的人員在組織基于模型預(yù)測結(jié)果的決策組織的聲譽(yù)和信譽(yù)會受到有這樣一個場景:銀行正使用機(jī)器學(xué)習(xí)模型來識別支票上的手寫文字以實現(xiàn)自動結(jié)算。該模型在一個手寫文字的大型數(shù)據(jù)集上進(jìn)行了訓(xùn)練，它被設(shè)計成基于特定參數(shù)(如大小、形狀、斜度攻擊者利用神經(jīng)網(wǎng)絡(luò)重編程攻擊可以通過改變模型訓(xùn)練數(shù)據(jù)集里的圖像或直接修改模型中的參數(shù)來操縱模型的參數(shù)。此類攻擊可能導(dǎo)致模型被重新編程以識別不同的字符。例如，攻擊者可攻擊者可以利用此漏洞將偽造的支票引入結(jié)算過程中，由于參數(shù)被惡意操縱，模型將偽造的SP加密技術(shù)可用于保護(hù)模型的參數(shù)和權(quán)重，防止未經(jīng)授權(quán)的訪問或操縱這SP說明0101在考慮成功攻擊的影響時，重要的是要意識到存在兩種影響。首先是在考慮成功攻擊的影響時，重要的是要意識到存在兩種影響。首先是“技術(shù)影響”，對應(yīng)用程序、應(yīng)