OWASP LLM人工智能網(wǎng)絡(luò)安全與治理清單（中文版）

LLM人工智能網(wǎng)絡(luò)安全與來自O(shè)WASP的前10名LLM應(yīng)用團(tuán)隊(duì)版本：1.0修訂歷史記錄描述0.12023-11-01桑迪鄧恩0.52023-12-060.92023-02-152024-02-19SD，團(tuán)隊(duì)公開發(fā)布v1.0所有資料僅供一般參考。此文檔包含到其他第三方網(wǎng)站的鏈接。這樣的鏈接只是為了方便，OWASP不推薦或認(rèn)可第三方網(wǎng)站的內(nèi)容。 51.1負(fù)責(zé)任和值得信賴的人工智能 61.2這是給誰做的？ 71.3為什么要列清單？ 71.4不全面 71.5大型語言模型的挑戰(zhàn) 7.61LLM威脅類別 81.7人工智能安全和隱私培訓(xùn) 91.8將LLM的安全和治理與現(xiàn)有的、已建立的實(shí)踐和控制相結(jié)合。91.9基本安全原則 91.10風(fēng)險(xiǎn) 101.11脆弱性和緩解性分類法 102確定LLM策略 112.1部署策略 133檢查表 143.1對(duì)抗性風(fēng)險(xiǎn) 14.23威脅建模 14.33人工智能資產(chǎn)庫存 143.4人工智能安全和隱私培訓(xùn) 153.5建立業(yè)務(wù)案例 153.6治理 163.7法律 17.83監(jiān)管 183.9使用或?qū)崿F(xiàn)大型語言模型解決方案 193.10測(cè)試、評(píng)估、驗(yàn)證和驗(yàn)證（TEVV） 193.11模型卡和風(fēng)險(xiǎn)卡 203.12RAG：大型語言模型優(yōu)化 213.13AI紅色團(tuán)隊(duì) 214資源 22一個(gè)團(tuán)隊(duì) 32概述每一個(gè)互聯(lián)網(wǎng)用戶和公司都應(yīng)該為即將到來的強(qiáng)大的生成式人工智能（GenAI）應(yīng)用程序浪潮做好準(zhǔn)備。GenAI在各種行業(yè)的創(chuàng)新、效率和商業(yè)成功方面有著巨大的前景。盡管如此，就像任何強(qiáng)大的早期技術(shù)一樣，它也帶來了一系列明顯而意想不到的挑戰(zhàn)。人工智能在過去的50年里取得了巨大的進(jìn)步，在ChatGPT的公開亮相推動(dòng)了大型語言模型（LLMs）的開發(fā)和使用之前，它并不顯著地支持了各種企業(yè)流程。最初，這些技術(shù)僅限于學(xué)術(shù)研究或在公司內(nèi)執(zhí)行某些但至關(guān)重要的活動(dòng)，只有少數(shù)人能看到。然而，最近在數(shù)據(jù)可用性、計(jì)算機(jī)能力、GenAI能力方面的進(jìn)展，以及美洲羊駝2、高級(jí)實(shí)驗(yàn)室和中途實(shí)驗(yàn)室等工具的發(fā)布，已經(jīng)使人工智能從一個(gè)利基市場(chǎng)成為普遍的廣泛接受度。這些改進(jìn)不僅使GenAI技術(shù)更容易獲得，而且還強(qiáng)調(diào)了企業(yè)迫切需要制定堅(jiān)實(shí)的戰(zhàn)略來整合和開發(fā)人工智能，這意味著我們?cè)谑褂眉夹g(shù)方面向前邁出了一大步。?人工智能（AI）是一個(gè)廣泛的術(shù)語，涵蓋了計(jì)算機(jī)科學(xué)的所有領(lǐng)域，使機(jī)器能夠完成通常需要人類智能的任務(wù)。機(jī)器學(xué)習(xí)和生成式人工智能是人工智能的兩個(gè)子類。?機(jī)器學(xué)習(xí)是人工智能的一個(gè)子集，它專注于創(chuàng)建可以從數(shù)據(jù)中學(xué)習(xí)的算法。機(jī)器學(xué)習(xí)算法在一組數(shù)據(jù)上進(jìn)行訓(xùn)練，然后它們可以利用這些數(shù)據(jù)對(duì)新數(shù)據(jù)做出預(yù)測(cè)或決定。?生成式人工智能是一種專注于創(chuàng)建新數(shù)據(jù)的機(jī)器學(xué)習(xí)類型。?大型語言模型（LLM）是一種處理和生成類人文本的人工智能模型。在人工智能的背景下，“模型”指的是一個(gè)經(jīng)過訓(xùn)練后根據(jù)輸入數(shù)據(jù)進(jìn)行預(yù)測(cè)的系統(tǒng)。llm是專門在自然語言的大數(shù)據(jù)集和名稱大語言模型上進(jìn)行訓(xùn)練的。組織正在確保和監(jiān)督GenAI解決方案方面進(jìn)入未知的領(lǐng)域。GenAI的快速發(fā)展也為對(duì)手增強(qiáng)其攻擊戰(zhàn)略打開了大門，引入了防御和威脅升級(jí)的雙重挑戰(zhàn)。企業(yè)在許多領(lǐng)域使用人工智能，包括人力資源用于招聘、電子郵件垃圾郵件篩選、SIEM用于行為分析,以及管理檢測(cè)和響應(yīng)應(yīng)用程序。然而，本文檔的主要重點(diǎn)是大型語言模型應(yīng)用程序及其在創(chuàng)建生成內(nèi)容時(shí)的功能。隨著人工智能的挑戰(zhàn)和好處的出現(xiàn)——以及法規(guī)和法律的通過——負(fù)責(zé)任和值得信賴的人工智能使用的原則和支柱正在從理想主義的對(duì)象和關(guān)注發(fā)展到既定的標(biāo)準(zhǔn)。OWASP人工智能交換工作組正在監(jiān)測(cè)這些變化，并解決針對(duì)人工智能的各個(gè)方面的更廣泛、更具挑戰(zhàn)性的考慮。圖1.1：圖像描述了值得信賴的人工智能的支柱OWASPLLM應(yīng)用網(wǎng)絡(luò)安全和治理十大清單是針對(duì)行政、技術(shù)、網(wǎng)絡(luò)安全、隱私、合規(guī)和法律領(lǐng)域的領(lǐng)導(dǎo)者、DevSecOps、MLSecOps、網(wǎng)絡(luò)安全團(tuán)隊(duì)和安全捍衛(wèi)者。它的目標(biāo)是那些努力在快速發(fā)展的人工智能世界中保持領(lǐng)先地位的人，不僅是利用人工智能實(shí)現(xiàn)企業(yè)的成功，而且是防止倉促或不安全的人工智能實(shí)現(xiàn)的風(fēng)險(xiǎn)。這些領(lǐng)導(dǎo)者和團(tuán)隊(duì)必須創(chuàng)造策略來抓住機(jī)會(huì)、應(yīng)對(duì)挑戰(zhàn)和降低風(fēng)險(xiǎn)。該清單旨在幫助這些技術(shù)和業(yè)務(wù)領(lǐng)袖快速理解使用LLM的風(fēng)險(xiǎn)和好處，允許他們?cè)陂_發(fā)大型語言模型策略時(shí)，專注于開發(fā)保護(hù)和保護(hù)組織所需的關(guān)鍵領(lǐng)域和任務(wù)的全面列表。LLM應(yīng)用團(tuán)隊(duì)的OWASP前10名希望這個(gè)列表將幫助組織改進(jìn)他們現(xiàn)有的防御技術(shù)，并開發(fā)技術(shù)來解決使用這一令人興奮的技術(shù)帶來的新威脅。用于制定策略的檢查表可以提高準(zhǔn)確性，定義目標(biāo)，保持一致性，并促進(jìn)重點(diǎn)集中的慎重工作，減少疏忽和遺漏的細(xì)節(jié)。遵循檢查清單不僅增加了在安全采用過程中的信任，而且還通過提供一個(gè)簡(jiǎn)單而有效的持續(xù)改進(jìn)策略來鼓勵(lì)未來組織的創(chuàng)新。雖然本文件旨在支持各組織在快速變化的技術(shù)、法律和監(jiān)管環(huán)境中制定最初的LLM戰(zhàn)略，但它并不是詳盡無遺的，也沒有涵蓋所有的用例或義務(wù)。在使用本文件時(shí)，組織應(yīng)根據(jù)其用例或管轄權(quán)的要求將評(píng)估和做法超出所提供的清單的范圍。大型語言模型面臨著幾個(gè)嚴(yán)重而獨(dú)特的問題。其中最重要的一點(diǎn)是，在使用llm時(shí)，控制平面和數(shù)據(jù)平面不能嚴(yán)格隔離或可分離。另一個(gè)重要的挑戰(zhàn)是，llm在設(shè)計(jì)上是不確定性的，在提示或請(qǐng)求時(shí)產(chǎn)生不同的結(jié)果。llm采用語義搜索而不是關(guān)鍵字搜索。兩者之間的關(guān)鍵區(qū)別是，模型的算法在其響應(yīng)中對(duì)術(shù)語進(jìn)行了優(yōu)先排序。這與消費(fèi)者以前使用技術(shù)的方式有重大不同，并對(duì)研究結(jié)果的一致性和可靠性有影響。該方法的結(jié)果是，從模型所訓(xùn)練的數(shù)據(jù)中的差距和訓(xùn)練缺陷中出現(xiàn)的幻覺。有一些方法可以提高可靠性，減少越獄、模型欺騙和幻覺的攻擊表面，但在成本和功能上，限制和效用之間存在權(quán)衡。LLM的使用和LLM的應(yīng)用程序增加了組織的攻擊面。相關(guān)的一些風(fēng)險(xiǎn)使用llm是獨(dú)一無二的，但也有許多是熟悉的問題，如已知的軟件材料清單（SBoM）、供應(yīng)鏈、數(shù)據(jù)丟失保護(hù)（DLP）和授權(quán)訪問。與GenAI沒有直接關(guān)系的風(fēng)險(xiǎn)也被增加了，但GenAI提高了攻擊和威脅組織的攻擊者的效率、能力和有效性。對(duì)手正越來越多地利用LLM和生成式人工智能工具來改進(jìn)和加快攻擊組織、個(gè)人和政府系統(tǒng)的傳統(tǒng)方法。LLM促進(jìn)了他們?cè)鰪?qiáng)技術(shù)的能力，使他們能夠毫不費(fèi)力地制造新的惡意軟件，可能嵌入新的零日漏洞或設(shè)計(jì)來逃避檢測(cè)。它們還可以生成復(fù)雜的、獨(dú)特的、或量身定制的網(wǎng)絡(luò)釣魚方案。令人信服的深度造假作品的創(chuàng)造，無論是視頻還是音頻，都進(jìn)一步促進(jìn)了他們的社會(huì)工程策略。此外，這些工具使他們能夠執(zhí)行入侵和開發(fā)創(chuàng)新的黑客能力。在未來，犯罪行為者對(duì)人工智能技術(shù)的更多“量身定制”和復(fù)合使用將需要為組織適當(dāng)?shù)姆烙突謴?fù)能力提供具體的反應(yīng)和專門的解決方案。組織還面臨著不利用llm能力的威脅，如競(jìng)爭(zhēng)劣勢(shì)、客戶和合作伙伴的市場(chǎng)感知過時(shí)、無法擴(kuò)大個(gè)性化通信規(guī)模、創(chuàng)新停滯、運(yùn)營(yíng)效率低下、流程中人為錯(cuò)誤的風(fēng)險(xiǎn)較高以及人力資源分配效率低下。理解不同類型的威脅并將它們與業(yè)務(wù)策略集成，將有助于權(quán)衡使用大型語言模型（llm）和不使用它們的利弊，以確保它們加速而不是阻礙業(yè)務(wù)實(shí)現(xiàn)業(yè)務(wù)目標(biāo)。圖1.2：描述人工智能威脅類型的圖像整個(gè)組織的員工都受益于理解人工智能、生成式人工智能以及構(gòu)建、購買或使用llm的未來潛在后果的培訓(xùn)。允許使用和安全意識(shí)的培訓(xùn)應(yīng)針對(duì)所有員工，并針對(duì)某些職位更專業(yè)，如人力資源、法律、開發(fā)人員、數(shù)據(jù)團(tuán)隊(duì)和安全團(tuán)隊(duì)。合理使用政策和健康的互動(dòng)是關(guān)鍵方面，如果從一開始就納入，將成為未來人工智能網(wǎng)絡(luò)安全意識(shí)運(yùn)動(dòng)成功的基石。這將必然為用戶提供交互的基本規(guī)則的知識(shí)，以及將良好行為與不良或不道德行為分開的能力。雖然人工智能和生成的人工智能為網(wǎng)絡(luò)安全、彈性、隱私以及滿足法律和監(jiān)管要求，增加了一個(gè)新的維度，但已經(jīng)存在了很長(zhǎng)一段時(shí)間的最佳實(shí)踐仍然是識(shí)別問題、發(fā)現(xiàn)漏洞、修復(fù)它們和減輕潛在安全問題的最佳方法。?確認(rèn)人工智能系統(tǒng)的管理與現(xiàn)有的組織實(shí)踐相結(jié)合。?確認(rèn)AIML系統(tǒng)遵循現(xiàn)有的隱私、治理和安全實(shí)踐，并在需要時(shí)實(shí)現(xiàn)特定于人工智能的隱私、治理和安全實(shí)踐。LLM功能引入了一種不同類型的攻擊面和攻擊面。llm很容易受到復(fù)雜的業(yè)務(wù)邏輯錯(cuò)誤的影響，如提示注入、不安全的插件設(shè)計(jì)和遠(yuǎn)程代碼執(zhí)行?，F(xiàn)有的最佳實(shí)踐是解決這些問題的最佳方法。了解安全軟件審查、架構(gòu)、數(shù)據(jù)治理和第三方評(píng)估的內(nèi)部產(chǎn)品安全團(tuán)隊(duì)網(wǎng)絡(luò)安全團(tuán)隊(duì)還應(yīng)該檢查當(dāng)前控制的強(qiáng)度,以發(fā)現(xiàn)LLM可能導(dǎo)致更嚴(yán)重的問題，如語音克隆、模擬或繞過驗(yàn)證碼。鑒于最近在機(jī)器學(xué)習(xí)、NLP(自然語言處理）、NLU（自然語言理解）、深度學(xué)習(xí)以及最近的llm（大型語言模型）和生成型人工智能方面的進(jìn)展，建議包括精通這些領(lǐng)域的專業(yè)人員以及網(wǎng)絡(luò)安全和開發(fā)團(tuán)隊(duì)。它們的專業(yè)知識(shí)不僅有助于采用這些技術(shù)，而且有助于開發(fā)創(chuàng)新分析和應(yīng)對(duì)新出現(xiàn)的挑戰(zhàn)。參考風(fēng)險(xiǎn)使用ISO31000的定義：風(fēng)險(xiǎn)=“不確定性對(duì)目標(biāo)的影響”。清單中的LLM風(fēng)險(xiǎn)包括針對(duì)LLM風(fēng)險(xiǎn)列表，涉及對(duì)抗、安全、法律、監(jiān)管、聲譽(yù)、財(cái)務(wù)和競(jìng)爭(zhēng)風(fēng)險(xiǎn)。目前用于進(jìn)行漏洞分類和共享威脅信息的系統(tǒng)，如OVAL、STIX、CVE和CWE，仍在發(fā)展監(jiān)控和提醒防御者關(guān)于特定于大型語言模型（llm）和預(yù)測(cè)模型的漏洞和威脅的能力。當(dāng)對(duì)AI/ML系統(tǒng)及其供應(yīng)鏈的漏洞或威脅被識(shí)別時(shí)，預(yù)計(jì)組織將依賴這些已建立和公認(rèn)的標(biāo)準(zhǔn)，如用于漏洞分類的CVE和用于網(wǎng)絡(luò)威脅情報(bào)（CTI）交換的STIX。確定LLM策略大型語言模型（LLM）應(yīng)用程序的快速擴(kuò)展提高了對(duì)業(yè)務(wù)操作中使用的所有AI/ML系統(tǒng)的關(guān)注和檢查，包括生成AI和長(zhǎng)期建立的預(yù)測(cè)AI/ML系統(tǒng)。這種增加的關(guān)注暴露了潛在的風(fēng)險(xiǎn)，比如攻擊者攻擊以前被忽視的系統(tǒng)，以及在法律、隱私、責(zé)任或保證問題方面可能被忽視的治理或法律挑戰(zhàn)。對(duì)于任何在運(yùn)營(yíng)中利用AI/ML系統(tǒng)的組織來說，評(píng)估和建立全面的政策、治理、安全協(xié)議、隱私措施和問責(zé)標(biāo)準(zhǔn)都至關(guān)重要，以確保這些技術(shù)安全、道德地與業(yè)務(wù)流程一致。攻擊者，或?qū)κ?，向企業(yè)、人民和政府機(jī)構(gòu)提供最直接和最有害的威脅。他們的目標(biāo)，從經(jīng)濟(jì)利益到間諜活動(dòng)，促使他們竊取關(guān)鍵信息，破壞行動(dòng)，破壞信心。此外，他們利用人工智能和機(jī)器學(xué)習(xí)等新技術(shù)的能力提高了攻擊的速度和復(fù)雜性，使得防御系統(tǒng)很難保持在攻擊的前面。對(duì)許多組織來說，最緊迫的非對(duì)手LLM威脅來自“影子AI”：?jiǎn)T工使用未經(jīng)批準(zhǔn)的在線人工智能工具、不安全的瀏覽器插件，以及通過更新或升級(jí)引入LLM功能的第三方應(yīng)用程序，繞過了標(biāo)準(zhǔn)的軟件審批程序。圖2.1：針對(duì)部署策略的選項(xiàng)的圖像其范圍從利用公共消費(fèi)者應(yīng)用程序到對(duì)私有數(shù)據(jù)訓(xùn)練專有模型。用例敏感性、所需功能和可用資源等因素有助于確定方便與方便之間的正確平衡。統(tǒng)治然而，理解這五種模型類型為評(píng)估選項(xiàng)提供了一個(gè)框架。圖2.2：針對(duì)部署類型的選項(xiàng)的映像檢查表對(duì)抗性風(fēng)險(xiǎn)包括競(jìng)爭(zhēng)對(duì)手和攻擊者。□仔細(xì)研究了競(jìng)爭(zhēng)對(duì)手是如何投資于人工智能的。盡管采用人工智能存在風(fēng)險(xiǎn)，但也有商業(yè)利益，可能會(huì)影響未來的市場(chǎng)地位?！跽{(diào)查當(dāng)前控制的影響，如密碼重置，它使用語音識(shí)別，可能不再提供適當(dāng)?shù)姆烙踩?，從新的GenAI增強(qiáng)攻擊。□將更新GenAI增強(qiáng)型攻擊和AIML特定事件的事件響應(yīng)計(jì)劃和劇本。強(qiáng)烈建議使用威脅建模來識(shí)別威脅和檢查過程和安全防御。威脅建模是一組系統(tǒng)的、可重復(fù)的過程，它能夠?yàn)閼?yīng)用程序、軟件和系統(tǒng)做出合理的安全決策。對(duì)GenAI加速攻擊和在部署llm之前進(jìn)行威脅建模是識(shí)別和減輕風(fēng)險(xiǎn)、保護(hù)數(shù)據(jù)、保護(hù)隱私以及確保業(yè)務(wù)內(nèi)安全、兼容的集成的最經(jīng)濟(jì)有效的方法?！豕粽呷绾渭铀賹?duì)組織、員工、高管或用戶的攻擊攻擊？組織應(yīng)該使用生成式人工智能來預(yù)測(cè)大規(guī)模的“超個(gè)性化”攻擊。llm輔助的矛釣魚攻擊現(xiàn)在指數(shù)更有效，有針對(duì)性，和武器攻擊?！跞绾问褂肎enAI通過欺騙或GenAI生成的內(nèi)容來攻擊企業(yè)的客戶或客戶？□業(yè)務(wù)是否可以檢測(cè)和中和對(duì)LLM解決方案的有害或惡意輸入或查詢？□業(yè)務(wù)是否可以在所有LLM信任邊界上通過安全集成來維護(hù)與現(xiàn)有系統(tǒng)和數(shù)據(jù)庫的連接？□業(yè)務(wù)是否有緩解內(nèi)部威脅，以防止授權(quán)用戶濫用？□該業(yè)務(wù)是否可以防止未經(jīng)授權(quán)的訪問專有模型或數(shù)據(jù)，以保護(hù)知識(shí)產(chǎn)權(quán)？□該業(yè)務(wù)是否可以通過自動(dòng)的內(nèi)容過濾來防止產(chǎn)生有害的或不適當(dāng)?shù)膬?nèi)容？人工智能資產(chǎn)清單應(yīng)同時(shí)適用于內(nèi)部開發(fā)和外部或第三方開發(fā)的解決方案?！跄夸洶ìF(xiàn)有的AI服務(wù)、工具和所有者。在資產(chǎn)管理中為特定的庫存指定一個(gè)標(biāo)簽。□在軟件材料清單（SBOM）中包括AI組件，這是一個(gè)與應(yīng)用程序相關(guān)的所有軟件組件、依賴項(xiàng)和元數(shù)據(jù)的全面列表?！跄夸汚I數(shù)據(jù)源和數(shù)據(jù)的敏感性（受保護(hù)、機(jī)密、公開）□確定是否需要對(duì)已部署的人工智能解決方案進(jìn)行筆式測(cè)試或紅色組合，以確定當(dāng)前的攻擊面風(fēng)險(xiǎn)?！鮿?chuàng)建一個(gè)AI解決方案的入職流程。□根據(jù)SBoM的要求，確保內(nèi)部或外部都有熟練的IT管理人員?！醴e極與員工接觸，了解并解決LLM計(jì)劃中的問題?！踅⒁环N開放、透明的溝通文化，關(guān)于組織在組織流程、系統(tǒng)、員工管理和支持以及客戶參與中使用預(yù)測(cè)性或生成式人工智能，以及如何管理、管理和解決風(fēng)險(xiǎn)?！鯇?duì)所有用戶進(jìn)行道德、責(zé)任和法律問題的培訓(xùn)，如保證、許可和版權(quán)?！醺掳踩庾R(shí)培訓(xùn)，以包括與GenAI相關(guān)的威脅。語音克隆和圖像克隆，以及預(yù)期增加的魚叉式網(wǎng)絡(luò)釣魚攻擊□任何采用的GenAI解決方案都應(yīng)該包括對(duì)部署管道的devop和網(wǎng)絡(luò)安全的培訓(xùn)，以確保人工智能的安全和安全保證?？煽康臉I(yè)務(wù)案例對(duì)于確定任何擬議的人工智能解決方案的業(yè)務(wù)價(jià)值、平衡風(fēng)險(xiǎn)和收益以及評(píng)估和測(cè)試投資回報(bào)至關(guān)重要。有大量的潛在用例；本文提供了幾個(gè)例子?！踉鰪?qiáng)客戶體驗(yàn)□具有更好的操作效率□更好的知識(shí)管理□增強(qiáng)創(chuàng)新□市場(chǎng)研究和競(jìng)爭(zhēng)對(duì)手分析□文檔的創(chuàng)建、翻譯、總結(jié)和分析LLM中的公司治理需要為組織提供透明度和問責(zé)制。識(shí)別潛在熟悉該技術(shù)或業(yè)務(wù)選定用例的人工智能平臺(tái)或流程所有者不僅是必要的，而且是必要的，以確保足夠的反應(yīng)速度，以防止對(duì)建立良好的企業(yè)數(shù)字流程造成附帶損害?！踅⒔M織的AIRACI圖表（誰負(fù)責(zé)，誰負(fù)責(zé)，應(yīng)該咨詢誰，應(yīng)該通知誰）□記錄并分配組織內(nèi)的AI風(fēng)險(xiǎn)、風(fēng)險(xiǎn)評(píng)估和治理責(zé)任。□建立關(guān)于數(shù)據(jù)分類和使用限制的數(shù)據(jù)管理策略，包括技術(shù)強(qiáng)制執(zhí)行。模型應(yīng)該只利用為系統(tǒng)中任何用戶的最低訪問級(jí)別而分類的數(shù)據(jù)。例如，更新數(shù)據(jù)保護(hù)策略，強(qiáng)調(diào)不將受保護(hù)或機(jī)密數(shù)據(jù)輸入到非業(yè)務(wù)管理的工具中?！鮿?chuàng)建一個(gè)由既定政策支持的AI政策(e。g.,良好行為、數(shù)據(jù)保護(hù)、軟件使用的標(biāo)準(zhǔn))□為各種生成式人工智能工具發(fā)布一個(gè)可接受的使用矩陣，供員工使用。□記錄組織從生成的LLM模型中使用的任何數(shù)據(jù)的來源和管理。人工智能的許多法律影響都是不明確的，而且可能代價(jià)非常高昂。IT、安全和法律合作伙伴關(guān)系對(duì)于識(shí)別差距和解決模糊的決策至關(guān)重要?！醮_認(rèn)產(chǎn)品開發(fā)流程中明確產(chǎn)品保修，指定誰負(fù)責(zé)AI的產(chǎn)品保修。□審查和更新任何GenAI考慮因素的現(xiàn)有條款和條件。□審查AIEULA協(xié)議。GenAI平臺(tái)的終端用戶許可協(xié)議在處理用戶提示、輸出權(quán)利和所有權(quán)、數(shù)據(jù)隱私、遵從性、責(zé)任、隱私以及如何使用輸出的限制方面有很大的不同。□組織為客戶提供的EULA，修改最終用戶協(xié)議，以防止該組織通過人工智能生成的內(nèi)容承擔(dān)與剽竊、偏見傳播或侵犯知識(shí)產(chǎn)權(quán)相關(guān)的責(zé)任?！趸仡櫫擞糜诖a開發(fā)的現(xiàn)有ai輔助工具。如果使用聊天機(jī)器人為產(chǎn)品生成代碼，那么聊天機(jī)器人編寫代碼的能力可能會(huì)威脅到公司對(duì)其產(chǎn)品的所有權(quán)。例如，它可能會(huì)對(duì)生成內(nèi)容的狀態(tài)和保護(hù)以及誰擁有使用生成內(nèi)容的權(quán)利提出質(zhì)疑?！鯇彶閷?duì)知識(shí)產(chǎn)權(quán)造成的任何風(fēng)險(xiǎn)。如果在生成過程中使用不當(dāng)獲取的數(shù)據(jù)，聊天機(jī)器人生成的知識(shí)產(chǎn)權(quán)可能會(huì)受到威脅，而在生成過程中受到版權(quán)、商標(biāo)或?qū)＠Ｗo(hù)。如果人工智能產(chǎn)品使用侵權(quán)材料，就會(huì)給人工智能的輸出帶來風(fēng)險(xiǎn)，這可能導(dǎo)致知識(shí)產(chǎn)權(quán)侵權(quán)?！鯇彶槿魏螏в匈r償條款的合同。賠償條款試圖將導(dǎo)致責(zé)任的事件的責(zé)任推給有更多過錯(cuò)的人或最有機(jī)會(huì)阻止它的人。建立護(hù)欄，以確定人工智能的提供者或其用戶造成了事件，從而導(dǎo)致責(zé)任。□審查由人工智能系統(tǒng)造成的潛在傷害和財(cái)產(chǎn)損失的責(zé)任?！鯇彶楸ｋU(xiǎn)范圍。傳統(tǒng)的（D&O）責(zé)任險(xiǎn)和商業(yè)一般責(zé)任險(xiǎn)可能不足以充分保護(hù)人工智能的使用?！醮_定任何版權(quán)問題。版權(quán)需要擁有人類的作者身份。如果LLM工具被濫用，一個(gè)組織還可能對(duì)剽竊、偏見的傳播或知識(shí)產(chǎn)權(quán)侵權(quán)承擔(dān)責(zé)任。□確保為承包商達(dá)成協(xié)議，并在任何開發(fā)或提供的服務(wù)中適當(dāng)使用人工智能?！跸拗苹蚪箚T工或承包商使用生成式人工智能工具，或涉及知識(shí)產(chǎn)權(quán)侵犯。用于員工管理或招聘的□評(píng)估和人工智能解決方案可能會(huì)導(dǎo)致不同的治療索賠或不同的影響索賠。□確保AI解決方案未經(jīng)適當(dāng)同意或授權(quán)，不會(huì)收集或共享敏感信息?！稓W盟人工智能法案》預(yù)計(jì)將成為第一個(gè)全面的人工智能法案，但最早將于2025年適用。EUs通用數(shù)據(jù)保護(hù)條例（GDPR）并沒有專門針對(duì)人工智能，但包括了數(shù)據(jù)收集、數(shù)據(jù)安全、公平性和透明度、準(zhǔn)確性和可靠性以及問責(zé)制等規(guī)則，這些規(guī)則可能會(huì)影響GenAI的使用。在美國(guó)，人工智能法規(guī)被納入了更廣泛的消費(fèi)者隱私法。美國(guó)已有10個(gè)州通過或有將到2023年底生效的法律。聯(lián)邦組織，如美國(guó)平等就業(yè)機(jī)會(huì)委員會(huì)（EEOC）、消費(fèi)者金融保護(hù)局（CFPB）、聯(lián)邦貿(mào)易委員會(huì)（FTC)和美國(guó)司法部民權(quán)司（DOJ），正在密切關(guān)注招聘的公平性。□確定國(guó)家、州或其他政府特定的AI合規(guī)要求?！醮_定了限制對(duì)員工和與就業(yè)相關(guān)的自動(dòng)化決策系統(tǒng)的電子監(jiān)控的合規(guī)要求（佛蒙特州、加利福尼亞州、馬里蘭州、紐約州、新澤西州）□確定面部識(shí)別和人工智能視頻分析的符合性要求（伊利諾斯州、馬里蘭州、華盛頓州、佛蒙特州)□審查任何正在使用或被考慮為員工招聘或管理而使用的人工智能工具。□確認(rèn)供應(yīng)商遵守適用的人工智能法律和最佳實(shí)踐?！踉谡衅高^程中詢問并記錄任何使用人工智能的產(chǎn)品。詢問模型是如何訓(xùn)練的，是如何監(jiān)控的，并跟蹤以避免歧視和偏見。□詢問并記錄包括哪些住宿選項(xiàng)。□詢問并記錄供應(yīng)商是否收集機(jī)密數(shù)據(jù)?！踉儐柟?yīng)商或工具如何存儲(chǔ)和刪除數(shù)據(jù)，并管理面部識(shí)別和視頻分析工具的使用。□審查可能提出合規(guī)問題的其他特定于組織的法規(guī)要求。例如，1974年的《雇員退休收入保障法》就對(duì)聊天機(jī)器人可能無法滿足的退休計(jì)劃提出了受托責(zé)任要求?！跬{模型LLM組件和體系結(jié)構(gòu)信任邊界。□數(shù)據(jù)安全，驗(yàn)證數(shù)據(jù)是如何基于敏感性進(jìn)行分類和保護(hù)的，包括個(gè)人和專有業(yè)務(wù)數(shù)據(jù)。（如何管理用戶權(quán)限，以及有哪些保障措施？）□訪問控制，實(shí)施最小特權(quán)訪問控制和實(shí)施深度防御措施□培訓(xùn)管道安全，需要對(duì)訓(xùn)練數(shù)據(jù)治理、管道、模型和算法進(jìn)行嚴(yán)格的控制?！踺斎牒洼敵霭踩?，評(píng)估輸入驗(yàn)證方法，以及如何過濾、消毒和批準(zhǔn)輸出?！醣O(jiān)控和響應(yīng)、映射工作流、監(jiān)控和響應(yīng)，以理解自動(dòng)化、日志記錄和審計(jì)。確認(rèn)審計(jì)記錄是安全□包括應(yīng)用程序測(cè)試、源代碼審查、漏洞評(píng)估和生產(chǎn)發(fā)布過程中的紅色團(tuán)隊(duì)合作?！鯔z查L(zhǎng)LM模型或供應(yīng)鏈中的現(xiàn)有漏洞。□研究威脅和攻擊對(duì)LLM解決方案的影響，如及時(shí)注入、敏感信息的釋放和過程操作?！跽{(diào)查攻擊和威脅對(duì)LLM模型的影響，包括模型中毒、不正確的數(shù)據(jù)處理、供應(yīng)鏈攻擊和模型盜竊?！豕?yīng)鏈安全，要求第三方審計(jì)，滲透測(cè)試，和代碼審查的第三方供應(yīng)商。（最初和持續(xù)）□基礎(chǔ)設(shè)施安全，詢問供應(yīng)商執(zhí)行彈性測(cè)試的頻率如何？它們的sla在可用性、可伸縮性和性能方面是什么？□更新事件響應(yīng)劇本，并在桌面練習(xí)中包括一個(gè)LLM事件?！踝R(shí)別或擴(kuò)展指標(biāo)，以將生成式網(wǎng)絡(luò)安全人工智能與其他方法為基準(zhǔn)，以衡量預(yù)期的生產(chǎn)力提高。NISTAI框架建議在整個(gè)人工智能生命周期中進(jìn)行持續(xù)的TEVV過程，其中包括人工智能系統(tǒng)操作員、領(lǐng)域?qū)＜?、人工智能設(shè)計(jì)人員、用戶、產(chǎn)品開發(fā)人員、評(píng)估人員和審計(jì)人員。TEVV包括一系列的任務(wù)，如系統(tǒng)驗(yàn)證、集成、測(cè)試、重新校準(zhǔn)，以及持續(xù)監(jiān)測(cè)定期更新，以導(dǎo)航人工智能系統(tǒng)的風(fēng)險(xiǎn)和變化?！踉谡麄€(gè)AI模型的生命周期中建立持續(xù)的測(cè)試、評(píng)估、驗(yàn)證和驗(yàn)證。□提供關(guān)于人工智能模型功能、安全性、可靠性和健壯性的定期執(zhí)行指標(biāo)和更新。模型卡和風(fēng)險(xiǎn)卡是增加大型語言模型（llm）的透明度、問責(zé)性和道德部署的基本要素。模型卡通過提供有關(guān)人工智能設(shè)計(jì)、能力和約束的標(biāo)準(zhǔn)化文檔，幫助用戶理解和信任人工智能系統(tǒng)，使他們進(jìn)行良好和安全的應(yīng)用程序。風(fēng)險(xiǎn)卡通過公開解決潛在的負(fù)面后果，如偏見、隱私問題和安全漏洞來補(bǔ)充這一點(diǎn)，這鼓勵(lì)人們采取積極主動(dòng)的方法來預(yù)防危害。這些文件對(duì)于開發(fā)者、用戶、監(jiān)管機(jī)構(gòu)和倫理學(xué)家同樣至關(guān)重要，因?yàn)樗鼈兘⒘艘环N協(xié)作氛圍，在此氛圍中，人工智能的社會(huì)影響會(huì)被仔細(xì)地處理和處理。這些卡片由創(chuàng)建模型的組織開發(fā)和維護(hù)，在確保人工智能技術(shù)滿足倫理道德標(biāo)準(zhǔn)和法律要求方面發(fā)揮了重要作用，允許在人工智能生態(tài)系統(tǒng)中進(jìn)行負(fù)責(zé)任的研究和部署。模型卡包括與ML模型相關(guān)聯(lián)的關(guān)鍵屬性：?模型細(xì)節(jié)：關(guān)于模型的基本信息，i。e.,名稱、版本和類型（神經(jīng)網(wǎng)絡(luò)、決策樹等），以及預(yù)期的用例。?模型體系結(jié)構(gòu)：包括對(duì)模型結(jié)構(gòu)的描述，如圖層的數(shù)量和類型、激活函數(shù)和其他關(guān)鍵的體系結(jié)構(gòu)選擇。?訓(xùn)練數(shù)據(jù)和方法：關(guān)于用于訓(xùn)練模型的數(shù)據(jù)的信息，如數(shù)據(jù)集的大小、數(shù)據(jù)源，以及所使用的任何預(yù)處理或數(shù)據(jù)增強(qiáng)技術(shù)。它還包括關(guān)于訓(xùn)練方法的細(xì)節(jié)，如優(yōu)化器使用的，損失函數(shù)，以及任何被調(diào)整的超參數(shù)。?性能指標(biāo)：關(guān)于模型在各種指標(biāo)上的性能的信息，如準(zhǔn)確性、精度、召回率和F1分?jǐn)?shù)。它還可能包括關(guān)于模型如何在數(shù)據(jù)的不同子集上執(zhí)行的信息。?潛在的偏差和限制：列出模型的潛在偏差或限制，如不平衡的訓(xùn)練數(shù)據(jù)、過擬合，或模型預(yù)測(cè)中的偏差。它還可能包括關(guān)于模型限制的信息，例如它概括到新數(shù)據(jù)的能力或它對(duì)某些用例的適用?負(fù)責(zé)任的人工智能考慮：與模型相關(guān)的任何道德或負(fù)責(zé)任的人工智能考慮，如隱私問題、公平性和透明度，或模型使用的潛在社會(huì)影響。它還可能包括對(duì)進(jìn)一步測(cè)試、驗(yàn)證或監(jiān)控模型的建議。模型卡中包含的精確特征可能會(huì)根據(jù)模型的上下文和預(yù)期用途而有所不同，但其目的是在機(jī)器學(xué)習(xí)模型的創(chuàng)建和部署中提供開放性和問責(zé)性?！醪榭匆粋€(gè)模型中的模型卡如果有，□審查風(fēng)險(xiǎn)卡□建立一個(gè)流程來跟蹤和維護(hù)任何已部署的模型的模型卡，包括通過第三方使用的模型。微調(diào)是優(yōu)化預(yù)訓(xùn)練模型的傳統(tǒng)方法，涉及到對(duì)新的、特定于領(lǐng)域的數(shù)據(jù)對(duì)現(xiàn)有模型進(jìn)行再訓(xùn)練，修改它以提高任務(wù)或應(yīng)用程序的性能。微調(diào)成本昂貴，但對(duì)提高性能至關(guān)重要。檢索-增強(qiáng)生成（RAG）已經(jīng)發(fā)展為一種更有效的方法，通過從最新的知識(shí)來源中檢索相關(guān)數(shù)據(jù)來優(yōu)化和增強(qiáng)大型語言模型的能力。RAG可以針對(duì)特定的領(lǐng)域進(jìn)行定制，優(yōu)化特定領(lǐng)域信息的檢索，并根據(jù)專門領(lǐng)域的細(xì)微差別定制生成過程。RAG被認(rèn)為是LLM優(yōu)化的一種更有效和更透明的方法，特別是對(duì)于那些標(biāo)記數(shù)據(jù)收集成本有限或成本昂貴的問題。RAG的主要優(yōu)點(diǎn)之一是它支持持續(xù)學(xué)習(xí)，因?yàn)樾碌男畔⒖梢栽跈z索階段不斷更新。RAG實(shí)現(xiàn)涉及到幾個(gè)關(guān)鍵步驟，從嵌入模型部署、索引知識(shí)庫，到檢索與查詢處理最相關(guān)的文檔?；谙蛄繑?shù)據(jù)庫，實(shí)現(xiàn)了相關(guān)上下文的有效檢索存儲(chǔ)和查詢文檔嵌入。RAG參考□檢索增強(qiáng)一代（RAG）和LLM：例子□12RAG的痛點(diǎn)和建議的解決方案fAI紅色團(tuán)隊(duì)是AI系統(tǒng)的一個(gè)對(duì)抗性攻擊測(cè)試模擬，以驗(yàn)證是否存在任何現(xiàn)有的漏洞，可以被攻擊者利用。這是包括拜登政府在內(nèi)的許多監(jiān)管機(jī)構(gòu)和人工智能管理機(jī)構(gòu)推薦的做法。紅色團(tuán)隊(duì)合作本身并不是一個(gè)驗(yàn)證與人工智能系統(tǒng)相關(guān)的所有現(xiàn)實(shí)世界危害的全面解決方案，應(yīng)該包括在其他形式的測(cè)試、評(píng)估、驗(yàn)證和驗(yàn)證中，如算法影響評(píng)估和外部審計(jì)?！鯇⒓t隊(duì)測(cè)試作為人工智能模型和應(yīng)用程序的標(biāo)準(zhǔn)實(shí)踐。OWASP大型語言模型應(yīng)用十大應(yīng)用圖4。1:用于大型語言模型應(yīng)用程序的OWASP前十名的圖像OWASP十大大型語言模型應(yīng)用程序的可視化應(yīng)用圖4.2：大型語言模型應(yīng)用OWASPTop10圖像使用LLM解決方案的OWASP資源擴(kuò)展了組織的攻擊面，并提出了新的挑戰(zhàn)，需要特殊的戰(zhàn)術(shù)和防御。它還提出了類似于已知問題的問題，并且已經(jīng)建立了網(wǎng)絡(luò)安全程序和緩解措施。將LLM網(wǎng)絡(luò)安全與組織已建立的網(wǎng)絡(luò)安全控制、流程和程序相結(jié)合，可以使組織減少其對(duì)威脅的脆弱性。它們?nèi)绾蜗嗷ゼ煽梢栽贠WASP集成標(biāo)準(zhǔn)中獲得。描述為什么推薦它和在哪里使用它奧瓦斯普薩姆軟件保證成熟度模型提供了一個(gè)有效的和分析和改進(jìn)組織的安全開發(fā)生命周期的可測(cè)量的方法。SAMM支持完整的軟件生命周期。它是交互性和風(fēng)險(xiǎn)驅(qū)動(dòng)的，使組織能夠識(shí)別安全軟件開發(fā)中的差距并確定優(yōu)先排序，以便在改進(jìn)影響最大的地方投入改進(jìn)流程的資源。OWASPAI安全和隱私指南OWASP項(xiàng)目的目標(biāo)是連接全球范圍內(nèi)的人工智能安全交流，促進(jìn)標(biāo)準(zhǔn)對(duì)齊，并推動(dòng)協(xié)作。OWASP人工智能安全和隱私指南是一個(gè)最重要的人工智能安全和隱私考慮因素的全面清單。它將成為開發(fā)人員、安全研究人員和安全顧問的綜合資源，以驗(yàn)證人工智能系統(tǒng)的安全性和隱私性。OWASP人工智能交換OWASPAI交換是OWASPAI安全和隱私指南的獲取方法。人工智能交換是OWASP用于驅(qū)動(dòng)OWASP人工智能安全和隱私指南方向的主要接收方法。描述為什么推薦它和在哪里使用它奧瓦斯普學(xué)習(xí)奧瓦斯普學(xué)習(xí)前10名機(jī)器安全機(jī)器安全奧瓦斯普機(jī)器安全機(jī)器學(xué)習(xí)系統(tǒng)的十大安全OWASP的機(jī)器學(xué)習(xí)安全前10名是一個(gè)由社區(qū)驅(qū)動(dòng)的努力，以一種安全專家和數(shù)據(jù)科學(xué)家都易于理解的格式來收集和呈現(xiàn)機(jī)器學(xué)習(xí)系統(tǒng)中最重要的安全問題。該項(xiàng)目包括MLTop10，是一個(gè)實(shí)時(shí)工作文檔，為設(shè)計(jì)、創(chuàng)建、測(cè)試和采購安全和隱私保護(hù)的人工智能系統(tǒng)提供了清晰和可操作的見解。它是最好的OWASP資源嗎人工智能的全球監(jiān)管和隱私信息。OpenCREOpenCRE（通用需求枚舉)是一個(gè)交互式內(nèi)容鏈接平臺(tái)，用于將安全標(biāo)準(zhǔn)和指導(dǎo)方針統(tǒng)一到一個(gè)概述中。標(biāo)準(zhǔn)您可以按標(biāo)準(zhǔn)名稱或控制類型進(jìn)行搜索。一個(gè)結(jié)構(gòu)化的、正式的威脅過程建模應(yīng)用的一個(gè)程序了解關(guān)于威脅建模的一切，它是對(duì)影響應(yīng)用程序安全性的所有信息的結(jié)構(gòu)化表示。OWASP循環(huán)DXOWASPCycloneDX是一個(gè)全堆棧的賬單材料（BOM）標(biāo)準(zhǔn)，提供先進(jìn)的供應(yīng)鏈能力，以降低網(wǎng)絡(luò)風(fēng)險(xiǎn)。使用第三方和開源組件。它們以復(fù)雜而獨(dú)特的方式粘合在一起，并與原始代碼集成，以實(shí)現(xiàn)所需的功能。SBOM提供了所有組件的準(zhǔn)確清單,使組織能夠識(shí)別風(fēng)險(xiǎn)，允許提高透明度，并支持快速影響分析。EO14028為聯(lián)邦系統(tǒng)提供了SBOM的最低要求。描述為什么推薦它和在哪里使用它OWASP軟件組件驗(yàn)證標(biāo)準(zhǔn)(SCVS）以社區(qū)為驅(qū)動(dòng)的努力，建立一個(gè)識(shí)別活動(dòng)、控制和最佳實(shí)踐的框架，可以幫助識(shí)別和減少軟件供應(yīng)鏈中的風(fēng)險(xiǎn)。使用SCVS開發(fā)一套共同的活動(dòng)、控制和最佳實(shí)踐，可以降低軟件供應(yīng)鏈中的風(fēng)險(xiǎn)，并確定成熟軟件供應(yīng)鏈警惕的基線和路徑。OWASPAPI安全項(xiàng)目API安全技術(shù)側(cè)重于需要理解的策略和解決方案獨(dú)一無減輕漏洞、安二全風(fēng)險(xiǎn)、應(yīng)用程序編程接口（API）為了保護(hù)用戶和組織，必須要連接應(yīng)用程序，并減輕錯(cuò)誤配置或漏洞。用于安全測(cè)試和測(cè)試構(gòu)建環(huán)境和生產(chǎn)環(huán)境。OWASP安應(yīng)用程序驗(yàn)應(yīng)用程序驗(yàn)安全標(biāo)針對(duì)web應(yīng)用程序的安全要求、安全全證證準(zhǔn)測(cè)試和指標(biāo)的烹飪書。用于建立安標(biāo)準(zhǔn)ASVS（ASVS）項(xiàng)目為測(cè)試web應(yīng)用程序的技術(shù)安全控制提供了基礎(chǔ)，也為開發(fā)人員提供了安全開發(fā)的需求列表。全用戶故事和安全用例發(fā)布測(cè)試。OWASP威脅和保障矩陣（TaSM）面向行動(dòng)的視圖以保護(hù)和促進(jìn)業(yè)務(wù)這個(gè)矩陣允許公司將其主要威脅與NIST網(wǎng)絡(luò)安全框架功能（識(shí)別、保護(hù)、檢測(cè)、響應(yīng)和恢復(fù)）進(jìn)行疊加,以構(gòu)建一個(gè)健壯的安全計(jì)劃。將其用作儀表板來跟蹤和報(bào)告整個(gè)組織的安全性。缺陷道場(chǎng)一個(gè)開源的漏洞管理工具，通過提供模板化、報(bào)告生成、度量標(biāo)準(zhǔn)和基線自助服務(wù)工具來簡(jiǎn)化測(cè)試過程。使用缺陷Dojo可以減少使用漏洞模板、導(dǎo)入、報(bào)告生成和度量來記錄漏洞的時(shí)間。表4.1：OWASP資源LLM威脅頻率的增加強(qiáng)調(diào)了以彈性優(yōu)先的方法來保護(hù)組織的攻擊表面的價(jià)值?，F(xiàn)有的TTPS與新的攻擊面和LLM對(duì)手威脅和緩解的能力相結(jié)合。手套保持了一個(gè)成熟的和被廣泛接受的機(jī)制來協(xié)調(diào)對(duì)手的戰(zhàn)術(shù)和程序，基于現(xiàn)實(shí)世界的觀察。將組織的LLM安全策略協(xié)調(diào)和映射到ATT&CK和冠狀地圖集，允許組織確定LLM安全包括在諸如API安全標(biāo)準(zhǔn)或哪里存在安全漏洞。冠ATT&CK（對(duì)抗戰(zhàn)術(shù)、技術(shù)和常識(shí)）是一個(gè)框架，收集數(shù)據(jù)矩陣和評(píng)估工具，由冠冠公司幫助組織找出他們的網(wǎng)絡(luò)安全工作在整個(gè)數(shù)字攻擊表面和發(fā)現(xiàn)漏洞，以前沒有被發(fā)現(xiàn)。它是一個(gè)在世界各地使用的知識(shí)存儲(chǔ)庫。冠狀體ATT&CK矩陣包含了對(duì)手為實(shí)現(xiàn)特定目標(biāo)而使用的策略集合。在ATT&CK矩陣中，這些目標(biāo)被分類為戰(zhàn)術(shù)。目標(biāo)按攻擊順序概述，從偵察開始，并進(jìn)展到滲透或影響的最終目標(biāo)。冠狀體地圖集是“人工智能系統(tǒng)的對(duì)抗性威脅景觀”的縮寫，它是一個(gè)基于壞人攻擊機(jī)器學(xué)習(xí)（ML）系統(tǒng)的真實(shí)例子的知識(shí)庫。阿特拉斯是基于冠狀A(yù)TT&CK架構(gòu)，其戰(zhàn)術(shù)和程序補(bǔ)充了ATT&CK的架構(gòu)。描述為什么推薦它和在哪里使用它米特雷亞特和克基于真實(shí)世界的觀察的對(duì)手戰(zhàn)術(shù)和技術(shù)的知識(shí)庫ATT&CK知識(shí)庫被用作開發(fā)特定威脅模型和方法的基礎(chǔ)。將組織內(nèi)現(xiàn)有的控制措施映射到對(duì)手的戰(zhàn)術(shù)和技術(shù)上，以確定要測(cè)試的差距或區(qū)域MITRE工作臺(tái)AT&CK創(chuàng)建或擴(kuò)