生成式AI應(yīng)用程序安全測試和驗(yàn)證標(biāo)準(zhǔn)2024

生成式AI應(yīng)用程序安全測試和驗(yàn)證標(biāo)準(zhǔn)世界數(shù)字技術(shù)學(xué)院標(biāo)準(zhǔn)世界數(shù)字技術(shù)標(biāo)準(zhǔn)WDTAAI-STR-01被指定為WDTA規(guī)范。本文件是世界數(shù)字技術(shù)學(xué)院(WDTA)的財(cái)產(chǎn)，受國際版權(quán)法保護(hù)。未經(jīng)WDTA事先書面許可，禁止使用本文檔，包括復(fù)制、修改、分發(fā)或重新發(fā)布。WDTA不對本文檔中的世界數(shù)字技術(shù)學(xué)院(WDTA)致力于成為全球數(shù)字技術(shù)創(chuàng)新的開拓者，與作為非政府組織的聯(lián)合國框架保持一致。WDTA堅(jiān)持其3s原則-速度，安全，共享-致力于加速數(shù)字規(guī)范的創(chuàng)建，帶頭通過合作努力，WDTA致力于推動(dòng)數(shù)字技術(shù)的發(fā)展，以改善社會(huì)計(jì)劃是WDTA國際計(jì)劃的核心部分，旨在解決人工智能系統(tǒng)擴(kuò)散帶來的復(fù)雜挑戰(zhàn)。認(rèn)識到術(shù)在全球范圍內(nèi)的快速擴(kuò)展和整合，AISTR站在本標(biāo)準(zhǔn)文檔提供了一個(gè)框架，用于測試和驗(yàn)證生成式AI應(yīng)用程序的安全性。該框架涵蓋了AI應(yīng)用程序生命周期中的關(guān)鍵領(lǐng)域，包括基本模型選擇，檢索增強(qiáng)生成設(shè)計(jì)模式中的嵌入和矢量數(shù)據(jù)庫，提示執(zhí)行/推理，代理行為，微調(diào)，響應(yīng)處理和AI應(yīng)用程序運(yùn)行時(shí)安全性。主要目標(biāo)是確保AI應(yīng)用程序在其整個(gè)生命周期中按照其預(yù)期設(shè)計(jì)安全運(yùn)行。通過為AI應(yīng)用程序堆棧的每一層提供一套測試和驗(yàn)證標(biāo)準(zhǔn)和指南，重點(diǎn)關(guān)注安全性和合規(guī)性，本文檔旨在幫助開發(fā)人員和組織增強(qiáng)使用llm構(gòu)建的AI應(yīng)用程序的安全性和可靠性，減輕潛在的安全風(fēng)險(xiǎn)，提高整體質(zhì)AISTR計(jì)劃代表了我們?nèi)绾翁幚鞟I技術(shù)的開發(fā)和部署的范式轉(zhuǎn)變。倡導(dǎo)人工智能系統(tǒng)中的安全、信任和責(zé)任，為更道德、安全和公平的數(shù)字未來奠定了基礎(chǔ)，在未來，人工智能技術(shù)是進(jìn)步的推動(dòng)者，而不是不確定性和傷害的來源。生成式AI應(yīng)用程序安全測試和驗(yàn)證標(biāo)準(zhǔn)是AI主要作者道森廣告(OWASP?基礎(chǔ))(OpenAI)(亞馬遜)王永霞(騰訊)1生成式AI應(yīng)用程序安全測試和驗(yàn)證標(biāo)準(zhǔn)生成式AI應(yīng)用程序安全測試和驗(yàn)證標(biāo)準(zhǔn)文檔概述了一個(gè)全面的框架，用于測AI應(yīng)用程序的安全性，特別是那些使用大型語言模型(llm)構(gòu)建的應(yīng)用程序。它定義了AI應(yīng)用程序堆棧各層的測試和驗(yàn)證范圍(圖1)。將生成的GenAI模型集成到更大的支持AI的系統(tǒng)或下游應(yīng)用程序中可能會(huì)引入安全問題。因此，所有下游AI應(yīng)用程序都需要安全測試和標(biāo)準(zhǔn)驗(yàn)證，即使基本的GenAI模型在集成到下游應(yīng)用程序之前已經(jīng)過雖然本文檔作為初始版本，但其在本次迭代中的主要重點(diǎn)是LLM。但是，重要的是要注意范AI安全測試和驗(yàn)證協(xié)同工作，以確保AI應(yīng)用程序安全且按預(yù)期運(yùn)行。在可行的情況下，應(yīng)在整個(gè)開發(fā)生命周期中采用穩(wěn)健的方法，使用諸如快速注入，掃描和紅色團(tuán)隊(duì)練習(xí)之類的技術(shù)來主動(dòng)識別問題。然而，單獨(dú)的測試有局限性，特別是對于第三方組件，測試可能是不可能的或有限的。在這種情況下，聘請專門審計(jì)AI治理、流程和程序的外部專家或組織組件的安全性極為重要。徹底審核AI應(yīng)用程序以檢查所有生命周期部署環(huán)境中對下游AI應(yīng)用程序的徹底檢查可確保遵守安全標(biāo)準(zhǔn)，即使在模型級別評估不充分的如此。具有強(qiáng)大測試實(shí)踐的集成保證方法以及對策略，流程和性能的持續(xù)驗(yàn)證，為系統(tǒng)繼續(xù)自主學(xué)習(xí)提供了負(fù)責(zé)任的AI結(jié)果的保證。它們共同提供有關(guān)系統(tǒng)優(yōu)缺點(diǎn)的信息，通2本規(guī)范涵蓋基于基本LLM模型構(gòu)建的下游應(yīng)用程序的安全測試，但不詳細(xì)說明基本LLM模型本身的安全測試一下規(guī)范。將來要發(fā)布的單獨(dú)文檔將涵蓋專門針對基本LLM模型的安全測試基礎(chǔ)模型選擇:在選擇之前，應(yīng)檢查下游AI應(yīng)用的候選模型。本節(jié)介紹驗(yàn)證基本模型的合規(guī)性、適當(dāng)?shù)臄?shù)據(jù)使用和API安全性。該文件提供了指導(dǎo)，以確保所選擇的模型符合法律，道德和操作標(biāo)準(zhǔn)，這是確保AI應(yīng)用程序安全性的關(guān)鍵一步。范圍包括開嵌入和矢量數(shù)據(jù)庫:在大多數(shù)下游AI應(yīng)用程序中，這些都是關(guān)鍵組件，用于存儲(chǔ)和檢索語言數(shù)據(jù)塊。本文檔概述了測試數(shù)據(jù)完整性，質(zhì)量和匿名化過程的程序，以保護(hù)用戶隱私并遵守法規(guī)。該規(guī)范提供了測試矢量數(shù)據(jù)庫的機(jī)密性、完整提示和知識檢索與檢索增強(qiáng)生成(RAG):RAG可以顯著提高生成AI應(yīng)用程序的事實(shí)準(zhǔn)確性和可靠性，例如大型語言模型。它通過在文本生成期間實(shí)時(shí)地動(dòng)態(tài)合并從外部源提取的相關(guān)的、特定領(lǐng)域的知識來實(shí)現(xiàn)這一點(diǎn)。本節(jié)將指導(dǎo)有效提示的構(gòu)建、提示模板的創(chuàng)建和使用以及外部api的集成。它還包括測試矢量數(shù)據(jù)庫的檢索過程，確保AI應(yīng)用程序可以準(zhǔn)確地訪問和利用相提示執(zhí)行/推理:文檔詳細(xì)介紹了提示執(zhí)行/推理層中LLMapi的測試過程，包括對緩存機(jī)制和驗(yàn)證過程的測試，以優(yōu)化性能和準(zhǔn)確性。此層還包括用于檢查提示和確保llm不被用于執(zhí)行未經(jīng)代理行為:這些是高級LLM應(yīng)用程序功能。該規(guī)范概述了對快速解釋，內(nèi)存利用率，知識應(yīng)用，計(jì)劃和動(dòng)作啟動(dòng)的測試。這包括測試集成到AI應(yīng)用程序中的工具微調(diào):通常會(huì)針對特定的下游AI應(yīng)用程序?qū)enAI模型進(jìn)行微調(diào)。本節(jié)包括數(shù)據(jù)隱私測試、基本模型選擇的重新評估和模型部署，以確保3響應(yīng)處理:對AI的響應(yīng)、相關(guān)性、毒性和倫理考慮進(jìn)行事實(shí)核查測試，以維護(hù)AI交互的可信和AI應(yīng)用程序運(yùn)行時(shí)安全性:運(yùn)行時(shí)安全性涉及對AI應(yīng)用程序的持續(xù)實(shí)時(shí)監(jiān)控。它涵蓋數(shù)據(jù)保護(hù)、模型安全、基礎(chǔ)設(shè)施安全以及審計(jì)跟蹤合規(guī)性。這確保了全面的安全方法，保護(hù)總體而言，生成式AI應(yīng)用程序安全測試和驗(yàn)證標(biāo)準(zhǔn)文檔提供了詳細(xì)和結(jié)構(gòu)化的方法來測試AI應(yīng)用程序堆棧的每一層，確保AI應(yīng)用程序的所有方面都經(jīng)過嚴(yán)格4本文檔的目標(biāo)受眾是參與確保生成式AI應(yīng)用程序的安全性和完整性的專業(yè)人員和利益相關(guān)AI安全工程師和分析師:主要負(fù)責(zé)實(shí)施和維護(hù)規(guī)范中概述的安全措施。他們評估AI應(yīng)用程序的威脅，設(shè)計(jì)安全架構(gòu)，并監(jiān)視系統(tǒng)以預(yù)防，檢測和響應(yīng)安全事件。這些工程師還會(huì)考慮偏見和人工智能開發(fā)人員、mlop和人工智能工程師:他們是構(gòu)建、維護(hù)和自動(dòng)化人工智能應(yīng)用程序工作流程的人。他們使用安全規(guī)范來理解并將安全最佳實(shí)踐集成到應(yīng)合規(guī)官和監(jiān)管專家:負(fù)責(zé)確保AI應(yīng)用程序符合不斷發(fā)展的法律和監(jiān)管標(biāo)準(zhǔn)的專業(yè)人員使用該規(guī)數(shù)據(jù)保護(hù)官:確保AI應(yīng)用程序安全地處理數(shù)據(jù)，并遵守?cái)?shù)據(jù)保護(hù)法律和政策。安全規(guī)范為他們IT和網(wǎng)絡(luò)管理員:這些管理員負(fù)責(zé)AI應(yīng)用程序的底層基礎(chǔ)架構(gòu)。這些專業(yè)人員將使用安全規(guī)范來保護(hù)網(wǎng)絡(luò)，服務(wù)器和其他組件，以防止不良行為者在AI相關(guān)風(fēng)險(xiǎn)管理專業(yè)人員:評估和管理與人工智能應(yīng)用相關(guān)的風(fēng)險(xiǎn)。安全規(guī)范幫助他們識別潛在的安道德審查委員會(huì):負(fù)責(zé)監(jiān)督人工智能道德使用的委員會(huì)依賴于安全規(guī)范，以確保人工智能應(yīng)用項(xiàng)目經(jīng)理和產(chǎn)品所有者:這些利益相關(guān)者確保AI項(xiàng)目安全高效地交付。安全規(guī)范指導(dǎo)他們設(shè)置5第三方或外部安全審核員和顧問:由這些專家對AI應(yīng)用程序的安全狀況進(jìn)行外部審查。他們使最終用戶或業(yè)務(wù)利益相關(guān)者:AI應(yīng)用程序的最終用戶或業(yè)務(wù)利益相關(guān)者雖然不直接參與實(shí)施安全性，但對這些系統(tǒng)的安全性具有既得利益。了解安全規(guī)范可以幫助他們評估AI應(yīng)用這些小組中的每一個(gè)都在確保AI應(yīng)用程序的安全性方面發(fā)揮著關(guān)鍵作用，從開發(fā)到部署和操3.規(guī)范性引用文件下面列出的參考文獻(xiàn)對于應(yīng)用和理解本文檔至關(guān)重要。它們提供了對安全和負(fù)責(zé)任地開發(fā)和部●生成式AI安全:理論與實(shí)踐●拜登關(guān)于安全、可靠和值得信賴的人工智能的行政命令●NIST值得信賴和負(fù)責(zé)任的AINISTAI100-2e●MITRE阿特拉斯?(人工智能系統(tǒng)的對抗性威脅景觀)●降低檢索增強(qiáng)生成(RAG)LLM64.術(shù)語和定義代理行為:LLM應(yīng)用程序通過諸如內(nèi)存利用，知識應(yīng)用，計(jì)劃和執(zhí)行基于提示的操作來展示代AI應(yīng)用程序運(yùn)行時(shí)安全:為在操作期間保護(hù)AI應(yīng)用程序而實(shí)施的全面安全措施。它包括數(shù)據(jù)保人工智能治理:人工智能風(fēng)險(xiǎn)的框架、要求、監(jiān)督和問責(zé)。這些結(jié)構(gòu)可以將風(fēng)險(xiǎn)映射到組織環(huán)AI響應(yīng)處理:處理和評估AI響應(yīng)的準(zhǔn)確性、相關(guān)性、無毒性、隱私性、保API安全檢查:對與模型接口的API的安全措施進(jìn)行驗(yàn)證，如身份驗(yàn)證、授權(quán)和數(shù)據(jù)加密，以防基本語言模型:基本模型(有時(shí)稱為基礎(chǔ)模型)是一種大型語言模型，其原始模型構(gòu)建者已經(jīng)使用諸如從人類反饋(RLHF)的強(qiáng)化學(xué)習(xí)等技術(shù)對其進(jìn)行了一般功能的訓(xùn)練和微調(diào)。這些基本模型(例如OpenAI的GPT-4，Anthropic的Claude3，Google的Gemini1.5，CohereCommand，AmazonTitan或Meta的開源LLaMA2)為進(jìn)一步的特定任務(wù)定制奠定了堅(jiān)實(shí)的基礎(chǔ)。通常，開發(fā)人員會(huì)調(diào)整基本模型輸出，以顯示廣泛的語言能力和對下游應(yīng)用程序中專業(yè)用例的適應(yīng)性。然后，工程師和公司將這些基本模型作為有效開發(fā)和部署針對其精確需求和應(yīng)用程序量身定制的AI解決方案的起點(diǎn)?；灸Ｐ拖藦念^開始訓(xùn)練完整模型的需要，提供了封閉和開源的基礎(chǔ)模型選擇:在考慮AI安全性的情況下選擇合適的基礎(chǔ)模型。選擇涉及評估諸如性能基準(zhǔn)，培訓(xùn)數(shù)據(jù)質(zhì)量，潛在偏差，安全程序，潛在有害輸出，預(yù)期用例和法規(guī)遵從性要求等因素?？煽康哪Ｐ蛠碓?，透明度，數(shù)據(jù)/培訓(xùn)方法的審核，跨職能審核流程以及遵守行為準(zhǔn)則是在負(fù)責(zé)任地部署llm時(shí)維護(hù)安全性，合規(guī)性和道德標(biāo)準(zhǔn)7緩存:用于存儲(chǔ)AI模型的推斷輸出的技術(shù)，以避免在推理過程中重復(fù)計(jì)算。由于深度神經(jīng)網(wǎng)絡(luò)模型的運(yùn)行計(jì)算成本很高，因此緩存其輸出可以在實(shí)時(shí)請求期間提供更快的響應(yīng)時(shí)間。典型的解決方案包括緩存聊天機(jī)器人的問答對，計(jì)算機(jī)視覺模型的分類或大型語言緩存驗(yàn)證:在將AI應(yīng)用程序的緩存輸出返回給用戶之前，檢查其準(zhǔn)確性、相關(guān)性和安全性。這可能涉及置信度檢查，語義分析，敏感主題的輸入阻止或人工確認(rèn)。驗(yàn)證與緩存一起使用，以閉源模型:其權(quán)重、推理代碼和訓(xùn)練數(shù)據(jù)清單不公開的模型。數(shù)據(jù)清理和匿名化:從數(shù)據(jù)中刪除不準(zhǔn)確和不一致之處，并匿名化個(gè)人或敏感信息，以維護(hù)隱數(shù)據(jù)使用檢查:確保用于培訓(xùn)和操作模型的數(shù)據(jù)是適當(dāng)?shù)?，符合道德?guī)范的，并符合數(shù)據(jù)保護(hù)外部API集成:將外部API集成到LLM應(yīng)用程序中，以增強(qiáng)功能，例如訪問微調(diào):針對特定任務(wù)或數(shù)據(jù)集調(diào)整基于模型的過程，以提高性能，相關(guān)性和對數(shù)據(jù)隱私的合規(guī)LLM(大型語言模型):大型語言模型(LLM)是一種在大型文本語料庫上訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，通過預(yù)測下一個(gè)單詞或令牌來生成智能文本，從而允許開放式文本生成應(yīng)用程序，模型合規(guī)性檢查:評估所選模型是否符合法律、法規(guī)和道德標(biāo)準(zhǔn)。這包括數(shù)據(jù)隱私法和偏差最小化等考慮因素。請記住，合規(guī)性會(huì)隨著時(shí)間的推移而改變，不要假設(shè)它總是給定的。也不要推斷一個(gè)供應(yīng)商對另一個(gè)供應(yīng)商的合規(guī)性。模型本身很少經(jīng)過認(rèn)證，但它模型注冊表:用于存儲(chǔ)、版本控制和編目機(jī)器學(xué)習(xí)/AI模型和相關(guān)元數(shù)據(jù)(例如，模型卡)的數(shù)據(jù)庫、存儲(chǔ)庫或系統(tǒng)。模型花園是注冊表的一個(gè)精選版本，其中包含提供商的精選模型。它通常需要模型與使用的訓(xùn)練數(shù)據(jù)和推理數(shù)據(jù)點(diǎn)8提示構(gòu)建和模板:為LLM創(chuàng)建有效且安全的提示，并開發(fā)模板以標(biāo)準(zhǔn)化和簡化提示生成。提示處理:LLM解釋并處理提示以生成響應(yīng)的過程。此過程涉及理解提示，訪問相關(guān)知識以及RAG，或檢索增強(qiáng)生成:檢索增強(qiáng)生成AI應(yīng)用程序的事實(shí)準(zhǔn)確性，如大型語言模型，通過從矢量數(shù)據(jù)庫中實(shí)時(shí)提取相關(guān)知識來增強(qiáng)它們。在推理期間，檢索器模塊首先使用生成器的內(nèi)部狀態(tài)向量來查詢存儲(chǔ)外部知識(文本、圖像等)的向量數(shù)據(jù)庫。然后，與生成上下文最相關(guān)的檢索到的向量與內(nèi)部狀態(tài)交叉，以產(chǎn)生下一個(gè)生成的輸出。這個(gè)過程動(dòng)態(tài)地使模型的生成更接近現(xiàn)實(shí)，糾正錯(cuò)誤的假設(shè)并減少幻覺內(nèi)容。這種可擴(kuò)展的檢索基礎(chǔ)結(jié)構(gòu)在開放式推理期間為生成器提供了相關(guān)外部數(shù)據(jù)的連續(xù)供應(yīng)。這種檢索增強(qiáng)的生成方法抵消了生成器的知識限制和捏造信息的趨勢，從而提高了開放域生成AI應(yīng)用程序中的事實(shí)一致矢量數(shù)據(jù)庫:矢量數(shù)據(jù)庫充當(dāng)?shù)孛鎸?shí)況，幫助將知識擴(kuò)展到訓(xùn)練時(shí)間以外的運(yùn)行時(shí)間，并減少生成AI模型中的幻覺。它們允許將大量的真實(shí)世界數(shù)據(jù)(圖像、文本、分子結(jié)構(gòu)等)存儲(chǔ)為捕獲語義概念和特征的矢量表示。然后，這些矢量數(shù)據(jù)集在推理過程中充當(dāng)生成模型的參考，以使其輸出更接近現(xiàn)實(shí)，并避免制造錯(cuò)誤的細(xì)節(jié)(幻覺)。從生成模型輸向量匹配提供了一種檢測和過濾超分辨率內(nèi)容的自動(dòng)化方法。這個(gè)數(shù)據(jù)集條件對于生成AI的安全關(guān)鍵應(yīng)用至關(guān)重要，如藥物發(fā)現(xiàn)和內(nèi)容創(chuàng)建。優(yōu)化的矢量搜索和可擴(kuò)展性使PGvector，Milvus，Weaviate和Pinecone等數(shù)據(jù)庫非常適合為現(xiàn)實(shí)世界中部署的生成AI應(yīng)用程序啟用此類95.AI應(yīng)用安全和驗(yàn)證標(biāo)準(zhǔn)要確保AI應(yīng)用程序的安全性和完整性，需要對AI應(yīng)用程序堆棧中的所有組件進(jìn)行結(jié)構(gòu)化和嚴(yán)格的測試。全面的測試制度可以驗(yàn)證下游AI應(yīng)用程序的每個(gè)方面(從基礎(chǔ)模型選擇到運(yùn)行時(shí)安全性)是否按預(yù)期安全運(yùn)行，并且沒有漏洞。細(xì)致的測試規(guī)范設(shè)定了明確的要求，方法和預(yù)期結(jié)果，從而實(shí)現(xiàn)了透明的評估。本節(jié)提供了AI應(yīng)用程序體系結(jié)構(gòu)每一層的詳細(xì)測5.1基本模型選擇測試標(biāo)準(zhǔn)基礎(chǔ)模型選擇是確保AI應(yīng)用程序安全性和合規(guī)性的關(guān)鍵方面。選擇涉及對開源和閉源模型的不同考慮，認(rèn)識到雖然閉源模型可能有更容易獲得的合規(guī)性文檔，但開源模型可能缺乏已建立需要注意的是，基礎(chǔ)模型的測試和驗(yàn)證是一個(gè)持續(xù)的過程，尤其是在上游基礎(chǔ)情況下。隨著基礎(chǔ)模型的發(fā)展和更新，重新驗(yàn)證模型以確保它仍然滿足所需的安全性和合規(guī)性標(biāo)準(zhǔn)至關(guān)重要。這種持續(xù)的驗(yàn)證過程有助于維護(hù)AI應(yīng)用程序的完整性和可靠性，即使5.1.1模型合規(guī)性和上下文測試檢查模型合規(guī)性涉及每種模型類型的不同方法，并考慮其獨(dú)特的特要求:基于人工智能的模型，無論是開源還是閉源，都符合法律、監(jiān)管、安全和道德標(biāo)準(zhǔn)。方法:對于閉源模型，根據(jù)相關(guān)法律、行業(yè)法規(guī)和道德準(zhǔn)則，對供應(yīng)商提供的可用合規(guī)性文檔進(jìn)行詳細(xì)審查。為確保合規(guī)性，應(yīng)審查和評估模型的培訓(xùn)數(shù)據(jù)質(zhì)量(符合目的作參數(shù)和社區(qū)反饋。對已關(guān)閉模型的權(quán)限和訪問權(quán)限可能會(huì)限制此評估。對于所有模型，模型卡1和數(shù)據(jù)報(bào)表等工具2為模型和數(shù)據(jù)文檔提供基準(zhǔn)。這可能包括與法律和行業(yè)專家進(jìn)行磋商，以解釋缺乏正式文件的領(lǐng)域的合規(guī)性。測試一下模型在特定任務(wù)上的準(zhǔn)確性、相關(guān)性、一致性和性能是否滿足預(yù)定要求。使用預(yù)設(shè)場景和數(shù)據(jù)集對模型進(jìn)行基準(zhǔn)測試，以衡量其性能和輸出有用于測試的資源，但它們的效用可能會(huì)隨著時(shí)間的推移而變化和降低。對于封閉和開源模型，都有許多公開可用的即時(shí)安全測試結(jié)果。由于它們使用不同的測試一下數(shù)據(jù)集，因此這些安全評估工作可能會(huì)為同一模型產(chǎn)生不同的結(jié)果。盡管如此，咨詢多個(gè)公開可用的結(jié)果可以指出LLM更有可能表現(xiàn)出哪種類型的有害行為。隨著新的故障模型和攻擊的發(fā)現(xiàn)，基準(zhǔn)也會(huì)隨著時(shí)間的推移而變化;考慮并報(bào)告用于評估模型的此外，識別并列出來自MITREAtlas等來源的已知漏洞(?)3、AV預(yù)期結(jié)果:基礎(chǔ)模型完全滿足所有法律、法規(guī)、安全和道德要求，無論其來源如何。對于閉源模型，任何不合規(guī)的領(lǐng)域都被明確標(biāo)識，對于開源模型，則會(huì)2.檢查模型卡中存在每個(gè)模型的上下文元數(shù)據(jù)，訓(xùn)練和微調(diào)的血統(tǒng)。模型卡提1./doi/10.1145/3287560.32875962./數(shù)據(jù)-報(bào)表//34https://avidml。組織/5https://airisk.io/6https://incidentdatabase.ai/要求:無論是開源還是閉源，AI模型都要有模型卡，詳細(xì)說明模型的來源、數(shù)據(jù)敏感度、訓(xùn)練方法:對所有模型(包括托管模型)的可用模型卡進(jìn)行詳細(xì)審查。確保模型卡具有模型沿襲和所有權(quán)的詳細(xì)信息。模型卡應(yīng)該能夠提供用于訓(xùn)練和微調(diào)的數(shù)據(jù)集(如果適用)。對于閉源模型，預(yù)期結(jié)果:無論其來源如何，基本模型都具有模型應(yīng)用程序的完整元數(shù)據(jù)。5.1.2數(shù)據(jù)使用檢查測試方法:對敏感數(shù)據(jù)和個(gè)人數(shù)據(jù)的用戶提示實(shí)施數(shù)據(jù)匿名化或偽匿名化技術(shù)。進(jìn)行定期審核，以確保有效地掩蓋個(gè)人標(biāo)識符。此外，請確保存儲(chǔ)的提示和輸出不超過策略指定的內(nèi)容。這可以限制存儲(chǔ)的內(nèi)容和存儲(chǔ)時(shí)間的長度。進(jìn)行對抗性測試以檢查數(shù)據(jù)是否泄漏，使用方法(例如，預(yù)期結(jié)果:在不泄露個(gè)人身份的情況下處理用戶提示，確保隱私并遵守?cái)?shù)據(jù)保護(hù)法。如果需要求:數(shù)據(jù)的道德和法律使用方法:根據(jù)道德標(biāo)準(zhǔn)和法律要求制定數(shù)據(jù)使用指南。執(zhí)行常規(guī)合規(guī)性檢查和審核，以監(jiān)控對這預(yù)期結(jié)果:來自用戶提示、微調(diào)訓(xùn)練數(shù)據(jù)和矢量數(shù)據(jù)庫的數(shù)據(jù)在道德和法律上使用，沒有濫用要求:數(shù)據(jù)保護(hù)法規(guī)的遵守方法:獲得用戶同意，確保數(shù)據(jù)透明度，并為用戶提供對其數(shù)據(jù)的控制。數(shù)據(jù)最小化僅收集必要的個(gè)人數(shù)據(jù)，并避免過度收集。通過技術(shù)手段最大限度地減少個(gè)人數(shù)據(jù)的使用和存儲(chǔ)時(shí)間。根據(jù)數(shù)據(jù)的敏感性采取差異化的隱私保護(hù)措施。定期對員工進(jìn)行數(shù)據(jù)保護(hù)法培訓(xùn)，并進(jìn)行合規(guī)性審計(jì)。實(shí)施響應(yīng)訪問信息請求和被遺忘請預(yù)期結(jié)果:通過審計(jì)結(jié)果和用戶反饋，完全遵守GDPR或CCPA等數(shù)據(jù)保護(hù)法律。4.使用數(shù)據(jù)沿襲和元數(shù)據(jù)的數(shù)據(jù)起源過直接或間接訪問數(shù)據(jù)集的數(shù)據(jù)源、數(shù)據(jù)敏感性、合規(guī)方法:對數(shù)據(jù)卡和數(shù)據(jù)集進(jìn)行審查。驗(yàn)證每個(gè)數(shù)據(jù)集，尤其是那集，都有一個(gè)數(shù)據(jù)卡。確保數(shù)據(jù)卡具有數(shù)據(jù)集沿襲和維護(hù)和管理數(shù)據(jù)卡。數(shù)據(jù)卡中的集合和內(nèi)容將隨著數(shù)據(jù)管理員、所預(yù)期結(jié)果:無論其來源如何，基本模型都具有模型應(yīng)用程序的完整元數(shù)據(jù)。要求:AI應(yīng)用程序開發(fā)人員與基礎(chǔ)模型提供商之間的數(shù)據(jù)使用協(xié)議證次級要求:確定締約方和范圍方法:對協(xié)議進(jìn)行審核，以驗(yàn)證各方均已正確識別，并且協(xié)議的范圍(包括特定的基礎(chǔ)模型或預(yù)期結(jié)果:協(xié)議準(zhǔn)確地確定了所有各方并概述了范圍，對所涉及的模型或數(shù)據(jù)集的模糊性較子要求:使用權(quán)利和限制方法:對協(xié)議進(jìn)行詳細(xì)分析，以確保明確說明和理解使用權(quán)和限制，包括對修改和重新分配的預(yù)期結(jié)果:對使用權(quán)有清晰的理解和文檔記錄，確保明確定義并遵守許可類型(排他性或非排子要求:數(shù)據(jù)處理和合規(guī)性方法:對處理用戶提示、精細(xì)圖靈訓(xùn)練數(shù)據(jù)和矢量數(shù)據(jù)庫內(nèi)容的流程進(jìn)行回顧。檢查數(shù)據(jù)匿名預(yù)期結(jié)果:數(shù)據(jù)處理方法完全符合協(xié)議和法律標(biāo)準(zhǔn)，并采用安全和合規(guī)的數(shù)據(jù)管理做法。方法:確認(rèn)協(xié)議清楚地概述了有關(guān)基礎(chǔ)模型、微調(diào)模型、輸入數(shù)據(jù)、微調(diào)數(shù)據(jù)和輸出數(shù)據(jù)的知識產(chǎn)權(quán)。檢查實(shí)踐中的合規(guī)性。此外，請查看模型提供者授予其用戶的任何賠償條款。通過審預(yù)期結(jié)果:尊重知識產(chǎn)權(quán)，并為使用、修改和重新分配模型輸出提供明確的指導(dǎo)方針。任何賠子要求:保密和不披露方法:對保密和保密條款的執(zhí)行情況進(jìn)行評估，預(yù)期結(jié)果:嚴(yán)格遵守保密義務(wù)，根據(jù)組織關(guān)于處理公司機(jī)密信息和重大非公開信息的政策保護(hù)方法:審查組織處理與AI系統(tǒng)相關(guān)的責(zé)任和擔(dān)保的方法。評估組織為理解和實(shí)施相關(guān)術(shù)語，應(yīng)對潛在的模型故障或數(shù)據(jù)泄露以及遵守該領(lǐng)域適用的標(biāo)準(zhǔn)和法規(guī)而做出預(yù)期結(jié)果:本組織承諾盡其所能妥善管理負(fù)債和履行擔(dān)保，并制定旨在處理可能出現(xiàn)的任何問題的政策和程序。我們努力遵守相關(guān)的行業(yè)標(biāo)準(zhǔn)、最佳做法和法律要求，以分配責(zé)任和補(bǔ)救失敗或違規(guī)行為，同時(shí)認(rèn)識到完美的執(zhí)行可能子要求:終止和續(xù)訂條款預(yù)期結(jié)果:定義明確的終止和續(xù)約條款，方法:在出現(xiàn)分歧或違約的情況下，檢查爭議解決條款并評估參與概述過程的準(zhǔn)備情況。預(yù)期結(jié)果:建立有效的爭端解決機(jī)制，符合協(xié)議條款。子要求:適用法律方法:明確規(guī)定和理解管轄法律和管轄權(quán)，并檢查是否與開發(fā)或使用AI應(yīng)用程序的當(dāng)?shù)胤捎凶右?簽名方式:經(jīng)雙方授權(quán)代表簽字確認(rèn)。5.1.3基礎(chǔ)模型推理API安全測試本節(jié)概述了用于全面評估客戶端應(yīng)用程序如何與第三方模型推理API集成的特定測試規(guī)范。當(dāng)應(yīng)用程序與外部API交互時(shí)，這些測試至關(guān)重要，需要采用與傳統(tǒng)API測試不同的方法。本節(jié)著重于從客戶端應(yīng)用程序的角度進(jìn)行測試，這與5.4.1節(jié)中概述的由API提供者進(jìn)行的測試不同。這種區(qū)別至關(guān)重要，因?yàn)槲覀冋谔幚韺⑹褂玫谌酵评韆pi的客戶端應(yīng)用程序。為此用為了確保采用全面和結(jié)構(gòu)化的方法來測試與第三方模型推理API集成的客戶端應(yīng)用程序的安全要求:必須對API的所有請求進(jìn)行身份驗(yàn)證和授權(quán)，以確?？蛻舳藢φ埱蟮馁Y源具有權(quán)限和適方法:通過模擬各種身份驗(yàn)證場景，測試一預(yù)期結(jié)果:客戶端必須在請求標(biāo)頭中包含有效的身份驗(yàn)證令牌，通常作為承載令牌。API應(yīng)使●403如果經(jīng)過身份驗(yàn)證的客戶端沒有執(zhí)行提供清晰簡潔的錯(cuò)誤消息，以指示特定的授權(quán)問題，例如缺要求:必須在所有狀態(tài)下應(yīng)用加密:傳輸中，靜止和使用中。數(shù)據(jù)傳輸子要求:對通過網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)使用強(qiáng)大的加密協(xié)議，如TLS1.2或更高版本，以確保安全的機(jī)密性和完整性。實(shí)施完美的前向保密，以保護(hù)過去的加密通信免受解密，即使長期密鑰受到損害。在傳輸之前，必須對敏感數(shù)據(jù)進(jìn)行加密，以確保在到達(dá)目方法:對基本模型推理API端點(diǎn)進(jìn)行全面的漏洞評估和滲透測試，以評估其抵御潛在攻擊的能力。確保其加密配置和加密協(xié)議是健壯和不可穿透的。持續(xù)監(jiān)控進(jìn)出端點(diǎn)的網(wǎng)絡(luò)流量，驗(yàn)證嚴(yán)格加密標(biāo)準(zhǔn)的執(zhí)行情況和安全協(xié)議的采用情況，例如最新的TLS版本，優(yōu)先考慮保持完美的前預(yù)期結(jié)果:使用符合當(dāng)前加密標(biāo)準(zhǔn)的最新安全協(xié)議對所有傳輸?shù)臄?shù)據(jù)進(jìn)行安全加密。加密密鑰應(yīng)在每個(gè)會(huì)話中動(dòng)態(tài)更改，以防止在將來的密鑰受到損數(shù)據(jù)靜態(tài)子要求:采用多層安全方法對敏感數(shù)據(jù)進(jìn)行去標(biāo)識，包括標(biāo)記化、匿名化和假名化。應(yīng)采用強(qiáng)大的加密標(biāo)準(zhǔn)，如AES-256或等效標(biāo)準(zhǔn)，以安全地存儲(chǔ)敏感數(shù)據(jù)，其中去識別敏感數(shù)據(jù)或個(gè)人信息是不可行的。加密密鑰應(yīng)與加密數(shù)據(jù)分開存儲(chǔ)，以增強(qiáng)安全性。必須實(shí)施嚴(yán)格的對于令牌化，請?jiān)u估令牌生成安全性和隨機(jī)性。評估令牌字典訪問安全性。驗(yàn)證所有標(biāo)記化操作的日志記錄/審核。評估令牌數(shù)據(jù)映射的加密和訪問控制。測試一下標(biāo)記化數(shù)據(jù)使用中的數(shù)對于匿名化，驗(yàn)證不可逆的匿名化和無法重新識別數(shù)據(jù)。檢查匿名數(shù)據(jù)是否用于預(yù)期目的。對具有風(fēng)格代表性的數(shù)據(jù)進(jìn)行風(fēng)險(xiǎn)分析，以進(jìn)行潛在的重新識別?；仡櫴褂玫哪涿夹g(shù)及其有效對于假名化，請確保假名的唯一性、安全性以及與源數(shù)據(jù)的分離。分析考慮數(shù)據(jù)相關(guān)性的重新數(shù)據(jù)應(yīng)在各種情況下得到充分保護(hù)，而不會(huì)損害其在合法業(yè)務(wù)流程中的實(shí)用性。根據(jù)數(shù)據(jù)敏感性，從匿名數(shù)據(jù)中重新識別個(gè)人的風(fēng)險(xiǎn)應(yīng)理想地介于0.04%和0.1%之間或更低。只有經(jīng)過授權(quán)的個(gè)人才能訪問令牌或假名并將其鏈接到原始數(shù)據(jù)，并進(jìn)行從匿名或假名數(shù)據(jù)中重新識別個(gè)人實(shí)際上是不可能的，從數(shù)據(jù)在用子要求:對內(nèi)存中處理的敏感數(shù)據(jù)實(shí)施加密。應(yīng)用程序必須使用安全編碼實(shí)踐來防止內(nèi)存轉(zhuǎn)儲(chǔ)和側(cè)信道攻擊。應(yīng)采用最小特權(quán)原則來限制在處理過程中對敏感數(shù)據(jù)的訪問。應(yīng)考慮提供機(jī)密計(jì)算聯(lián)盟定義的硬件信任根的機(jī)密計(jì)算硬方法:通過評估應(yīng)用程序和系統(tǒng)來驗(yàn)證內(nèi)存加密的有效性，以確認(rèn)它們在內(nèi)存中有效地加密了評估應(yīng)用程序如何處理內(nèi)存中的敏感數(shù)據(jù)，重點(diǎn)是防止通過內(nèi)存轉(zhuǎn)儲(chǔ)泄漏和測試一下是否存在側(cè)信道攻擊的漏洞，檢查如何處理數(shù)據(jù)并將其存儲(chǔ)在內(nèi)存中，以識別潛在的根據(jù)最小特權(quán)原則，審查用戶和進(jìn)程訪問權(quán)限，以確保它們是最小的和必要的，以降低未經(jīng)授可信執(zhí)行環(huán)境(tee)提供安全執(zhí)行環(huán)境，在處理期間將敏感數(shù)據(jù)隔離在受保護(hù)的CPU飛地中。證明是機(jī)密計(jì)算的關(guān)鍵部分，允許從信任根(RoT)預(yù)期結(jié)果:在處理敏感數(shù)據(jù)時(shí)，確保數(shù)據(jù)保持加密、假名、匿名和安全。只有必要的用戶和進(jìn)程才能訪問正在使用的敏感數(shù)據(jù)，并且必須嚴(yán)格控制和記錄此類訪問。機(jī)密計(jì)算和TEE驗(yàn)證結(jié)方法:評估應(yīng)用程序處理和清理各種潛在攻擊向量的能力，包括超出通常用例參數(shù)的輸入。執(zhí)行模糊測試，該測試應(yīng)涵蓋API接口的所有功能點(diǎn)，包括各種HTTP方法(例如GET，POST，PUT，DELETE等)。執(zhí)行滲透和安全漏洞測試，例如SQL注入，跨站點(diǎn)腳本(XSS)，命令注預(yù)期結(jié)果:應(yīng)用程序有效地過濾和清理輸入，防止注入，不相關(guān)的輸入和其他數(shù)據(jù)操作攻擊。要求:不暴露敏感信息的安全錯(cuò)誤處理和日志記錄。方法:信息泄露時(shí)，觸發(fā)錯(cuò)誤條件，分析日志。如果可能，在日志存儲(chǔ)之前自動(dòng)刪除敏感信要求:通過使用秘密管理方法將API密鑰和憑證存儲(chǔ)在安全保管庫中來安全地管理它們。API密鑰和機(jī)密必須定期輪換，不得超過180天，或在出現(xiàn)潛在危害跡象時(shí)立即輪換。輪換過程必須方法:通過實(shí)施安全保管庫來存儲(chǔ)和檢索API密鑰和憑證，確保它們不會(huì)暴露或泄露。觀察并驗(yàn)證安全密鑰管理流程，包括但不限于密鑰生成、密鑰輪換、禁用舊密鑰、密鑰銷毀和處理密鑰材料安全。采訪負(fù)責(zé)人員并審查培訓(xùn)材料，以確認(rèn)相關(guān)團(tuán)隊(duì)對安全API密鑰輪換和機(jī)密管理流程的認(rèn)識和理解。通過嘗試使用舊的/已撤銷的API密鑰和機(jī)密訪問資源并驗(yàn)證訪問是否被適當(dāng)預(yù)期結(jié)果:安全地存儲(chǔ)API密鑰和憑證要求:用于API通信的最新且安全的庫和依賴項(xiàng)。方法:進(jìn)行漏洞掃描，檢查是否存在過時(shí)和不推薦使用的組件。預(yù)期結(jié)果:所有組件都是最新的，沒有已知漏洞。要求:符合API提供商的安全策略。預(yù)期結(jié)果:應(yīng)用程序符合API的所有指定安全準(zhǔn)則和協(xié)議。方法:為intAPI輸入和輸出確定用例的正常API行為基線，包括相關(guān)性、典型請求率、響應(yīng)大小和模式。此基線有助于檢測異常，尤其是由審核或用例篩選api觸發(fā)的異常。保留詳細(xì)的日預(yù)期結(jié)果:異常情況的快速檢測和事件響應(yīng)計(jì)劃的有效執(zhí)行。要求:數(shù)據(jù)保護(hù)法律和隱私設(shè)計(jì)原則的遵守。方法:應(yīng)用程序中的審計(jì)數(shù)據(jù)處理慣例和隱私措施。預(yù)期效果:應(yīng)用程序符合相關(guān)數(shù)據(jù)保護(hù)法規(guī)，有效保護(hù)用戶隱私。5.2嵌入和矢量數(shù)據(jù)庫對于AI應(yīng)用程序的嵌入和矢量數(shù)據(jù)庫組件，測試5.2.1數(shù)據(jù)清理和匿名測試通過驗(yàn)證其清潔度和有效的匿名化來確保用于創(chuàng)建嵌入的數(shù)據(jù)的完要求:根據(jù)用例，確保用于創(chuàng)建嵌入的數(shù)據(jù)被有效地清理和匿名化，特別是對于面向公眾的應(yīng)方法:通過實(shí)施測試來評估數(shù)據(jù)清理過程的徹底性，確保不相關(guān)、冗余或錯(cuò)誤的數(shù)據(jù)被識別并糾正或刪除。此外，根據(jù)GDPR等隱私標(biāo)準(zhǔn)，測試一下匿名化流程以確認(rèn)個(gè)人或敏感信息被有效地隱藏或刪除。這可能涉及審查匿名化算法、技預(yù)期結(jié)果:嵌入過程中使用的數(shù)據(jù)干凈，相關(guān)且無錯(cuò)誤。匿名化過程可有效保護(hù)個(gè)人和敏感信5.2.2Vector數(shù)據(jù)庫安全測試通過實(shí)施和驗(yàn)證高級加密、用于數(shù)據(jù)訪問的RBAC、強(qiáng)大的密鑰管理、全面的IAM策略和其他要求:對高級加密技術(shù)(包括端到端加密)的使用情況進(jìn)行評方法:對使用中的加密協(xié)議和加密標(biāo)準(zhǔn)進(jìn)行全面評估，分析預(yù)期結(jié)果:通過采用高級加密方法并在傳輸，使用和存要求:從創(chuàng)建到停用，檢查加密密鑰的整個(gè)生命周期，以確保遵守安全密鑰管理實(shí)踐。方法:對密鑰發(fā)放、更新、撤銷和銷毀過程進(jìn)行測試一下，評估其穩(wěn)健性和對密鑰管理標(biāo)準(zhǔn)的預(yù)期結(jié)果:安全的密鑰管理生命周期，有效保護(hù)需求:針對不同的用戶角色和場景，實(shí)現(xiàn)和測試一下精細(xì)的身份和訪問管理(IAM)策略，為不方法:基于場景進(jìn)行測試，驗(yàn)證每個(gè)用戶角色只能根據(jù)定義預(yù)期結(jié)果:對訪問權(quán)限進(jìn)行精細(xì)控制，確保用戶只要求:經(jīng)常進(jìn)行全面的安全審計(jì)，超出標(biāo)準(zhǔn)檢查的范圍，包括評估是否符合國際標(biāo)準(zhǔn)和行業(yè)特方法:深入執(zhí)行審計(jì)、漏洞評估和合規(guī)性檢查，以確保符合相關(guān)安全標(biāo)準(zhǔn)和法規(guī)。要求:對零信任安全模型的實(shí)現(xiàn)進(jìn)行評估，在該模型中，信任永方法:在零信任環(huán)境中評估矢量數(shù)據(jù)庫的部署，驗(yàn)證是否基于身要求:實(shí)時(shí)實(shí)施和評估監(jiān)控系統(tǒng)和異常檢測算法，以實(shí)時(shí)識別和方法:通過模擬安全事件并監(jiān)控其檢測和響應(yīng)，測試一下實(shí)時(shí)監(jiān)預(yù)期結(jié)果:對安全威脅的早期檢測和快速響應(yīng)，要求:提供可靠的災(zāi)難恢復(fù)和數(shù)據(jù)備份流程。方法:對災(zāi)難恢復(fù)和備份系統(tǒng)進(jìn)行測試一下，使其能夠在發(fā)生破預(yù)期結(jié)果:高效可靠的災(zāi)難恢復(fù)和數(shù)據(jù)備份流程，方法:對數(shù)據(jù)訪問的RBAC進(jìn)行全面評估。使用不同的角色訪問數(shù)據(jù)，并確保正確的角色只能5.3使用RAG進(jìn)行提示和知識檢索AI應(yīng)用程序的“使用RAG(檢索增強(qiáng)生成)進(jìn)行提示和知識檢索”階段的測試規(guī)范包含以下組件:5.3.1及時(shí)施工測試要求:請確保為RAG模型構(gòu)建的提示有效且方法:為了清晰、相關(guān)和完整，測試一下快速構(gòu)建過程。這涉及評估各種提示，以確保它們有效地將預(yù)期的請求傳達(dá)給RAG模型，并且模型的響應(yīng)與提示的意圖一致。這些測試可能包括證明此要求可能需要大量資源或需要專業(yè)知識，具體取決于下游AI應(yīng)用程序。因需要一系列方法來證明這一要求。例如，有78和第三方公司的公共存儲(chǔ)庫可以幫助進(jìn)行需求演預(yù)期結(jié)果:構(gòu)造良好的提示，明確無誤，并有效地指導(dǎo)RAG模型提供相關(guān)且準(zhǔn)確的響應(yīng)。2.驗(yàn)證RAG模型的輸出是否與提供的用要求:確保RAG模型的結(jié)果準(zhǔn)確且相關(guān)7/microsoft/promptbench8/promptfoo/promptfoo方法:為不同的用例測試一下不同的提示，并查看輸出在清晰度和相關(guān)性方面是否與預(yù)期輸出證明此要求可能需要大量資源或需要專業(yè)知識，具體取決于下游AI應(yīng)用程序。因需要一系列方法來證明這一要求。例如，有預(yù)期結(jié)果:GenerativeAI輸出可以提供與用例無關(guān)的結(jié)果。確保輸出一致有助于確保輸出的可用方法:將模型的響應(yīng)測試一下到各種精心設(shè)計(jì)的潛在惡意輸入。這涉及模擬可能利用輸入處理中的漏洞的場景。測試一下應(yīng)包括直接和間接即時(shí)注射，如OWASPTop10為LLM應(yīng)用程序記預(yù)期結(jié)果:模型始終安全地處理精心設(shè)計(jì)的輸入，而不會(huì)執(zhí)行意外操作或顯示易受攻擊的行方法:在可能泄露敏感或機(jī)密信息的情況下評估模型的輸出。這包括測試可能通過提示工程，越獄以及各種策略和技術(shù)觸發(fā)此類披露的場景?；仡檶W(xué)術(shù)文獻(xiàn)和公開的獨(dú)立測試一下結(jié)果，評估信息泄漏。如果沒有公開的獨(dú)立測試，組織應(yīng)考慮是否可以選要求:采用多層方法，確保聊天機(jī)器人保持在其域內(nèi)。這種方法需要強(qiáng)大的故障安全機(jī)制，完方法:通過提供與其指定域無關(guān)的有意查詢來測試一下聊天機(jī)器人，評估其識別和管理此類情況的能力。模擬具有異常和噪聲的真實(shí)數(shù)據(jù)場景，確保聊天機(jī)器人提供準(zhǔn)確可靠的信息。進(jìn)行A/B測試，將聊天機(jī)器人的性能與對照組進(jìn)行比較，為其在特定領(lǐng)域的有效性提供有價(jià)值的見預(yù)期結(jié)果:聊天機(jī)器人展示了識別其領(lǐng)域之外的查詢的非凡能力，禮貌地承認(rèn)它們的無關(guān)性或引導(dǎo)對話回到正軌。該系統(tǒng)在模擬的真實(shí)世界場景中可靠地提取了準(zhǔn)確的特定領(lǐng)域數(shù)據(jù)，不受不相關(guān)或嘈雜信息的影響。在A/B測試期間，聊天機(jī)器人的性能超出了預(yù)期，特別是在響應(yīng)質(zhì)量、用戶滿意度和指定領(lǐng)域內(nèi)的相關(guān)性方面。它努力堅(jiān)持實(shí)施的故障安全機(jī)制，護(hù)欄和專門的算法，確保強(qiáng)大和安全的用戶體驗(yàn)。用戶對聊天機(jī)器人的準(zhǔn)確和有用的響應(yīng)表示很高的滿意5.3.2提示模板測試提示模板是預(yù)定義的結(jié)構(gòu)或準(zhǔn)則，用于生成提示，以促進(jìn)來自模型的特定類型的響應(yīng)。這些模板旨在通過提供一致且優(yōu)化的方式來表達(dá)查詢或命令，從而簡化與模型的交互，確保模型盡可能準(zhǔn)確地理解用戶的意圖。提示模板的設(shè)計(jì)可以顯著影響模型響應(yīng)的有效性和效率，使其對于要求:請確保系統(tǒng)對提示模板的使用符合總體訪問控制策略，防止模板被利用來規(guī)避安全機(jī)制方法:進(jìn)行系統(tǒng)級測試，以評估提示模板如何被不同角色/用戶訪問以及如何在系統(tǒng)的安全和訪問控制框架的上下文中使用。這涉及驗(yàn)證系統(tǒng)在允許訪問特定模板或模板功能之前檢查用戶權(quán)限，尤其是那些可能觸發(fā)敏感操作或訪問特權(quán)信息的功能。測試應(yīng)模擬嘗試使用模板的各種用應(yīng)調(diào)查他們是否可以限制的方式使用模板，查看系統(tǒng)在處理模板之前是否預(yù)期結(jié)果:系統(tǒng)確保與提示模板的所有交互都受到適當(dāng)?shù)脑L問控制。用戶只能以符合其權(quán)限的方式使用模板，而不能使用模板繞過系統(tǒng)級訪問限制。拒絕用戶訪問或使用超出其授權(quán)級別的模板的嘗試，這表明系統(tǒng)有效實(shí)施了與提示模板要求:請確保提示模板具有強(qiáng)大的功能，以防止可能導(dǎo)致意外或不適當(dāng)輸出的誤解和誤用。模板應(yīng)清楚地指導(dǎo)用戶，減少利用歧義或?qū)е虏涣枷捣椒?對模板進(jìn)行徹底的審查和用戶測試(涵蓋所有相關(guān)的用戶角色)，以評估其清晰度和誤解的可能性。這包括與各種用戶一起評估模板，包括那些打算測試一下模板有效性邊界的用戶。目標(biāo)是識別并糾正用戶可能(有意或無意)利用的任何歧義或弱點(diǎn)，以生成意外，不適當(dāng)或超出模板預(yù)期用途范圍的響應(yīng)。測試還應(yīng)評估模板對輸入格式和內(nèi)容期望的指導(dǎo)，以確保用戶了預(yù)期結(jié)果:模板有效地指導(dǎo)用戶提供與模板預(yù)期用途一致的輸入，同時(shí)將誤解或誤用的風(fēng)險(xiǎn)降至最低。這些模板的設(shè)計(jì)和說明明顯減輕了對抗性操縱的可能性，確保系統(tǒng)的響應(yīng)保持在預(yù)期和適當(dāng)?shù)姆秶鷥?nèi)。用戶輸入和系統(tǒng)輸出是高度一致的，反映了模板在以安全和預(yù)期的方式指導(dǎo)實(shí)現(xiàn)動(dòng)態(tài)訪問控制。應(yīng)用程序必須根據(jù)上下文(包括時(shí)間、位置、設(shè)備類型和網(wǎng)絡(luò)安全狀況)評估用戶請求。應(yīng)用程序必須根據(jù)上下文動(dòng)態(tài)調(diào)整用戶權(quán)限，例如限制在工作時(shí)間以外對敏感利用基于屬性的訪問控制(ABAC)。應(yīng)用程序必須使用ABAC來管理基于各種屬性的用戶訪問，例如用戶角色和數(shù)據(jù)分類。應(yīng)用程序必須將ABAC與企業(yè)身份提供商和外部api集成，確保數(shù)據(jù)集成和訪問驗(yàn)證。應(yīng)用程序必須安全地與外部系統(tǒng)集成，驗(yàn)證API密鑰，并使用作用域訪問令牌來限制對授權(quán)數(shù)據(jù)的訪問。應(yīng)用程序必須將從集成平臺(tái)檢索到的訪問權(quán)限與用戶的實(shí)現(xiàn)上下文響應(yīng)過濾。應(yīng)用程序必須實(shí)現(xiàn)基于用戶上下文和權(quán)限過濾搜索結(jié)果的邏輯。應(yīng)序必須根據(jù)用戶的角色或上下文動(dòng)態(tài)修改響應(yīng)，以排除方法:代碼審查:審查應(yīng)用程序代碼，以確保存在用于動(dòng)態(tài)訪問控制、ABAC實(shí)現(xiàn)和數(shù)據(jù)訪問驗(yàn)動(dòng)態(tài)分析:必須使用安全測試工具來動(dòng)態(tài)分析應(yīng)用程序在運(yùn)行時(shí)的行為。應(yīng)模擬具有不同上下滲透測試:必須進(jìn)行滲透測試，以嘗試通過各種技術(shù)對敏感數(shù)據(jù)進(jìn)行未經(jīng)授權(quán)的訪問，以驗(yàn)證預(yù)期結(jié)果:始終確保敏感信息免受未經(jīng)授權(quán)的訪問和泄漏。用戶應(yīng)該能夠僅訪問其特定上下文和角色所需的數(shù)據(jù)，從而在保持運(yùn)營效率的同時(shí)增強(qiáng)安全性。系統(tǒng)必須適應(yīng)各種用戶環(huán)境，動(dòng)態(tài)應(yīng)用適當(dāng)?shù)脑L問控制和過濾器。系統(tǒng)必須遵守相關(guān)的數(shù)據(jù)保護(hù)法律和標(biāo)準(zhǔn)，最大限度地降低5.3.3外部API集成測試(函數(shù)調(diào)用、插件)外部API集成是指將LLM應(yīng)用程序與外部API連接以擴(kuò)展其功能并從其他系統(tǒng)訪問數(shù)據(jù)或服務(wù)確定外部api和RAG模型之間集成的可靠性和安全性，確保無縫連接、準(zhǔn)確的數(shù)據(jù)交換和強(qiáng)大要求:確保外部api與RAG和LLM模型的可靠和安全集成，包方法:對API連接、數(shù)據(jù)交換、錯(cuò)誤處理和安全性進(jìn)行測試。這包括測試正確的函數(shù)調(diào)用，數(shù)據(jù)傳輸準(zhǔn)確性，強(qiáng)大的錯(cuò)誤和異常處理以及對安全協(xié)議(例如身份驗(yàn)證和數(shù)據(jù)加密)的合規(guī)預(yù)期結(jié)果:將外部api與RAG和LLM模型安全地集成，展示可靠和安全的數(shù)據(jù)交換系統(tǒng)性能或安全性的情況下有效地處理錯(cuò)誤。作為客戶端或API提供者，請參閱第5.4.1節(jié)和第5.3.4從矢量數(shù)據(jù)庫測試中檢索要求:從矢量數(shù)據(jù)庫中確保準(zhǔn)確有效地檢索信息。方法:對檢索過程的相關(guān)性、準(zhǔn)確性和速度進(jìn)行測試一下。這涉及用各種輸入查詢矢量數(shù)據(jù)庫，并評估檢索到的信息的相關(guān)性和正確性。組織還可以評估其他性能預(yù)期結(jié)果:RAG系統(tǒng)有效地從矢量數(shù)據(jù)庫中檢索相關(guān)和準(zhǔn)確的信息，有助于對提示做出準(zhǔn)確和5.4即時(shí)執(zhí)行/推理AI應(yīng)用程序中“提示執(zhí)行/推理”階段的測試規(guī)范，主要側(cè)重于LLMapi以及緩存和驗(yàn)證機(jī)制，5.41LLM應(yīng)用程序api測試如果您將LLM應(yīng)用程序提供商API提供給第三方，則需要求身份驗(yàn)證:OAuth2.0、SAML2.0和OpenIDConnect等身份驗(yàn)證協(xié)議的正確實(shí)現(xiàn)，以及API密鑰和令牌的安全處理。使用基于令牌的身份驗(yàn)證機(jī)制(如JSONWeb令牌(JWT))在無狀態(tài)環(huán)方法:通過模擬各種身份驗(yàn)證場景，測試一下協(xié)議實(shí)現(xiàn)和密鑰/令牌管理。如果使用JWT令牌，請通過驗(yàn)證簽名，檢查頒發(fā)者并確保受眾與預(yù)期收件人匹配來驗(yàn)證要求授權(quán):根據(jù)用戶的角色和權(quán)限實(shí)施全面的訪問控制，以管理和限制用戶操作。這些措施包授權(quán)矩陣必須以結(jié)構(gòu)化和機(jī)器可讀的格式記錄，同時(shí)易于被人類理解以進(jìn)行更新。還應(yīng)采用分層方法設(shè)計(jì)，以定義授權(quán)的各種組合，這些組合應(yīng)適用于應(yīng)用程序的不同技術(shù)平臺(tái)和體系結(jié)構(gòu)方法:使用正確分配和實(shí)施的權(quán)限驗(yàn)證基于角色的訪問控制(RBAC)或基于屬性的訪問控制(ABAC)系統(tǒng)。組織必須創(chuàng)建一組廣泛的集成測試，以驗(yàn)證所測試應(yīng)用程序的授權(quán)矩陣的完整性和適用性。這些測試應(yīng)直接利用形式化矩陣作為其輸入。任何測試一下失敗實(shí)例都必須突出預(yù)期結(jié)果:訪問受控，確保只有授權(quán)的API用戶/客戶端才能根據(jù)允許的范圍訪問或修改數(shù)據(jù)，要求:對傳輸中和靜態(tài)的所有敏感數(shù)據(jù)采用高級加密，包括使用行業(yè)標(biāo)準(zhǔn)加密協(xié)議和定期更新預(yù)期結(jié)果:數(shù)據(jù)的強(qiáng)大加密，大大降低了未經(jīng)授權(quán)的數(shù)據(jù)訪問和違規(guī)的風(fēng)險(xiǎn)。要求:通過驗(yàn)證所有輸入數(shù)據(jù)并使用安全的數(shù)據(jù)庫訪問方法，保護(hù)API免受SQL、NoSQL和命方法:預(yù)準(zhǔn)備語句、存儲(chǔ)過程和徹底的輸入驗(yàn)證。預(yù)期結(jié)果:注入漏洞的有效緩解，確保數(shù)據(jù)的完整性和安全性。方法:在整個(gè)設(shè)計(jì)和開發(fā)過程中應(yīng)用“設(shè)計(jì)安全”原則，進(jìn)行威脅建模，并集成安全檢查點(diǎn)。預(yù)期結(jié)果:彈性的API架構(gòu)從設(shè)計(jì)階段就將安全風(fēng)險(xiǎn)和漏洞降至最低。要求:系統(tǒng)地配置并定期審核所有安全設(shè)置，使所有系方法:使用自動(dòng)化工具進(jìn)行配置管理，定期進(jìn)行安全審計(jì)。預(yù)期結(jié)果:配置良好的API環(huán)境，最大限度地降低由于配置錯(cuò)誤而導(dǎo)致的漏洞風(fēng)險(xiǎn)。方法:使用漏洞掃描工具定期修補(bǔ)和更新組件。要求:實(shí)現(xiàn)強(qiáng)大的身份驗(yàn)證系統(tǒng)，包括多因素身份驗(yàn)證和安全方法:通過部署多因素身份驗(yàn)證，實(shí)施安全密碼實(shí)踐，并監(jiān)控異常身份驗(yàn)證嘗試。預(yù)期結(jié)果:針對未經(jīng)授權(quán)的訪問的增強(qiáng)保護(hù)。預(yù)期結(jié)果:軟件和數(shù)據(jù)有保證的完整性和可信性。要求:通過嚴(yán)格驗(yàn)證所有用戶提供的輸入，尤其是服務(wù)器端請求方法:嚴(yán)格執(zhí)行輸入驗(yàn)證和清理程序，重點(diǎn)防范SSRF漏洞。預(yù)期結(jié)果:SSRF風(fēng)險(xiǎn)的有效緩解，保護(hù)5.4.2緩存和驗(yàn)證測試評估緩存機(jī)制在提高響應(yīng)時(shí)間方面的效率，以及驗(yàn)證過程在確保LLMs響應(yīng)的準(zhǔn)確性和適當(dāng)性要求:在提高響應(yīng)時(shí)間和驗(yàn)證過程的健壯性方面驗(yàn)證緩存機(jī)制的有效性，以確保響應(yīng)的準(zhǔn)確方法:通過評估緩存系統(tǒng)對重復(fù)查詢的響應(yīng)時(shí)間的影響來測試一下緩存系統(tǒng)。這包括評估高速緩存命中率、高速緩存中的數(shù)據(jù)完整性以及高速緩存更新的效率。對于驗(yàn)證測試，請執(zhí)行檢查以確保LLM的響應(yīng)準(zhǔn)確，相關(guān)且沒有錯(cuò)誤或不適當(dāng)?shù)膬?nèi)容。這可能涉及自動(dòng)驗(yàn)證檢查和手動(dòng)預(yù)期結(jié)果:緩存機(jī)制可顯著提高頻繁查詢的響應(yīng)時(shí)間，而不會(huì)影響數(shù)據(jù)完整性。驗(yàn)證過程有效地確保LLM響應(yīng)的準(zhǔn)確性和適當(dāng)性，最大限度地減5.5代理行為人工智能代理是一個(gè)復(fù)雜的軟件系統(tǒng)，它根據(jù)預(yù)定義的目標(biāo)或?qū)μ囟ㄝ斎氲捻憫?yīng)自動(dòng)執(zhí)行任務(wù)。其體系結(jié)構(gòu)的核心是不同的組件，包括提示機(jī)制，通過指令或問題激活代理;內(nèi)存模塊，致力于存儲(chǔ)過去對話的詳細(xì)信息，以通知上下文相關(guān)的響應(yīng);以及一個(gè)單獨(dú)的知識庫，代理用于準(zhǔn)確理解世界并與世界進(jìn)行交互的最新信息。此外，戰(zhàn)略規(guī)劃和反思模塊包含用于決策的算法，使代理能夠通過一組工具評估選項(xiàng)，預(yù)測結(jié)盡管人工智能代理技術(shù)發(fā)展迅速，但其開發(fā)的通用標(biāo)準(zhǔn)仍未確定，這促進(jìn)了持續(xù)創(chuàng)新的前景。在這個(gè)不斷發(fā)展的領(lǐng)域中，安全的重要性怎么強(qiáng)調(diào)都不為過。隨著人工智能代理變得越來越復(fù)雜，并越來越多地融入日常生活的各個(gè)方面，確保其抵御威脅和漏洞的能力至關(guān)重要，強(qiáng)調(diào)在人工智能代理開發(fā)過程中必須采取強(qiáng)有力的安全措施，以保持其運(yùn)營人工智能應(yīng)用中的“代理行為”測試規(guī)范可以詳細(xì)描述如下，涵蓋了提示、記憶、知識、計(jì)5.5.1快速響應(yīng)測試方法:對AIagent理解和響應(yīng)各種提示的能力進(jìn)行測試一下，評估響應(yīng)的清預(yù)期結(jié)果:AIagent始終能夠正確解釋提示，并提要求:請確保AI代理沒有采取自主操作，這可能是不允許的。它還要求在采取任何可能導(dǎo)致安方法:通常AI代理具有很高的權(quán)限。測試一下AI代理訪問和采取可能不允許的自主操作的能力。確保代理沒有訪問位置、文件或采取可能是敵對的或被對手使用的操作。還要確保人工智能代理在采取行動(dòng)之前征求人類的批準(zhǔn)，如果人類不允許特定的預(yù)期結(jié)果:人工智能代理在采取任何行動(dòng)之前不斷要求人類批準(zhǔn)，并按預(yù)期工作。5.5.2內(nèi)存利用率測試方法:通過評估AI如何將先前學(xué)習(xí)或提供的信息整合到其響應(yīng)和動(dòng)作中，來測試一下AI的記憶預(yù)期結(jié)果:人工智能展示了對記憶的有效利用，在其響應(yīng)和決策中準(zhǔn)確地回憶和利用相關(guān)的過5.5.3知識應(yīng)用測試為了確定人工智能有效利用其知識庫(在大多數(shù)情況下，知識庫由矢量數(shù)據(jù)庫、圖形數(shù)據(jù)庫甚方法:通過呈現(xiàn)需要利用其存儲(chǔ)信息的場景或查詢來評估AI對其知識庫的使用。評估應(yīng)側(cè)重于預(yù)期結(jié)果:人工智能有效地應(yīng)用其知識庫，根據(jù)其積累的信息提供準(zhǔn)確和深入的響應(yīng)和行動(dòng)。5.5.4規(guī)劃能力測試要求:人工智能測試一下計(jì)劃和執(zhí)行復(fù)雜任務(wù)的能力。方法:通過呈現(xiàn)需要行動(dòng)或決策步驟的任務(wù)或場景來評估AI的規(guī)劃能力。這包括評估人工智能預(yù)期結(jié)果:人工智能展示了強(qiáng)大的規(guī)劃能力，為各種場景制定和執(zhí)行有效的戰(zhàn)略或行動(dòng)計(jì)劃。5.5.5。動(dòng)作執(zhí)行測試要求:有效且適當(dāng)?shù)仳?yàn)證AI執(zhí)行操作的能力。方法:在模擬環(huán)境中或通過預(yù)定義的任務(wù)測試一下AI執(zhí)行操作。重點(diǎn)應(yīng)該放在AI采取的行動(dòng)的5.5.6工具利用率測試確認(rèn)AI在集成和利用可用工具方面的有效性，從而提高其在任務(wù)執(zhí)行和快速響應(yīng)方面的性能方法:在執(zhí)行任務(wù)或響應(yīng)提示時(shí)，評估AI對各種工具(例如數(shù)據(jù)庫，軟件庫或硬件設(shè)備)的集成和使用。這包括測試AI利用這些工具來提高預(yù)期結(jié)果:人工智能成功地集成和利用了各種工具，在其響應(yīng)和行動(dòng)中展示了增強(qiáng)的性能和能5.5.7過度的機(jī)構(gòu)測試基于場景的測試:開發(fā)廣泛的測試一下場景，涵蓋各種決策情況，包括邊緣案例和潛在的道德對抗性測試:采用模糊測試，輸入操作和故意嘗試“破壞”系統(tǒng)等技術(shù)，以識別AI代理決策過程模擬測試:創(chuàng)建真實(shí)環(huán)境的詳細(xì)模擬，以測試一下AI代理在現(xiàn)實(shí)條件下的決策能力。監(jiān)視代理訪問控制測試:實(shí)施并徹底測試一下訪問控制機(jī)制，以確保只有授權(quán)用戶才能與AI代理的決策過程進(jìn)行交互或修改AI代理的決策過程。這包括測試正確的身份驗(yàn)證，授權(quán)和審核止未經(jīng)授權(quán)的訪問或篡改?；谧钚√貦?quán)原則，只給人工智能代理有限的系統(tǒng)和數(shù)據(jù)訪問權(quán)限是至關(guān)重要的。這意味著授予代理執(zhí)行其預(yù)期功能所需的最低訪問級別，僅此而已。通過限制代理對敏感信息和關(guān)鍵系統(tǒng)的訪問，我們可以減輕與受損或故障AI代理相關(guān)的潛在風(fēng)險(xiǎn)格測試此有限訪問方法，以確保代理不會(huì)超出其預(yù)期權(quán)限或獲得對受保護(hù)資源的未經(jīng)授權(quán)的訪問權(quán)限。應(yīng)定期進(jìn)行審核和審查，以驗(yàn)證訪問控制是否仍然有效，并且隨著AI代理Human-in-the-loop測試:讓人類專家參與測試過程，對AI代理的決策提供監(jiān)督、指導(dǎo)和反饋。這種協(xié)作有助于確保代理的行為與人類的判斷保持一致，并且可持續(xù)監(jiān)控和評估:實(shí)施機(jī)制，持續(xù)監(jiān)控和評估部署后AI代理的決策過程。根據(jù)既定的指標(biāo)、基人工智能應(yīng)用中“微調(diào)”的測試規(guī)范，側(cè)重于數(shù)據(jù)隱私檢查、基礎(chǔ)模型選擇、模型部署和訓(xùn)練5.6.1數(shù)據(jù)隱私檢查測試為了確保用于微調(diào)AI模型的數(shù)據(jù)嚴(yán)格遵守隱私和數(shù)據(jù)保護(hù)法規(guī)，確保道德采購和適當(dāng)?shù)哪涿?用于微調(diào)的數(shù)據(jù)應(yīng)確保尊重隱私并符合相關(guān)的數(shù)據(jù)保護(hù)法規(guī)。在微調(diào)的背景下，對數(shù)據(jù)收集、處理和存儲(chǔ)實(shí)踐進(jìn)行全面審查。這包括驗(yàn)證遵守隱私法(如GDPR或HIPAA)，確保在需要時(shí)對檢查差異隱私(DP)是否用于訓(xùn)練數(shù)據(jù)隱私:DP是一種在共享有關(guān)一組個(gè)人的信息時(shí)提供隱私的方法，方法是描述組內(nèi)的模式，同時(shí)保留有關(guān)特定個(gè)人的信息。它是通過對不改變感興趣的統(tǒng)計(jì)數(shù)據(jù)的單個(gè)數(shù)據(jù)進(jìn)行任意小的更改來完成的。因此，數(shù)據(jù)不能用來推斷任何個(gè)人。如果使/nistpubs/SpecialPublications/NIST.SP.800-226.Ipd.pdf預(yù)期結(jié)果:微調(diào)過程中使用的數(shù)據(jù)完全符合隱私法規(guī)，經(jīng)過適當(dāng)?shù)哪涿蚣倜幚?，并符合?.6.2用于微調(diào)的基本模型選擇測試為了確定所選的基礎(chǔ)模型與特定應(yīng)用和微調(diào)要求最佳匹配，如文檔第5.1節(jié)所述，確保其性能要求:針對特定應(yīng)用和微調(diào)過程，確認(rèn)所選的基礎(chǔ)模型是最合適的。另請參閱本文檔中的5.1方法:對基礎(chǔ)模型的性能、對目標(biāo)領(lǐng)域的適用性以及有效整合新數(shù)據(jù)的能力進(jìn)行評估。這可以包括針對特定性能指標(biāo)對模型進(jìn)行基準(zhǔn)測試，并評估其對微調(diào)期間引預(yù)期結(jié)果:選定的基本模型展示了與微調(diào)目標(biāo)的高度兼容性，顯示了調(diào)優(yōu)后的顯著性能改進(jìn)和5.6.3用于微調(diào)的基本模型存儲(chǔ)測試要求:使用適當(dāng)?shù)脑L問權(quán)限確認(rèn)任何經(jīng)過微調(diào)的模型都已正確存儲(chǔ)。使用正確的模型卡適當(dāng)?shù)胤椒?基于模型被微調(diào)的數(shù)據(jù)來評估微調(diào)的模型訪問。確保對模型的特定敏感度沒有權(quán)限的用戶在使用較高敏感度數(shù)據(jù)對模型進(jìn)行微調(diào)后無法訪問該模型。檢查模型卡是否具有正確的模型預(yù)期結(jié)果:選定的基本模型展示了與微調(diào)目標(biāo)的高度兼容性，顯示了調(diào)優(yōu)后的顯著性能改進(jìn)和5.6.4訓(xùn)練數(shù)據(jù)中毒測試為了確保訓(xùn)練數(shù)據(jù)的完整性，檢測并防止篡改、偏差或損壞方法:檢查訓(xùn)練數(shù)據(jù)的完整性，尋找篡改的跡象，插入偏見，或其他形式的腐敗。預(yù)期結(jié)果:保證訓(xùn)練數(shù)據(jù)無篡改和偏差，保證模型的完整性和無偏性。5.6.5微調(diào)后的模型部署測試要求:確保微調(diào)后的模型在生產(chǎn)環(huán)境中有效且安全地執(zhí)行，并且不會(huì)暴露機(jī)密，敏感或?qū)Ｓ袛?shù)方法:在微調(diào)后測試一下部署的模型的性能、可伸縮性和安全性，并適當(dāng)控制可能誘使模型暴露機(jī)密、敏感或?qū)Ｓ袛?shù)據(jù)的輸入請求。這涉及評估模型的響應(yīng)準(zhǔn)確性，延遲，高負(fù)載場景的處預(yù)期結(jié)果:經(jīng)過微調(diào)的模型在生產(chǎn)中保持高性能和準(zhǔn)確性，在變化的負(fù)載下有效擴(kuò)展，并針對AI應(yīng)用程序中“響應(yīng)處理”的測試規(guī)范，重點(diǎn)是基礎(chǔ)或事實(shí)檢查，相關(guān)性檢查，毒性檢查和道5.7.1接地或事實(shí)檢查測試方法:進(jìn)行測試以驗(yàn)證響應(yīng)的事實(shí)準(zhǔn)確性。這涉及將AI響應(yīng)與可靠的數(shù)據(jù)源或已建立的事實(shí)進(jìn)預(yù)期結(jié)果:人工智能始終提供事實(shí)準(zhǔn)確和可驗(yàn)證的響應(yīng)，展示了強(qiáng)大的現(xiàn)實(shí)基礎(chǔ)。要求:為用戶或其他系統(tǒng)建立和測試一下反饋系統(tǒng)，以報(bào)告AI生成內(nèi)容的問題，促進(jìn)持續(xù)改評估反饋機(jī)制在收集用戶或系統(tǒng)報(bào)告問題方面的有效性。測試一下分評估AI應(yīng)用程序?qū)Ψ答伒捻憫?yīng)能力及其迭代增強(qiáng)5.7.2相關(guān)性檢查測試方法:通過將AI響應(yīng)與提示的上下文和內(nèi)容進(jìn)行比較來評估AI響應(yīng)的相關(guān)性。這包括評估各種預(yù)期結(jié)果:AI的響應(yīng)始終與提示相關(guān)，表5.7.3毒性檢查測試方法:進(jìn)行測試，以識別和測量AI響應(yīng)中是否存在有毒或不恰當(dāng)?shù)恼Z言。這可以涉及使用預(yù)定根據(jù)特定的下游AI應(yīng)用程序，證明此要求可能需要大量資源或需要專業(yè)知識。因需要一系列方法來證明這一要求。例如，有公共資源和第三方公司可以幫助進(jìn)行需求演示。什么是有毒的，令人反感的或不合適的是高度依賴于上下文的，并且會(huì)根據(jù)特定的下游操作環(huán)境而有所不同。評估人員應(yīng)在測試過程中考預(yù)期結(jié)果:AI應(yīng)用程序始終避免生成有毒或不適當(dāng)?shù)?.7.4道德檢查測試確保AI的回應(yīng)在道德上是合理的，沒有有害的偏見或刻板印象，并且不認(rèn)可不道德的做法，要求:確保AI的回應(yīng)符合道德準(zhǔn)則，不會(huì)助長有害的偏見或不道德的觀點(diǎn)。方法:對人工智能對道德誠信的反應(yīng)進(jìn)行評估，檢查偏見、刻板印象或促進(jìn)不道德行為。這可根據(jù)特定的下游AI應(yīng)用程序，證明此要求可能需要大量資源或需要專業(yè)知識。因證明這一要求。例如，有公共資源和第三方公司可以幫助進(jìn)行需求演示。什么是不道德的是高度依賴于上下文的，并且會(huì)根據(jù)特定的下游AI應(yīng)用程序和操作環(huán)境而有所不同。評預(yù)期結(jié)果:人工智能始終如一地提供沒有有害偏見和刻板印象的響應(yīng)，符合道德標(biāo)準(zhǔn)，不促進(jìn)5.7.5不安全的輸出處理測試要求:確保模型輸出的安全處理，以防止被利用。5.7.6后門攻擊測試要求:針對后門攻擊測試一下AI系統(tǒng)的恢復(fù)能力，后門攻擊涉及惡意訓(xùn)練的模型，這些模型在典型情況下表現(xiàn)正常，但在特定觸發(fā)條件下表現(xiàn)評估旨在檢測和減輕后門攻擊的防御措施和AI系統(tǒng)展示了強(qiáng)大的抵御后門攻擊的能力，即使在存在潛在觸發(fā)的情況下也能保持預(yù)期的性該系統(tǒng)能夠抵御后門攻擊或從后門攻擊中恢復(fù)，而不會(huì)損害整5.7.7隱私和版權(quán)合規(guī)性檢查要求:AI系統(tǒng)的響應(yīng)和輸出符合相關(guān)隱私法規(guī)和版權(quán)法評估AI系統(tǒng)對用戶數(shù)據(jù)和個(gè)人信息的處理，驗(yàn)證是否符合適用的隱私法規(guī)，如GDPR、CCPA測試一下AI系統(tǒng)通過匿名化或保護(hù)其響應(yīng)和輸出中的敏感信息來評估AI系統(tǒng)對知識產(chǎn)權(quán)的尊重，通過測試其適當(dāng)?shù)貧w因于內(nèi)容的能力，避免抄襲，利用內(nèi)容來源和真實(shí)性聯(lián)盟(C2PA)標(biāo)準(zhǔn)來驗(yàn)證AI系統(tǒng)中使用的數(shù)據(jù)的來源，確保符合版權(quán)要該系統(tǒng)有效地匿名或保護(hù)敏感的用戶信息，確人工智能系統(tǒng)尊重知識產(chǎn)權(quán)，正確歸屬內(nèi)容，避免剽竊，并在其輸出中使用受版權(quán)保護(hù)的材料系統(tǒng)的響應(yīng)和輸出不受侵犯隱私和侵犯版權(quán)的影響，從而降低了部署A人工智能系統(tǒng)展示了適應(yīng)隱私法規(guī)和知識產(chǎn)權(quán)法更C2PA標(biāo)準(zhǔn)已成功實(shí)施，以驗(yàn)證AI系統(tǒng)中使用的數(shù)據(jù)的來源，從而實(shí)現(xiàn)正確5.7.8正常處理未知或不支持的查詢要求:AI系統(tǒng)能夠優(yōu)雅地處理未知、不支持或不相關(guān)的人工智能系統(tǒng)優(yōu)雅地處理未知、不支持或不相關(guān)的查詢，該系統(tǒng)向用戶提供清晰且信息豐富的反饋，建議替代查詢，5.8AI應(yīng)用程序運(yùn)行時(shí)安全5.8.1數(shù)據(jù)保護(hù)測試要求:數(shù)據(jù)的完整性和保密性。術(shù)(PET)時(shí)，至關(guān)重要的是驗(yàn)證PET技術(shù)是否正確實(shí)現(xiàn)并按預(yù)期運(yùn)行。PET實(shí)現(xiàn)的正確驗(yàn)證有助于確保正在處理的數(shù)據(jù)的機(jī)密性和完整性以及隱私保護(hù)技術(shù)的有效性。如果沒有徹底的驗(yàn)證，PET解決方案可能無法提供預(yù)期的保護(hù)級別，從而有可能將敏感數(shù)據(jù)或計(jì)算暴露給未經(jīng)授預(yù)期結(jié)果:靜態(tài)和傳輸中的數(shù)據(jù)完全加密，訪問控制可有效防止未經(jīng)授權(quán)的訪問，監(jiān)控系統(tǒng)可5.8.2模型安全測試使用以下測試規(guī)范保護(hù)經(jīng)過微調(diào)的AI模型免受對抗性攻擊要求:在AI模型中實(shí)現(xiàn)水印技術(shù)，以在模型中嵌入唯一標(biāo)識符。此標(biāo)識符應(yīng)有助于識別模型復(fù)方法:通過嘗試復(fù)制模型并驗(yàn)證是否可以提取嵌入的標(biāo)識符來測試一下水印過程的有效性。此預(yù)期結(jié)果:通過水印成功識別模型所有權(quán)和來源，阻止了未經(jīng)授權(quán)的復(fù)制。模型性能下降(如方法:對用戶身份驗(yàn)證過程、基于角色的訪問控制進(jìn)行測試一下，并監(jiān)控訪問日志中是否存在預(yù)期結(jié)果:訪問控制強(qiáng)大，確保只有授權(quán)用戶才能訪問模型，并及時(shí)檢測和阻止未經(jīng)授權(quán)的嘗方法:通過全面測試來驗(yàn)證API端點(diǎn)的安全性，包括通過速率限制來防止大量下載或抓取模型要求:使用代碼/參數(shù)混淆和加密技術(shù)，使模型不易理解，更難復(fù)制。方法:對可能允許未經(jīng)授權(quán)訪問或下載模型要求:使用入侵檢測系統(tǒng)和異常監(jiān)控工具，以識別可能表明模型盜竊企圖的可疑活動(dòng)。方法:通過模擬入侵嘗試并監(jiān)視警報(bào)來測預(yù)期結(jié)果:可及早發(fā)現(xiàn)可疑活動(dòng)，以便及時(shí)應(yīng)對潛在的安全威脅。要求:對版權(quán)、專利和商業(yè)秘密等法律保護(hù)的遵守情況進(jìn)行審查和測試一下，這些法律保護(hù)為方法:進(jìn)行法律和合規(guī)性檢查，以確保遵守知識產(chǎn)權(quán)、數(shù)據(jù)保護(hù)法律和任何應(yīng)用程序AI合規(guī)性5.8.3基礎(chǔ)設(shè)施安全測試方法:系統(tǒng)定期更新和打補(bǔ)丁，進(jìn)行網(wǎng)絡(luò)安全評估，評估硬件安全。經(jīng)常進(jìn)行漏洞掃描，以識別任何潛在的弱點(diǎn)或不必要的服務(wù)。利用強(qiáng)化驗(yàn)證技術(shù)來確預(yù)期結(jié)果:基礎(chǔ)設(shè)施展示了強(qiáng)大的網(wǎng)絡(luò)威脅防御能力，并且所有組件都具有最新的安全補(bǔ)丁。5.8.4API安全測試應(yīng)用程序編程接口(api)必須經(jīng)過嚴(yán)格的測試，以驗(yàn)證身份驗(yàn)證，授權(quán)，速率限制和輸入清理方法:用于身份驗(yàn)證、授權(quán)、速率限制和輸入驗(yàn)證的測試一下。預(yù)期結(jié)果:針對未經(jīng)授權(quán)的訪問和濫用，api表現(xiàn)出強(qiáng)大的彈性，保持?jǐn)?shù)據(jù)完整性和系統(tǒng)穩(wěn)定5.8.5合規(guī)性和審計(jì)跟蹤測試遵守適用的法律和標(biāo)準(zhǔn)對于道德人工智能應(yīng)用至關(guān)重要，需要持續(xù)的合規(guī)性驗(yàn)證和詳細(xì)的審計(jì)預(yù)期結(jié)果:應(yīng)用程序符合法律標(biāo)準(zhǔn)，審計(jì)跟蹤可準(zhǔn)確跟蹤系統(tǒng)訪問和更改。5.8.6實(shí)時(shí)監(jiān)控和異常檢測測試方法:從網(wǎng)絡(luò)、操作系統(tǒng)和應(yīng)用層實(shí)現(xiàn)和測試一下實(shí)時(shí)監(jiān)控和異常檢測系統(tǒng)。5.8.7配置和狀態(tài)管理測試為了確保安全基礎(chǔ)架構(gòu)內(nèi)SaaS應(yīng)用程序、身份和數(shù)據(jù)的完整性，通過安全狀態(tài)管理(SSPM)解決方案進(jìn)行配置和狀態(tài)管理測試至關(guān)重要。SSPM解決方案可幫助安全團(tuán)隊(duì)維護(hù)當(dāng)前的監(jiān)控和安全更新。通過建立安全基線，這些解決方案促進(jìn)了對配置設(shè)置的監(jiān)督，并提醒安全團(tuán)隊(duì)注意任何偏差，這對于管理配置漂移和識別其他與配置相關(guān)的漏洞至關(guān)重要。配置漂移-可能由于多種原因而發(fā)生的對系統(tǒng)的未經(jīng)授權(quán)的更改-對系統(tǒng)完整性構(gòu)成風(fēng)險(xiǎn)。手動(dòng)姿勢檢查是麻煩且容易出錯(cuò)的。因此，采用具有集成AI和自動(dòng)化的SSPM解決方案進(jìn)行連續(xù)配置檢查非常有益。這些先進(jìn)的工具可以自動(dòng)校正配置或發(fā)生偏要求:確保SSPM有效監(jiān)控和維護(hù)SaaS應(yīng)用程序、身份和數(shù)據(jù)的安全狀態(tài)，并及時(shí)提供配置漂方法:使用AI驅(qū)動(dòng)的自動(dòng)化實(shí)施SSPM解決方案，以進(jìn)行持續(xù)的配置驗(yàn)證和管理。定期評估這預(yù)期結(jié)果:SSPM解決方案應(yīng)始終保持基線配置設(shè)置，自動(dòng)檢測和糾正配置漂移，并確保IT審核就緒。這些解決方案應(yīng)提供對SaaS安全狀況的全面衡量，并支持隨著時(shí)間的推移進(jìn)行風(fēng)險(xiǎn)報(bào)5.8.8事件響應(yīng)計(jì)劃測試必須建立全面的事件響應(yīng)計(jì)劃，并通過模擬事件進(jìn)行測試，以便及時(shí)和有組織地解決安全事件要求:制定有效的事件響應(yīng)計(jì)劃。預(yù)期結(jié)果:快速有效地執(zhí)行事件響應(yīng)協(xié)議，最大限度地減少影響和恢復(fù)時(shí)間。5.8.9用戶訪問管理測試用于限制用戶權(quán)限的精細(xì)訪問控制和多因素身份驗(yàn)證系統(tǒng)提供了關(guān)鍵的防線，以防止對AI應(yīng)預(yù)期結(jié)果:適當(dāng)限制訪問，并且身份驗(yàn)證機(jī)制可靠地防止未經(jīng)授權(quán)的訪問。5.8.10依賴項(xiàng)和第三方組件安全測試進(jìn)行細(xì)致的驗(yàn)證，并且還需要定期進(jìn)行依賴預(yù)期結(jié)果:所有依賴項(xiàng)均來自受信任的來源，并且沒有已知漏洞，并且依賴項(xiàng)檢查是一個(gè)連續(xù)5.8.11強(qiáng)大的測試和驗(yàn)證在人工智能應(yīng)用程序上模擬復(fù)雜的網(wǎng)絡(luò)攻擊，如滲透測試、漏洞掃描和道德黑客攻擊，對于揭要求:識別和緩解潛在的安全漏洞。預(yù)期結(jié)果:針對真實(shí)世界的攻擊，AI應(yīng)用程序具有強(qiáng)大的防御能力，并且可以及時(shí)識別和解決5.8.12可用性測試為了確保在強(qiáng)烈需求下的可用性和可靠性，人工智能系統(tǒng)必須在推動(dòng)基礎(chǔ)設(shè)施負(fù)載限制的模擬方法:將模型應(yīng)用于高負(fù)載場景，以評估其性能以及在不中斷服務(wù)的情況下處理高流量的能5.8.13偵察防護(hù)測試保護(hù)人工智能應(yīng)用程序的敏感細(xì)節(jié)免受外部發(fā)現(xiàn)是當(dāng)務(wù)之急。審計(jì)和模擬攻擊對于發(fā)現(xiàn)和解決要求:在運(yùn)行期間進(jìn)行模擬和審核，以識別外部實(shí)體可能用于收集有關(guān)AI應(yīng)用程序的敏感信息預(yù)期結(jié)果:識別與信息泄露相關(guān)的漏洞，并確認(rèn)AI應(yīng)用程序的防御偵察能力。5.8.14持久性緩解測試:為了防止攻擊者獲得和維護(hù)秘密訪問以利用人工智能系統(tǒng)，嚴(yán)格的安全測試和補(bǔ)救措施必須不要求:定期掃描并消除可能允許攻擊者在運(yùn)行時(shí)保持對A5.8.15權(quán)限提升防御測試:防止人工智能系統(tǒng)在運(yùn)行時(shí)未經(jīng)授權(quán)的用戶權(quán)限提升對于維護(hù)訪問控制5.8.16防御規(guī)避檢測測試:為了維護(hù)強(qiáng)大的安全標(biāo)準(zhǔn)，人工智能系統(tǒng)必須能夠可靠地檢測和應(yīng)對在實(shí)時(shí)操作期間繞過或禁要求:系統(tǒng)在運(yùn)行時(shí)檢測和響應(yīng)逃避現(xiàn)有安5.8.17發(fā)現(xiàn)電阻測試:保護(hù)人工智能系統(tǒng)的專有細(xì)節(jié)和敏感功能需要進(jìn)行嚴(yán)格的測試，以驗(yàn)證在實(shí)時(shí)操作期間防止未預(yù)期結(jié)果:在運(yùn)行時(shí)驗(yàn)證內(nèi)部系統(tǒng)詳細(xì)信息是否5.8.18收集保障測試:對保障措施的嚴(yán)格評估必須確認(rèn)人工智能系統(tǒng)可以防止在實(shí)時(shí)操作期間未經(jīng)授權(quán)的數(shù)據(jù)收集和方法:數(shù)據(jù)收集測試一下保護(hù)措施，并評估數(shù)據(jù)處理實(shí)踐。預(yù)期結(jié)果:確保數(shù)據(jù)收集受到控制，并在運(yùn)行期間防止未經(jīng)授權(quán)的訪問或泄漏。5.9附加測試規(guī)范5.9.1供應(yīng)鏈漏洞測試要求:對應(yīng)用供應(yīng)鏈中使用的所有第三方組件、庫和依賴項(xiàng)進(jìn)行評估，以識別漏洞或安全弱利用自動(dòng)漏洞掃描工具來識別供應(yīng)鏈中第三方對供應(yīng)鏈中的第三方代碼執(zhí)行手動(dòng)代碼審查和分析，以發(fā)現(xiàn)自動(dòng)化工具可能無法檢測到的安全預(yù)期結(jié)果:詳細(xì)介紹供應(yīng)鏈中第三方組件的漏洞和安全弱點(diǎn)的綜合報(bào)告，以及緩解建議。要求:全面執(zhí)行軟件物料清單分析，以加強(qiáng)安全措施。這需要對集成到供應(yīng)鏈中的第三方代碼方法:針對供應(yīng)鏈中使用的第三方代碼，審查來自第三方的靜態(tài)和動(dòng)態(tài)代碼評估結(jié)果，并進(jìn)行SBOM分析，以進(jìn)行漏洞審查、第三方依賴關(guān)系、軟件綜合分析(SCA)和許可證審查。利用靜態(tài)代碼分析工具自動(dòng)檢測指示第三方代碼中的安全漏洞的代碼模式。如果發(fā)現(xiàn)漏洞，應(yīng)進(jìn)行后續(xù)SCA和修復(fù)后的漏洞評估，以驗(yàn)證已發(fā)現(xiàn)的問題預(yù)期結(jié)果:重點(diǎn)介紹供應(yīng)鏈中使用的第三方代碼中存在的安全漏洞，以及如何糾正這些問題的要求:在運(yùn)行時(shí)使用動(dòng)態(tài)測試技術(shù)來評估供應(yīng)鏈中與第測試一下供應(yīng)鏈集成中的輸入驗(yàn)證問題、訪問控制問題和預(yù)期結(jié)果:在運(yùn)行時(shí)檢測到供應(yīng)鏈集成中的安全漏要求:利用軟件組成分析工具來識別和跟蹤供應(yīng)鏈中使用的開源組件。根據(jù)已知漏洞數(shù)據(jù)庫檢查清單，以識別供應(yīng)鏈中預(yù)期結(jié)果:供應(yīng)鏈中開源組件的完整清單以要求:進(jìn)行威脅建模練習(xí)，以識別特定于LLM應(yīng)用程序供應(yīng)鏈預(yù)期結(jié)果:提供對與第三方代碼相關(guān)的供應(yīng)鏈特定安全風(fēng)險(xiǎn)的清晰理解的威脅模型以及解決這些要求:在供應(yīng)鏈中驗(yàn)證從供應(yīng)商或第三方來源收到的軟件組實(shí)施安全更新機(jī)制，如數(shù)字簽名或校驗(yàn)和，以確保供應(yīng)鏈中的第三方組件和更新在傳輸過驗(yàn)證供應(yīng)商和第三方來源的身份和安全實(shí)踐，以預(yù)期結(jié)果:對第三方組件的真實(shí)性和完整性充滿信心，并從供應(yīng)鏈中的供應(yīng)商或第三方來源收要求:評估與外部系統(tǒng)和服務(wù)集成的安全性，強(qiáng)調(diào)LLM應(yīng)用程序與供應(yīng)鏈中第三方實(shí)體之間的驗(yàn)證與供應(yīng)鏈內(nèi)第三方實(shí)體交換的數(shù)據(jù)是否預(yù)期結(jié)果:與供應(yīng)鏈中的外部系統(tǒng)和第三方實(shí)體進(jìn)行安全集成，防止數(shù)據(jù)泄露和未經(jīng)授權(quán)的訪要求:開源AI應(yīng)用程序中的社區(qū)信任方法:為開源AI應(yīng)用程序建立透明和積極的社區(qū)審查流程。鼓