大語言模型威脅分類2024

11/research/working-groups/ai-容c）不得重新分發(fā)該草案；(d)商標、版權(quán)或其他聲明不得被移除。您可以根據(jù)美國版權(quán)法的合理使用條款引用草案的部?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有2報告中文版支持單位行業(yè)第二，為全國的工業(yè)、政務(wù)、醫(yī)療、教育、交通、金方面的決策權(quán)和控制權(quán)，確保了CSA在這些核心領(lǐng)域的獨立性和自主性。4?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有報告英文版編寫專家SiahBurkePhilAlgerIlangoAllikuzhiBakrAbdouhVinayBansalVijayBolinaBrianBrinkleyAnupamChatterjeeJasonClintonAlanCurranVidyaBalasubramanianSandyDunnDavidGeeZackHamiltonVicHargraveAntonChuvakinJerryHuangAlessandroGrecoRajeshKambleGianKapoorRicoKomendaVaniMittalAnkitaKumariJasonMortonAmeyaNaikDannyManimboGabrielNwajiakuVishwasManralMeghanaParwatePrabalPathakRuchirPatwaBrianPendletonKunalPradhanAmitSharmaOmarSantosDr.JoshuaScarpinoCalebSimaNataliaSemenovaBhuvaneswariSelvaduraiJamillahShakoorTalShapiraAshishVashishthaAkramSheriffSrinivasTatipamulaMaria(MJ)SchwengerMahmoudZamaniRaphaelZimme5?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有9在人工智能技術(shù)迅速發(fā)展的背景下，大語言模型（LLM）已成為推動技術(shù)創(chuàng)新和業(yè)務(wù)轉(zhuǎn)型的核心力量。其在自然語言理解、生成與處是一系列復(fù)雜的風險和挑戰(zhàn)，尤其是在安全性、隱私保為應(yīng)對這些挑戰(zhàn)，CSA大中華區(qū)發(fā)布《大語言模型威脅分類》報告，旨在為行 12 12 15 17 18 20 25 27 27 28 28 29 29 29 30 31 32 32 33 34 34 34 35 35 36 36 36 36 37 37 38 38 39 39 39 394.7不安全的應(yīng)用程序/插件 40 42本報告由云安全聯(lián)盟(CSA)人工智能(AI)控制框架工作組基于CSAAI安全計劃所和定義。本報告的撰寫目的是希望能夠提供一個共享的語助CSAAI控制工作組和CSAAI技術(shù)本報告所采納的定義與分類體系是建立在現(xiàn)有文獻與組長充分探討后所形成的。通過上述過程，有了這些定義和分類，針對評估人工智能威脅和風致性。建立通用術(shù)語的目的在于其可以避免語義上的混淆，與CSAAI控制框架的關(guān)系本報告所定義的控制目標將涵蓋與網(wǎng)絡(luò)安全有關(guān)的與網(wǎng)絡(luò)安全相關(guān)的安全、隱私、透明度、問責制和可1.大語言模型概述本章節(jié)定義了實施、管理大語言模型（LLM）系統(tǒng)所必需的基礎(chǔ)組件，涵蓋了圖2）。除上述內(nèi)容外，本章節(jié)還探討了資產(chǎn)保護的注意事項，此外，本節(jié)還探討1.1.數(shù)據(jù)資產(chǎn)1.用于訓(xùn)練、基準測試、測試和驗證的數(shù)據(jù)：這包括用于訓(xùn)練、基準測試、測試這對打造模型最終的效果是至關(guān)重要的。每個數(shù)據(jù)元素都被單獨創(chuàng)建并管理。2.微調(diào)訓(xùn)練數(shù)據(jù)：模型經(jīng)過初始訓(xùn)練后會用到一些額外的數(shù)據(jù)對其進行微調(diào)或進一步的預(yù)訓(xùn)練，這有利于調(diào)整模型的參數(shù)，使其更緊密地3.檢索增強生成（RAG）：即將外部知識庫與大語言模型集成到一起。模型在生索相關(guān)信息，如互聯(lián)網(wǎng)，通過擴展輸入內(nèi)容及提煉模據(jù)進行管理，并記錄了每個所使用的數(shù)據(jù)集的來源、流程軌敏感度和合規(guī)性檢查等相關(guān)的信息。隨著數(shù)據(jù)內(nèi)容、所有權(quán)對數(shù)據(jù)卡片進行適應(yīng)性更新以確保數(shù)據(jù)的合規(guī)性和可5.輸入數(shù)據(jù)（系統(tǒng)級提示）：輸入數(shù)據(jù)是指提供給大語言模型的用于確定上下文和邊界的內(nèi)容。在生成式對抗技術(shù)背景下，這類數(shù)據(jù)還可用于查詢語句、模型最終生成的反饋以及用戶在使用過7.模型輸出數(shù)據(jù)：是指模型收到輸入指令后的結(jié)果反饋，包含文本型內(nèi)容、用戶8.模型參數(shù)（權(quán)重）：是指模型在訓(xùn)練過程中調(diào)用的系統(tǒng)內(nèi)部參數(shù)或權(quán)重，這些參數(shù)或權(quán)重的設(shè)定會對模型的行為產(chǎn)生重要影響9.模型超參數(shù)：是指在模型訓(xùn)練期間所指定的配置參數(shù)，包括學習率、批大小或架構(gòu)選取等參數(shù)，這些參數(shù)在塑造模型的整體括所輸入的查詢語句、模型最終生成的反饋、模型性能指1.2.云上大語言模型運維環(huán)境1.運行訓(xùn)練環(huán)境的云：該環(huán)境中納管了由云平臺或云服務(wù)提供商所提供的模型訓(xùn)2.運行模型推理的云：該環(huán)境中納管了由云平臺或云服務(wù)提供商所提供的模型訓(xùn)練和模型推理過程中所需的計算資源、存儲設(shè)施、輔）：務(wù)提供商所提供的運行AI應(yīng)用程序或AI服務(wù)所需的基礎(chǔ)設(shè)施，它們會使用已訓(xùn)練好的大語言模型的能力。它類似于一個服務(wù)中心，利用模4.部署環(huán)境的安全性：指的是一系列簡單的訪問機制和政策，來規(guī)范外界對大模5.持續(xù)監(jiān)控：指的是對大模型運維環(huán)境的性能、安全態(tài)勢、整體狀況持續(xù)監(jiān)測，包含了對訓(xùn)練環(huán)境、推理環(huán)境和應(yīng)用組件的監(jiān)測，確保模6.云托管訓(xùn)練數(shù)據(jù)（存儲）：指的是云平臺或云服務(wù)提供商所提供的用于模型訓(xùn)練的大量數(shù)據(jù)集，它需要強大的存儲和數(shù)據(jù)管理能力，以在機器學習領(lǐng)域中，“模型”一詞指的是能夠通過訓(xùn)練來預(yù)測或執(zhí)行特定任務(wù)的所選取的模型架構(gòu)、所采用的微調(diào)方法以及使用的開通用大模型是大模型發(fā)展的起點。通常指的是大型、借助自我監(jiān)督學習技術(shù)對大量未標記的數(shù)據(jù)進行學習，以獲解。通常，通用大模型為后續(xù)的微調(diào)模型和專業(yè)化模型奠定任務(wù)或領(lǐng)域的需要。對于一些先進和創(chuàng)新的基礎(chǔ)模型，我們可以使用“前沿模型”這一術(shù)語來表示AI領(lǐng)域中的一個全新基礎(chǔ)模型。從AI的角度來看，有時“基礎(chǔ)模型”微調(diào)模型是從通用大模型演進而來，經(jīng)過改進和調(diào)整域。微調(diào)過程，是利用了有監(jiān)督學習技術(shù)和有標記的特開源大模型與閉源大模型的主要區(qū)別在于對模型源件訪問的許可。開源模型可能會公布它們部分或全部的訓(xùn)練發(fā)所用的數(shù)據(jù)、模型架構(gòu)、權(quán)重和工具，以開源許可證的形特定條款和條件下免費使用。然而，閉源模型保持了私有化其源代碼、模型權(quán)重和技術(shù)細節(jié)，這通常出于保護知識產(chǎn)權(quán)許用戶訪問模型進行微調(diào)或推理的閉源模型特定領(lǐng)域大模型指的是能夠在特定領(lǐng)域如金融、醫(yī)療模型卡片是用來描述大模型特征的。它是一種維護大模性能特征、模型訓(xùn)練的數(shù)據(jù)集、訓(xùn)練順序等。這也型的行為。模型卡片需要隨著文本元數(shù)據(jù)的變化不斷維護和更更多關(guān)于模型卡片的詳細信息可以在HuggingFace平臺上獲取到，該平臺是一個專門的機器學習社區(qū)，能夠提供大模型、數(shù)據(jù)集和1.4.服務(wù)編排緩存服務(wù)指的是一種系統(tǒng)或組件，它們通過緩其他數(shù)據(jù)來提高大模型的請求效率和性能，減少冗余計頻繁訪問的數(shù)據(jù)，有助于降低請求響應(yīng)時間并且減）：安全網(wǎng)關(guān)，也稱為LLM網(wǎng)關(guān)，是作為大語言模型和外部系統(tǒng)交互的中間件。部署服務(wù)簡化了大語言模型在不同環(huán)境（包括監(jiān)測服務(wù)在監(jiān)督大語言模型的安全性、性能、安全要。這些服務(wù)使用監(jiān)控工具和技術(shù)收集實時信息，來檢測異入攻擊等）并發(fā)出警報，從而實現(xiàn)系統(tǒng)安全性，通過主動維如模型量化、剪枝、高效的推理策略，來提高大語言模型的效率，降低計算開銷，通過引入自定義和集成插件，大語言模型可以實現(xiàn)行接各類系統(tǒng)、應(yīng)用程序和數(shù)據(jù)源。這些插件使模型更具靈活場景或行業(yè)需要調(diào)整模型的功能，而且還提升了與既有架構(gòu)大語言模型通用代理是指與大語言模型協(xié)作以或組件。這些代理可用來執(zhí)行各種任務(wù)，如l增強大語言模型部署在不同操作環(huán)境中的多功能性和適應(yīng)1.5.AI應(yīng)用容生成到語言翻譯，由大語言模型驅(qū)動的AI應(yīng)用已經(jīng)徹底改變了行業(yè)，重塑了我些應(yīng)用程序利用大語言模型強大的功能來編譯和處理自然AI應(yīng)用也可能對經(jīng)濟產(chǎn)生重大影響。隨著企業(yè)日益依賴AI應(yīng)用以推動創(chuàng)新、簡化運營并獲取競爭優(yōu)勢，負責任的應(yīng)用開發(fā)與部署對于維通過在AI控制框架中優(yōu)先考慮AI應(yīng)用程序，組織可以積極應(yīng)對與大語言模型驅(qū)動的應(yīng)用相關(guān)的挑戰(zhàn)和風險，同時發(fā)揮其變能夠幫助AI治理組織、AI委員會和監(jiān)管機構(gòu)了解這些應(yīng)用及其使用的AI能2.LLM服務(wù)的生命周期以及整個生命周期至關(guān)重要。從構(gòu)想和規(guī)劃的籌備階段到每個階段都被納入一個綜合框架，該框架旨在改善服務(wù)交一致性。組織可以通過這種結(jié)構(gòu)化方法清晰有效地管理服這個階段為整個LLM開發(fā)過程奠定了基礎(chǔ)，并且極大地影響了模型的質(zhì)在構(gòu)建大語言模型（LLM）的過程中，數(shù)據(jù)收集應(yīng)專注于識別那些多樣化、規(guī)模龐大且質(zhì)量上乘的數(shù)據(jù)源，包括文本和代碼等。我們不僅實踐，還要警惕數(shù)據(jù)中可能存在的偏見。確保我們所收集的的需求，而且能夠反映我們對長期管理制度的承諾，以避免不一致和不相關(guān)信息）、分類（根據(jù)邏輯主題或），考慮處理器類型（如CPU、GPU、TPU）以包括穩(wěn)定的操作系統(tǒng)、豐富的庫和編程環(huán)境。利用云基礎(chǔ)家提供深入的語言專業(yè)知識；倫理學家則評估模型的在構(gòu)建大語言模型（LLM）的準備過程中，我們首先需要明確定義模型的目標和用途。這將指導(dǎo)我們在數(shù)據(jù)選擇和處理過程中做出負實施強有力的隱私保護措施是至關(guān)重要的。這不僅包括作和模型開發(fā)的基石，在數(shù)據(jù)收集、管理和存儲的各階在這一階段，我們的目標是將精心準備的數(shù)據(jù)和強大的學習率、批量大小和網(wǎng)絡(luò)層數(shù)等。這些參數(shù)的選擇將直指標，如準確率、困惑度和BLEU分數(shù)，這些指標將幫助我們識別模型性能的改進們?yōu)槲覀兲峁┝艘粋€強大的起點。通過對這些模型進行微調(diào)要，并決定是選擇現(xiàn)成的開源或閉源組件，還是開發(fā)自算法，如梯度下降法，迭代更新模型參數(shù)，些可以是單詞、子單詞單元或單個字符。標記化的主要目流程中的基礎(chǔ)步驟。正確的標記化方法可以顯著提升模型風險的應(yīng)用場景中。通過增強模型的可解釋性，我們能種優(yōu)化技術(shù)，如模型量化和剪枝，旨在提升模型運行效率訓(xùn)練數(shù)據(jù)集以及其他組件的每一次變更。這一做法2.3評估與確認評估階段是在部署大語言模型（LLM）之前，對其進行嚴格的性能、可靠性和務(wù)的BLEU分數(shù)。定性評估則可能包括人類評審員對輸出的流暢性、連貫性和相關(guān)數(shù)據(jù)漂移是指輸入數(shù)據(jù)隨著時間推移發(fā)生變化，降。當模型真實輸入數(shù)據(jù)與模型訓(xùn)練數(shù)據(jù)有偏離時，模型的模型漂移是指隨著時間推移，輸入特征和目標變量之間從而導(dǎo)致模型的預(yù)測能力下降。這種漂移可能由多種數(shù)據(jù)漂移和模型漂移都會導(dǎo)致機器學習模型的性題進行持續(xù)監(jiān)控并采取有效措施至關(guān)重要。持續(xù)監(jiān)控、重IaaC：采用基礎(chǔ)設(shè)施即代碼（InfrastructureasCode）的方法，將基礎(chǔ)設(shè)施的配置和管理過程自動化和代碼化。這可以帶來更改可追溯性、回如，醫(yī)療保健或金融等特定領(lǐng)域的插件）。同時，必須安全：在供應(yīng)鏈中應(yīng)優(yōu)先考慮安全性，包括保護API端點、實施用戶身）：進行交互，開發(fā)結(jié)構(gòu)良好的API，提供清晰的AP檢索增強生成（RAG）：考慮將檢索組件集成到大模型中，以便模型能夠訪問）：應(yīng)用程序順暢交互。根據(jù)大模型的上下文環(huán)境，定制可觀察性：為了跟蹤API使用情況、LLM性能和錯誤率，建立全面的日志記錄和監(jiān)控Bug修復(fù)：識別并解決在模型訓(xùn)練、微調(diào)或部署過程中出現(xiàn)的代碼錯誤或系統(tǒng)重新訓(xùn)練模型：隨著與大語言模型（LLM）交互數(shù)據(jù)特性的變化，可能需要更舉旨在解決概念漂移和性能下降問題，或以此為在整個操作和維護過程中，持續(xù)監(jiān)控模型，以識別模型意行為或偏差。通過主動監(jiān)控和及時干預(yù)，確保及時變更管理在維護模型的穩(wěn)定性和性能方面至關(guān)重要。管理流程，記錄所有的更新并跟蹤其對性能的影響。另一變更管理程序，有效管理模型的演進，減少系統(tǒng)中斷和性為潛在的停機情況制定計劃也是模型維護的關(guān)更新或維護要有一定的預(yù)見性并制定針對性工作計劃。一方保他們了解停機窗口及伴隨的服務(wù)中斷。并確保利益相關(guān)方通過主動解決停機問題，組織方在滿足用戶的期望和2.6服務(wù)退出進行存檔。按照組織方（此處建議討論統(tǒng)一）的數(shù)據(jù)保留策略全、合規(guī)的存儲。存檔內(nèi)容對歷史分析、審計、模型迭代或復(fù)法規(guī)：遵守數(shù)據(jù)治理法規(guī)（如GDPR、CCPA），安全地授權(quán)的訪問或潛在濫用。對于存儲在物理介質(zhì)（如硬盤、SSD或可移動存儲）上的模型，考慮采用物理銷毀方法，確保數(shù)據(jù)無法被恢復(fù)。即可3.大語言模型服務(wù)影響分類我們可以將影響類別直接對應(yīng)到已經(jīng)確立的CIA安全三要素（機密性、完整性能會被泄露給未授權(quán)的個人，這涉及敏感信息，可能包括個人數(shù)據(jù)、商業(yè)訪問。這些干擾可能包括服務(wù)拒絕攻擊、系統(tǒng)故障、意外停機、過高的計4.大語言模型服務(wù)威脅分類大語言模型服務(wù)威脅分類的初始列表涵蓋一系4.1模型操縱模型操縱涉及試圖逃避檢測或操縱大語言模型產(chǎn)生不正括直接或間接指令注入（對抗性輸入）等技術(shù)，旨在利用4.2數(shù)據(jù)投毒數(shù)據(jù)投毒是指操縱大語言模型訓(xùn)練數(shù)據(jù)的一種行據(jù)中注入虛假、誤導(dǎo)性或無用信息，或利用數(shù)據(jù)集中已有的情況，數(shù)據(jù)投毒都可能使模型受到污染，導(dǎo)致模型學習到錯4.3敏感數(shù)據(jù)泄露敏感數(shù)據(jù)泄露指的是對大語言模型服務(wù)在處理或存授權(quán)訪問、披露或泄露的威脅。這類敏感信息可能涵蓋個人據(jù)或機密文件。一旦這些數(shù)據(jù)遭到泄露，可能會引發(fā)隱私侵4.4模型竊取模型竊?。ㄒ卜Q為模型蒸餾）指的是惡意行為者未經(jīng)授模型。攻擊者可能會嘗試對模型的架構(gòu)進行逆向工程，或者數(shù)。這種行為可能會導(dǎo)致知識產(chǎn)權(quán)被盜用，或者模型被未4.5模型故障/失靈等問題。此類事件可能會破壞服務(wù)可用性、降低性能4.6不安全的供應(yīng)鏈不安全的供應(yīng)鏈指的是在大語言模型的生態(tài)或服務(wù)的引入而產(chǎn)生的安全漏洞。這些漏洞可能被惡意利服務(wù)的安全性和可靠性，例如通過使用被篡改的軟件庫4.7不安全的應(yīng)用程序/插件對敏感資源進行未經(jīng)授權(quán)的訪問，這些都會對集成系統(tǒng)的4.8拒絕服務(wù)4.9缺少治理/合規(guī)性理與合規(guī)政策的風險。未能遵循治理與合規(guī)標準可能導(dǎo)致法采取全面的方法應(yīng)對大模型服務(wù)的威脅風險，包括但不措施、進行持續(xù)的風險評估、集成威脅情報，以及制定針對從安全控制和風險管理的角度出發(fā)，我們需要大模型的弱點可能表現(xiàn)在多個方面，如訓(xùn)練數(shù)架構(gòu)的缺陷。例如，模型對訓(xùn)練數(shù)據(jù)中統(tǒng)計模式的依賴