2024年大模型安全實踐報告-真實漏洞視角下的全面探討-360數(shù)字安全

2 3 3 5 5 6 8 9 10 10 10 12 12 12 13 14 16 17 18 18 19 19 20 20 21 22 23 243本文對大模型在軟件設(shè)施和具體應(yīng)用場景落地中的安全問題進行多方面探Dify4triton-inference-ser51.模型訓(xùn)練和驗證經(jīng)常會使用到開源第三方數(shù)據(jù)集，或者在使用網(wǎng)的內(nèi)容形成自有數(shù)據(jù)集時，并沒有進行有效清洗，導(dǎo)致數(shù)據(jù)集中包含一個直觀的例子是，如果大量重復(fù)的在聊天機器人問答過程中輸入錯誤的事實，則可能會影響該聊天機器人與其他用戶對話時對于類似問題的678examples."arXivpreprintarXiv:1412.6572(2014).9憶注入）以及JSONexploiting（JSON格1.未授權(quán)訪問來自其他數(shù)據(jù)提供方的關(guān)鍵數(shù)據(jù)，這將導(dǎo)致最直接的隱私泄2.從模型生成結(jié)果中還原出原始訓(xùn)練數(shù)據(jù)信息，或推斷模型特征，從而實大模型的開放性和可擴展性使得其在訓(xùn)練和推理過程中面臨著諸多安全威為了提升整體運行效率，框架底層主要使用C/C++進行編程，并在算法的這些框架上層均提供了以Python為主的各類接口來訪問底層C++實現(xiàn)。早在對于在訓(xùn)練過程中會被經(jīng)常運行的代碼邏輯而言，每加入一行新代碼都會在整體上拖慢程序的運行速度，而為了修復(fù)內(nèi)存安全問題增加的補丁2.此類問題的利用條件相對苛刻，在實際應(yīng)用場又能控制傳入的參數(shù)值，而這兩者通常只由框架的使用者決定。考慮到內(nèi)存破壞漏洞利用通常還需要額外的邏輯來精確控制內(nèi)存，因此上述攻擊在大多數(shù)場景下是難以實施的，即當攻擊者能滿足此類利用條件時，不可信模型，與直接執(zhí)行不可信代碼是等價的，其中，由Pickle格式的模型而導(dǎo)致的任意代碼執(zhí)行則是一個WorkerWorkerWorkerFrameworkLevelTaskWorkerWorkerWorkerFrameworkLevelTaskschedule&NodeManagementgRPC/HTTP/SSH/Sockets...Workera2a3Workerbob1b2WorkerWorkera2a3Workerbob1b2Workerdod1d2d3WorkerParallelComputingLevelAllReduce▲行計算層負責運行具體的計算任務(wù)，通過專門的并行計算協(xié)議完成節(jié)點間的數(shù)架都沒有良好的安全策略實現(xiàn)。在這里我們選取了其中幾個代表性框架進行分llama.cpp是一個使用C/C++實現(xiàn)，提供了LLaMA和其它多種大語言模型的2圖片來源：/ggerganov/lla理。當接收到消息時，服務(wù)端會先檢查消息的簽名，在驗證通過后，使用2.確保服務(wù)生命周期的合理性，例如，在同步網(wǎng)絡(luò)信息后，將及時關(guān)停ClientrequestClientrequestRayClustergRPCWorkerNodeWorkerProcessRayletsharedmemobjectstoreRuntimeEnvAgentHeadNodeDriverProcessJobManagerDashboardGlobalControlStore雖然在不同的場景下，實施這些攻擊的難易程度也有所不同，但不可否認的是，絕大多數(shù)的框架開發(fā)者目前并沒有投入精力來解決因框架設(shè)計導(dǎo)致的安全敞口AI應(yīng)用以人工智能技術(shù)為核心，構(gòu)建了完整用戶交互流程，旨在通過自動化決策和智能分析來解決實際問題。AI應(yīng)用通常集成了前端采集用戶輸AnythingLLM是一個支持使用商業(yè)或開源大語言模型并結(jié)合私有知識庫進取實時信息或讀取用戶本地知識庫；交互增強類plugin可以繪制圖表片等等。一些功能強大的plugin甚至允許用戶通過自然語言或其他形戶可以通過自然語言與數(shù)據(jù)進行交互，而無需編寫復(fù)雜的代碼。PandasAI中的SemanticAgent通過添加語義層來顯然，AI應(yīng)用很難從辨別代碼意圖的角度去進行代碼執(zhí)行的任務(wù)來保障安全問題，因為在絕大多數(shù)情況下，AI代碼并不復(fù)雜，通過簡單的Python解釋器這是因為AI本身就具備