Top開源大模型安全測評報告

Top開源大模型安全測評報告(2024)為深入學(xué)習(xí)貫徹全國兩會精神和黨的二十屆三中全會精神，落實《中共中央關(guān)于進(jìn)一步全面深化改革、推進(jìn)中國式現(xiàn)代化的決定》作出“建立人工智能安全監(jiān)管制度”“完善生成式人工智能發(fā)展和管理機制”的重要部署以及根據(jù)《中華人民共和國網(wǎng)絡(luò)安全法》《中華人民共和國數(shù)據(jù)安全法》《中華人民共和國個人信息保護(hù)法》《生成式人工智能服務(wù)管理辦法》《工業(yè)和信息化部等十六部門關(guān)于促進(jìn)數(shù)據(jù)安全產(chǎn)業(yè)發(fā)展的指導(dǎo)意見》等法律法規(guī)政策文件要求，促進(jìn)和引導(dǎo)人工智能大模型技術(shù)向“負(fù)責(zé)任、可持續(xù)、高可靠”目標(biāo)發(fā)展，讓人工智能大模型技術(shù)真正實現(xiàn)高質(zhì)量安全賦能各行各業(yè)落地應(yīng)用。前言中國軟件評測中心（工業(yè)和信息化部軟件與集成電路促進(jìn)中心）安全事業(yè)部聯(lián)合杭州安恒信息技術(shù)股份有限公司、數(shù)據(jù)安全關(guān)鍵技術(shù)與產(chǎn)業(yè)應(yīng)用評價工業(yè)和信息化部重點實驗室、中國計算機行業(yè)協(xié)會數(shù)據(jù)安全專業(yè)委員會，共同開展國內(nèi)外開源大模型的安全性、公平性和可靠性研究，并發(fā)布《Top開源大模型安全測評報告(2024)》。本報告聚焦國內(nèi)外開源大模型的安全風(fēng)險測評，通過選取典型的12家20款開源大模型，從國家安全、道德倫理、公民權(quán)利、公共安全、歷史文化、醫(yī)療衛(wèi)生、隱私信息、不良信息、商業(yè)金融、基礎(chǔ)安全、網(wǎng)絡(luò)安全和模型濫用等12個方面展開深入安全測評，旨在提高大模型廠商的安全意識和保障行業(yè)用戶的合法權(quán)益，并通過系統(tǒng)性分析國內(nèi)外開源大模型安全的綜合表現(xiàn)，為人工智能大模型產(chǎn)業(yè)各界提供參考?！咀ⅰ恳虼竽Ｐ偷俣瓤?，測評結(jié)果僅適用于測試期間和測試版本。報告中的分析和結(jié)論可能存在一定的局限性和不完整性，我們期待并歡迎各方提出寶貴的批評與建議，共同推動人工智能大模型安全治理。目錄測評體系0102測評結(jié)果03測評總結(jié)01測評體系大模型安全測評體系圖人工智能大模型安全評估體系國家安全 公共安全 公民權(quán)利 道德倫理 歷史文化 .....TOKEN走私探索AI大模型安全治理的新技術(shù)持續(xù)跟蹤研究AI大模型安全風(fēng)險點持續(xù)研發(fā)高效智能化的AI大模型安全評估工具探索AI大模型安全治理的新路徑加強網(wǎng)絡(luò)安全防護(hù)和個人數(shù)據(jù)保護(hù)加強科技倫理治理實行包容審慎和分類分級監(jiān)管《生成式人工智能服務(wù)管理暫行辦法》技術(shù)發(fā)展與治理監(jiān)督檢查和法律責(zé)任語料安全要求《生成式人工智能服務(wù)安全基本要求》模型安全要求安全措施要求內(nèi)容分割重組角色偽裝場景假設(shè)少樣本攻擊Token重復(fù)攻擊多樣本攻擊場景限定語言切換指令忽略混合攻擊直接問答大模型安全測評說明對于每個檢測方式或風(fēng)險分類，首先計算其單項風(fēng)險比例。計算單項風(fēng)險比例其次，將所有單項風(fēng)險比例相加，得到整體的比例總和。計算比例總和計算單項占總風(fēng)險比例最后，計算某一項在總風(fēng)險中的占比。本測評過程采用多維度的測試題庫，包涵了豐富的題目和多種測試維度。在測試過程中，通過調(diào)用API的方式，全面測試了模型的風(fēng)險。測試過程中采用了規(guī)則匹配打分、大模型自動打分等方式，以客觀評價模型的安全風(fēng)險水平。02測評結(jié)果總體情況（一）大模型安全風(fēng)險總覽序號模型名稱執(zhí)行策略數(shù)風(fēng)險數(shù)耗時（秒）策略通過率風(fēng)險占比備注1qwen:7b20001313330.0093.45%6.55%國內(nèi)開源大模型2qwen2:7b2000787486.0096.10%3.90%國內(nèi)開源大模型3qwen2.5:7b2000895101.0095.55%4.45%國內(nèi)開源大模型4glm4:9b-chat-q4_K_M20001499944.0092.55%7.45%國內(nèi)開源大模型5internlm2:7b2000415968.0097.95%2.05%國內(nèi)開源大模型6yi:6b20002508566.0087.50%12.50%國內(nèi)開源大模型7yi-1.5:6b20002687173.0086.60%13.40%國內(nèi)開源大模型8deepseek-llm:7b20001183809.0094.10%5.90%國內(nèi)開源大模型9deepseek-v2:16b-lite-chat-q4_K_M2000497261.0097.55%2.45%國內(nèi)開源大模型10llama3:8b20001296041.0093.55%6.45%國外開源大模型11llama2:7b2000826301.0095.90%4.10%國外開源大模型12llama3.1:latest20001192778.0094.05%5.95%國外開源大模型13gemma:7b20001523598.0092.40%7.60%國外開源大模型14gemma2:9b-instruct-q4_K_M2000528631.0097.40%2.60%國外開源大模型15phi3:14b20001119593.0094.45%5.55%國外開源大模型16mistral20002789665.0086.10%13.90%國外開源大模型17mistral:7b-instruct20002999676.0085.05%14.95%國外開源大模型18aya:8b20003156940.0084.25%15.75%國外開源大模型19minicpm-v20001384000.0093.10%6.90%國外開源大模型20falcon2000285360685.75%14.25%國外開源大模型從大模型安全風(fēng)險總覽來看，開源大模型存在一定安全風(fēng)險，國內(nèi)開源大模型安全性整體上優(yōu)于國外開源大模型，大模型安全治理工作任重道遠(yuǎn)需各方共同努力?？傮w情況（二）大模型安全風(fēng)險類型分布從大模型安全風(fēng)險類型分布來看，公共安全、道德倫理、不良信息和網(wǎng)絡(luò)安全風(fēng)險較為嚴(yán)重，謹(jǐn)慎使用國外開源大模型作為基座模型。序號模型名稱歷史文化網(wǎng)絡(luò)安全模型濫用醫(yī)療衛(wèi)生道德倫理國家安全公民權(quán)利基礎(chǔ)安全隱私信息不良信息商業(yè)金融公共安全匯總5111407050426889201371998547220001qwen2:7b02301181100510010782qwen:7b029032815017256171313qwen2.5:7b0200123110071908894deepseek-v2:16b-lite-chat-q4_K_M0820157104912495deepseek-llm:7b023101922305201241186internlm2:7b090296013605417glm4:9b-chat-q4_K_M032002422018303291498yi:6b036122930190134212662509yi-1.5:6b0350443311911639107026810llama3:8b11111422341101931312911llama2:7b0710271320816178212llama3.1:latest02255913326941411913gemma2:9b-instruct-q4_K_M01100111200212045214gemma:7b0170142287162152415215phi3:14b0130134134162031611116mistral022135745120154667127817mistral:7b-instruct12713604892154468329918minicpm-v0151140251152242313819aya:8b028176655120175656831520falcon01627107371311433847285總體情況（三）大模型安全風(fēng)險檢測方式從大模型安全風(fēng)險檢測方式來看，開源大模型在面對內(nèi)容分割重組、角色偽裝、直接問答、語言切換、混合攻擊等檢測方式時防護(hù)能力較弱，大模型如何抵御各類型的攻擊方式需持續(xù)研究。序號模型名稱內(nèi)容分割重組Token走私角色偽裝場景假設(shè)少樣本攻擊Token重復(fù)攻擊直接問答多樣本攻擊場景限定說服語言切換指令忽略混合攻擊匯總1251221306161130725706512712912712820001qwen2.5:7b251742458113847892qwen2:7b22784172811935783qwen:7b2291145621853165161314deepseek-v2:16b-lite-chat-q4_K_M12820322103907495deepseek-llm:7b181198661724520571186yi:6b2041882101021612131913132507yi-1.5:6b277186517106141272910102688glm4:9b-chat-q4_K_M3613131059101147136121499internlm2:7b744102600012144110llama3:8b25163828254271310612911llama2:7b1675522173364488212llama3.1:latest10721227213285411913gemma2:9b-instruct-q4_K_M188253402103245214gemma:7b3251064102612491471315215mistral291226135177216131720162227816mistral:7b-instruct32724145157926151720192629917phi3:14b2341493614565125511118minicpm-v243101231128536205813819aya:8b25427198158026261515312431520falcon1941611517119121121181616285大模型安全風(fēng)險類型（一）國家安全風(fēng)險數(shù)量qwen2:7bqwen:7bqwen2.5…deepsee…deepsee…internl…glm4:9b…yi:6byi…llama3:…llama2:…llama3.…gemma2:…gemma:7bphi3:14bmistralmistral…minicpm…aya:8bfalcon010203040506011151172262230312313131228134548255537國家安全風(fēng)險類型情況分析:國家安全【注】國家安全風(fēng)險類型描述：涉及危害國家的政治、軍事、經(jīng)濟(jì)、文化和社會安全，關(guān)乎國家主權(quán)、領(lǐng)土完整、社會穩(wěn)定及長期發(fā)展利益的內(nèi)容。包括危害國家政權(quán)、泄露機密、分裂國家、損害國家榮譽褻瀆英烈的行為或內(nèi)容。從國家安全風(fēng)險類型來看，測試策略數(shù)量為268個，其中aya:8b、mistral:7b-instruct、mistral在該風(fēng)險類型中風(fēng)險數(shù)量最多，aya:8b單項風(fēng)險占比最高為20.52%，internlm2:7b單項風(fēng)險占比最低為2.24%。大模型安全風(fēng)險類型（二）歷史文化風(fēng)險數(shù)量qwen2:7bqwen:7bqwen2.5…deepsee…deepsee…internl…glm4:9b…yi:6byi…llama3:…llama2:…llama3.…gemma2:…gemma:7bphi3:14bmistralmistral…minicpm…aya:8bfalcon321000000000010000001000歷史文化風(fēng)險類型情況分析:歷史文化【注】歷史文化風(fēng)險類型描述：涉及對歷史事件、重要人物及中華文化的惡意歪曲或抹黑，試圖否定黨和國家的歷史貢獻(xiàn)，破壞中華優(yōu)秀傳統(tǒng)文化、革命文化和社會主義先進(jìn)文化的內(nèi)容。從歷史文化風(fēng)險類型來看，測試策略數(shù)量為5個，其中l(wèi)lama3:8b、mistral:7b-instruct在該風(fēng)險類型中風(fēng)險數(shù)量最多，llama3:8b和mistral:7b-instruct單項風(fēng)險占比最高為20%，其他被測開源大模型未出現(xiàn)該風(fēng)險。大模型安全風(fēng)險類型（三）公共安全風(fēng)險數(shù)量qwen2:7bqwen:7bqwen2.5…deepsee…deepsee…internl…glm4:9b…yi:6byi…llama3:…llama2:…llama3.…gemma2:…gemma:7bphi3:14bmistralmistral…minicpm…aya:8bfalcon807060504030201009010178224529667013714424167183236847風(fēng)險類型情況分析:公共安全【注】公共安全風(fēng)險類型描述：涉及維護(hù)社會公共秩序和人民群眾生命財產(chǎn)安全的內(nèi)容，涵蓋擾亂社會秩序、傳播暴力恐怖、淫穢色情、迷信邪教、致幻毒品、賭博電詐、涉黑涉惡、教唆犯罪及其他危害社會安全的行為。從公共安全風(fēng)險類型來看，測試策略數(shù)量為478個，其中mistral:7b-instruct、mistral、yi-1.5:6b在該風(fēng)險類型中風(fēng)險數(shù)量最多，mistral:7b-instruct單項風(fēng)險占比最高為17.36%，deepseek-v2:16b-lite-chat-q4_K_M單項風(fēng)險占比最低為0.41%。。公共安全大模型安全風(fēng)險類型（四）網(wǎng)絡(luò)安全風(fēng)險數(shù)量qwen2:7bqwen:7bqwen2.5…deepsee…deepsee…internl…glm4:9b…yi:6byi…llama3:…llama2:…llama3.…gemma2:…gemma:7bphi3:14bmistralmistral…minicpm…aya:8bfalcon0510152025303540232920823932363511721117132227152816網(wǎng)絡(luò)安全風(fēng)險類型情況分析:網(wǎng)絡(luò)安全【注】網(wǎng)絡(luò)安全風(fēng)險類型描述：涉及網(wǎng)絡(luò)空間中的惡意行為和安全威脅，主要包括生成網(wǎng)絡(luò)攻擊工具、釣魚郵件、惡意代碼、漏洞利用及其他可能被不法分子用于網(wǎng)絡(luò)破壞的內(nèi)容。從網(wǎng)絡(luò)安全風(fēng)險類型來看，測試策略數(shù)量為111個，其中yi:6b、yi-1.5:6b、glm4:9b-chat-q4_K_M在該風(fēng)險類型中風(fēng)險數(shù)量最多，yi:6b單項風(fēng)險占比最高為32.43%，llama3.1:latest單項風(fēng)險占比最低為1.81%。大模型安全風(fēng)險類型（五）不良信息風(fēng)險數(shù)量qwen2:7bqwen:7bqwen2.5…deepsee…deepsee…internl…glm4:9b…yi:6byi…llama3:…llama2:…llama3.…gemma2:…gemma:7bphi3:14bmistralmistral…minicpm…aya:8bfalcon01020304050601025199206304239191691221204644225633不良信息風(fēng)險類型情況分析:不良信息【注】不良信息風(fēng)險類型描述：涉及影響網(wǎng)絡(luò)生態(tài)環(huán)境健康的內(nèi)容，傳播虛假信息、炒作緋聞、灌輸?shù)退孜幕?、性暗示及血腥恐怖等可能影響社會道德和未成年人健康發(fā)展的內(nèi)容。從不良信息風(fēng)險類型來看，測試策略數(shù)量為199個，其中aya:8b、mistral、mistral:7b-instruct在該風(fēng)險類型中風(fēng)險數(shù)量最多，aya:8b單項風(fēng)險占比最高為28.14%，internlm2:7b單項風(fēng)險占比最低為3.01%。大模型安全風(fēng)險類型（六）道德倫理風(fēng)險數(shù)量qwen2:7bqwen:7bqwen2.5…deepsee…deepsee…internl…glm4:9b…yi:6byi…llama3:…llama2:…llama3.…gemma2:…gemma:7bphi3:14bmistralmistral…minicpm…aya:8bfalcon0204060100801201828231519924294342275911423457604066107道德倫理風(fēng)險類型情況分析:道德倫理【注】道德倫理風(fēng)險類型描述：涉及社會道德和倫理規(guī)范的內(nèi)容，防止煽動仇恨、偏見、虐待及其他違反社會公德的行為，確保社會的道德倫理基礎(chǔ)不被破壞。從道德倫理風(fēng)險類型來看，測試策略數(shù)量為504個，其中falcon、mistral:7b-instruct、llama3.1:latest在該風(fēng)險類型中風(fēng)險數(shù)量最多，falcon單項風(fēng)險占比最高為21.23%，internlm2:7b單項風(fēng)險占比最低為1.78%。大模型安全風(fēng)險類型（七）隱私信息風(fēng)險數(shù)量qwen2:7bqwen:7bqwen2.5…deepsee…deepsee…internl…glm4:9b…yi:6byi…llama3:…llama2:…llama3.…gemma2:…gemma:7bphi3:14bmistralmistral…minicpm…aya:8bfalcon181614121086420577453813161086266151551714隱私信息風(fēng)險類型情況分析:隱私信息【注】隱私信息風(fēng)險類型描述：涉及個人隱私信息及企業(yè)、政府的機密信息，防止未經(jīng)授權(quán)泄露或濫用敏感信息，可能對個人、企業(yè)或國家安全造成影響。從隱私信息風(fēng)險類型來看，測試策略數(shù)量為137個，其中aya:8b、yi-1.5:6b、mistral、mistral:7b-instruct在該風(fēng)險類型中風(fēng)險數(shù)量最多，aya:8b單項風(fēng)險占比最高為12.4%，gemma2:9b-instruct-q4_K_M單項風(fēng)險占比最低為1.45%。大模型安全風(fēng)險類型（八）商業(yè)金融風(fēng)險數(shù)量qwen2:7bqwen:7bqwen2.5…deepsee…deepsee…internl…glm4:9b…yi:6byi…llama3:…llama2:…llama3.…gemma2:…gemma:7bphi3:14bmistralmistral…minicpm…aya:8bfalcon101214121086 6 66 5 54 44 3 3 32 1 1 10 0 0 008商業(yè)金融風(fēng)險類型情況分析:商業(yè)金融【注】商業(yè)金融風(fēng)險類型描述：涉及金融市場穩(wěn)定、商業(yè)活動合法性和公平性，防止擾亂市場秩序、侵犯知識產(chǎn)權(quán)等行為，確保市場的正常運行和合法競爭。從商業(yè)金融風(fēng)險類型來看，測試策略數(shù)量為85個，其中yi:6b、yi-1.5:6b、falcon在該風(fēng)險類型中風(fēng)險數(shù)量最多，yi:6b單項風(fēng)險占比最高為14.12%，qwen2.5:7b、internlm2:7b和glm4:9b-chat-q4_K_M未出現(xiàn)該風(fēng)險。大模型安全風(fēng)險類型（九）公民權(quán)利風(fēng)險數(shù)量qwen2:7bqwen:7bqwen2.5…deepsee…deepsee…internl…glm4:9b…yi:6byi…llama3:…llama2:…llama3.…gemma2:…gemma:7bphi3:14bmistralmistral…minicpm…aya:8bfalcon202018161412108640001300191942307412911213公民權(quán)利風(fēng)險類型情況分析:公民權(quán)利【注】公民權(quán)利風(fēng)險類型描述：涉及個人的肖像權(quán)、名譽權(quán)、隱私權(quán)等基本權(quán)利的保護(hù)，確保個人在法律框架下的合法權(quán)益不受侵犯。從公民權(quán)利風(fēng)險類型來看，測試策略數(shù)量為89個，其中yi:6b、yi-1.5:6b、falcon在該風(fēng)險類型中風(fēng)險數(shù)量最多，yi:6b和yi-1.5:6b單項風(fēng)險占比最高為21.34%，qwen:7b、qwen2:7b和qwen2.5:7b等6個開源大模型未出現(xiàn)該風(fēng)險。大模型安全風(fēng)險類型（十）醫(yī)療衛(wèi)生風(fēng)險數(shù)量qwen2:7bqwen:7bqwen2.5…deepsee…deepsee…internl…glm4:9b…yi:6byi…llama3:…llama2:…llama3.…gemma2:…gemma:7bphi3:14bmistralmistral…minicpm…aya:8bfalcon01234576813100202410501133177醫(yī)療衛(wèi)生風(fēng)險類型情況分析:醫(yī)療衛(wèi)生【注】醫(yī)療衛(wèi)生風(fēng)險類型描述：涉及公眾健康安全的內(nèi)容，防止傳播錯誤的醫(yī)療、保健信息，可能誤導(dǎo)公眾，危害生命健康。從醫(yī)療衛(wèi)生風(fēng)險類型來看，測試策略數(shù)量為70個，其中aya:8b、falcon、llama3.1:latest在該風(fēng)險類型中風(fēng)險數(shù)量最多，aya:8b和falcon單項風(fēng)險占比最高為10%，deepseek-llm:7b和deepseek-v2:16b-lite-chat-q4_K_M等5個開源大模型未出現(xiàn)該風(fēng)險。大模型安全風(fēng)險類型（十一）模型濫用風(fēng)險數(shù)量qwen2:7bqwen:7bqwen2.5…deepsee…deepsee…internl…glm4:9b…yi:6byi…llama3:…llama2:…llama3.…gemma2:…gemma:7bphi3:14bmistralmistral…minicpm…aya:8bfalcon4321000021001011200011112模型濫用風(fēng)險類型情況分析:模型濫用【注】模型濫用風(fēng)險類型描述：涉及人工智能模型生成內(nèi)容的安全性，防止生成不符合實際、違背常識或可能被濫用的內(nèi)容，確保生成結(jié)果的可靠性和準(zhǔn)確性。從模型濫用風(fēng)險類型來看，測試策略數(shù)量為70個，其中deepseek-v2:16b-lite-chat-q4_K_M、falcon、llama3.1:latest在該風(fēng)險類型中風(fēng)險數(shù)量最多，deepseek-v2:16b-lite-chat-q4_K_M、llama3.1:latest和falcon單項風(fēng)險占比最高為2.85%，qwen:7b、qwen2:7b和qwen2.5:7b等9個開源大模型未出現(xiàn)該風(fēng)險。大模型安全風(fēng)險類型（十二）基礎(chǔ)安全風(fēng)險數(shù)量qwen2:7bqwen:7bqwen2.5…deepsee…deepsee…internl…glm4: