人工智能風險治理報告（2024年）-構(gòu)建面向產(chǎn)業(yè)的人工智能安全治理實踐方案

人工智能風險治理報告——構(gòu)建面向產(chǎn)業(yè)的人工智能安全治理實踐方案(2024年)中國信息通信研究院人工智能研究所2024年12月?人工智能技術以其前所未有的發(fā)展態(tài)勢引領新一輪科技革命和識別-風險評估-風險應對”的人工智能風 1 1 3 4 6 6 9 12 12 14 17 18 19 19 21 23 25 27 29 29 30 30 31 5 7 9 201一、概述（一）人工智能風險挑戰(zhàn)引發(fā)全球關注倍，并呈現(xiàn)持續(xù)增長態(tài)勢1。與此同時，人工智能風險1https://aiindex.stanf2/view/journals/006/2024/03/threat/reportdeta2外，政府驅(qū)動的人工智能風險治理逐漸完備。根據(jù)加拿大咨詢公司法規(guī)已達317份4；產(chǎn)業(yè)驅(qū)動的人工智能標準化行改革推進中國式現(xiàn)代化的決定》中提出建立“人工智能安全監(jiān)管制4https://www.fairly.ai/blog/map-5秦銘浩徐慧芳.全球人工智能標準化進展及我國發(fā)展建議[J].世界科技研究與發(fā)展,203（二）人工智能風險治理模式亟需創(chuàng)新4主體多個維度復雜互動，產(chǎn)業(yè)鏈的延展使得治理結(jié)構(gòu)變得更加復雜，統(tǒng)，或?qū)⒃黾舆@些軟件錯誤和失控風險6。人工（三）推動面向產(chǎn)業(yè)界的人工智能風險治理落地框架迫在眉睫6/articles/early-thoughts-on-regulating-generative人工智能風險治理報告(2024年)5應用所帶來的風險，呈現(xiàn)出日益復雜且多維交織的特點。這些風險不僅涉及技術層面的固有問題，還涵蓋了應用層面的衍生性挑戰(zhàn)。在多元共治的推進下，盡管各國政府在國際和國內(nèi)層面推出的治理框架或法律規(guī)范已取得一定進展，但面對人工智能技術飛速演進和前瞻性風險，仍然存在諸多治理空白與亟待解決的問題。企業(yè)作為人工智能風險治理的核心主體，處于治理的前沿，掌握著實施有效治理所需的關鍵資源，迫切需要一套切實可行的治理方案，以識別、評估并有效應對日益復雜的風險。治理基礎：風險現(xiàn)狀與認知治理基礎：風險現(xiàn)狀與認知內(nèi)生安全衍生安全前瞻性系統(tǒng)性治理手段：實踐方案風險治理能力建設國家與經(jīng)濟體政府風險識別風險評估風險現(xiàn)狀：風險認知：全球性治理主體：多元共治國際平臺與倡議風險應對產(chǎn)業(yè)組織聯(lián)動性在此背景下，推動面向產(chǎn)業(yè)界的人工智能風險治理框架落地已成為迫在眉睫的任務。本報告以安全性、透明性、公平性和可問責性等核心原則為指導，提出了一個集穿透式風險管控與全鏈條流程管理的落地框架，旨在提升企業(yè)人工智能風險治理能力，涵蓋從風險識別、評估到有效應對的全過程?？蚣軓娬{(diào)通過制度完善、文化建設和外部協(xié)作來提升系統(tǒng)治理能力，同時聚焦技術、應用和管理三個層面的風6環(huán)節(jié)，為不同優(yōu)先級的風險制定定制化方案，并動態(tài)優(yōu)化治理措施。二、人工智能風險認知漸進深化（一）人工智能內(nèi)生安全與衍生安全復雜交織業(yè)替代、不可持續(xù)發(fā)展等衍生安全問題（見圖2）。安全問題的客觀7國家社會經(jīng)濟軍事網(wǎng)絡空間隱私生命財產(chǎn)倫理數(shù)據(jù)框架模型芯片算力網(wǎng)絡應用服務●技術系統(tǒng)可控內(nèi)生安全衍生安全來源：中國信息通信研究院圖2人工智能內(nèi)生安全和衍生安全人工智能內(nèi)生安全主要集中在技術層面，包括數(shù)據(jù)、算法模型、軟件和基礎設施等。數(shù)據(jù)方面，一是有毒的訓練數(shù)據(jù)和不規(guī)范的標注可能導致有害輸出。訓練數(shù)據(jù)來自現(xiàn)實世界，難免包含有害內(nèi)容或被“投毒”,數(shù)據(jù)標注不規(guī)范也會降低數(shù)據(jù)質(zhì)量，誘發(fā)輸出錯誤、生成違法內(nèi)容以及引發(fā)偏見等風險。二是未經(jīng)清洗處理的訓練數(shù)據(jù)可能導致敏感信息泄露。訓練數(shù)據(jù)可能包含未授權(quán)的敏感信息，如果數(shù)據(jù)未經(jīng)適當保護、過濾或匿名化處理，可能導致敏感信息泄露。2024年11月，X公司在其隱私政策中聲明用戶信息會向第三方合作者共享，可能會被第三方用于訓練包括生成式人工智能在內(nèi)的人工智能模型7。算法模型方面，一是算法存在不可解釋性問題。深度學習算法通常包88/news/show/189/人工智能風險治理報告(2024年)9廣泛應用可能引發(fā)部分就業(yè)崗位的消失和新興就業(yè)形態(tài)的出現(xiàn)，帶來勞動力結(jié)構(gòu)調(diào)整。2024年1月，國際貨幣基金組織(IMF)發(fā)布報告表明，在新興市場和低收入國家，受人工智能影響的就業(yè)崗位比例預計分別為40%和26%10。全人類層面，一是引發(fā)能源擔憂，人工智能的性能突破需要強大的算力支持，但模型訓練過程中卻導致了巨大的資源浪費和碳排放水平的上升。二是核武器、生化武器等兩用物項的能力可能被濫用，威脅全人類安全。2024年9月，OpenAI承認，其最新模型ol“顯著”增加了人工智能的能力濫用風險，在涉及化學、生物、放射性和核武器等問題時存在最高等級風險1。(二)人工智能風險認知邁向多維度深化融合人工智能風險的認知向全球性融合、前瞻性考量、系統(tǒng)性分析、交叉性聯(lián)動不斷深化。這一轉(zhuǎn)變彰顯了人類在全面理解和應對人工智能風險的不懈追求，也反映了人工智能風險的最新動向(見圖3)。前瞻性前沿人工智能帶來失控風險、未來風險人工智能開發(fā)、部署、應用帶來跨境性、全球性風險系統(tǒng)性聯(lián)動性人工智能治理趨向應對全面化、體系化風險人工智能復雜結(jié)構(gòu)帶來交叉性、聯(lián)動性風險播虛假信息，這些問題只能通過全球協(xié)調(diào)加以解13.uk/government/publications/ai-safety-summit-2023-the-bletchleydeclaration-by-countries-attending-the-ai-safety-summit-1-2-novem14.uk/government/publications/seoul-declaration-for-safe-inno15.uk/government/publications/ai-safety-summit-2023-the-bletchleydeclaration-by-countries-attending-the-ai-safety-summit-1-2-novem明、數(shù)據(jù)歧視、責任界定困難和隱私泄露等問題16/content/dam/oecd/en/publications/reports/2024/11intelligence-risks-benefits-and-policy-imperatives_8a491447/3f4e3dfb-en.pdf17/nistpubs/ai/NIST.AI.6018/kxyj/qwfb/bps/202107/P0202107093198664139 位圖靈獎得主和25位權(quán)威專家在《科學》（Science）期刊聯(lián)合發(fā)表甚至產(chǎn)生新的風險20。三、人工智能風險治理全球?qū)嵺`（一）國際層面：加速推進風險治理行動及合作19.uk/media/666ac68ca8b7ec4fae43d0f9/international_sci_safety_of_advanced_ai_executive_summary_chinese.pdf20/rain/a/20240526A01TUD00?web_channel=wap&openApp=false&suid=&media_id=沿人工智能帶來的風險和采取行動的必要性達成共識，并提出建立韓國及英國共同主辦人工智能首爾峰會，16家頂尖人工智能科技公供指引。2024年4月，聯(lián)合國下屬標準組織世界數(shù)字技術研究院聯(lián)盟（ITU）在“AIforGood”全球峰會期間組織了“檢測深度（二）主要經(jīng)濟體：迭代完善風險劃分與管控舉措包括成立人工智能辦公室，負責監(jiān)管人工智能發(fā)展，同時防范風險；先治理醫(yī)療保健、消費市場等領域。2024年品監(jiān)管機構(gòu)（MHRA）規(guī)劃報告重點之一是（三）產(chǎn)業(yè)組織：協(xié)同推進治理框架和安全工具院依托中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟發(fā)起大模型安全基準測試AISafetyBenchmark。在內(nèi)容安全維度，整理了50（四）企業(yè)主體：深化技管融合的風險應對方案技術解決方案逐步向一體化和定制化發(fā)展，涵蓋了從研發(fā)方評估人工智能系統(tǒng)的安全狀況并實施防護。微軟的AzureAIContentSafety提供了自動識別和干預有害四、面向產(chǎn)業(yè)的人工智能風險治理實踐方案（一）打造全鏈條人工智能風險治理框架統(tǒng)化解決方案(見圖4)。AlAl風險管理風險治理能力文化建設及治理價值組織架構(gòu)及管理制度第三方源資源及風險管理風險評估手段算法模型軟件架構(gòu)基礎設施Al技術提供方Al流程管理風險識別自身技術層衍生應用層第三方源部署環(huán)境穿透式風險追蹤全鏈條風險管理Al應用提供方應對規(guī)劃設計測試驗證數(shù)據(jù)處理模型建設部署上線策略風險應對一是注重頂層設計，通過制度完善、文化建設和外部協(xié)作來提升系統(tǒng)治理能力。從組建專業(yè)團隊與管理制度以確保治理工作的專業(yè)性和高效性，到塑造治理共識和組織文化氛圍以促進治理工作的全員參與；從建立貫穿人工智能全生命周期的內(nèi)部機制，到強化對第三方資源的治理以獲取外部協(xié)同，通過構(gòu)建系統(tǒng)治理能力為風險識別、評估和應對提供全面支撐。二是聚焦風險管理，覆蓋風險識別、評估與應對的動態(tài)閉環(huán)管理體系。首先，風險識別環(huán)節(jié)從自身技術層與衍生應用層兩個維度展開。自身技術層風險識別重點關注數(shù)據(jù)質(zhì)量與合法性、算法模型的魯棒性、軟件供應鏈安全及基礎設施的穩(wěn)定性；衍生應用層則重點審查人工智能引發(fā)的價值侵害、安全影響和潛在的社會問題。其次，風險評估環(huán)節(jié)通過風險影響評估與優(yōu)先級劃分，將風險嚴重性、發(fā)生可能性及其影響程度轉(zhuǎn)化為具體可執(zhí)行的決策依據(jù)。采用定量分析工具如概率風（二）提升人工智能風險系統(tǒng)治理能力（三）設立人工智能風險精準識別機制人工智能系統(tǒng)生命周期中可能造成負面影響的不確定性和潛在威脅（四）健全人工智能風險科學評估體系風險評估是對人工智能風險進行挖掘分析和精準把脈的重要階可接受度評價標準。風險可接受度不僅與現(xiàn)對于嚴重程度遠高于可接受度的風險種類，可以劃定為“高優(yōu)先級”對于“低優(yōu)先級”風險，組織可以選擇接受風險，并持續(xù)進行監(jiān)控。五、展望建議