人工智能治理藍皮書（2024年）

1 3 4 6 12 16 19 27 33 33 39 43 48 49 49 50 51 2 3 5 8 30 43 8 1一、人工智能治理面臨復雜多變新形勢（一）人工智能行業(yè)高速增長，商業(yè)生態(tài)分化形態(tài)初現(xiàn)模來看，受人工智能存儲、服務(wù)器等基礎(chǔ)設(shè)施市場拉動，2024年全球人工智能產(chǎn)業(yè)收入高速增長。據(jù)IDC預測，2024年全球人工智能產(chǎn)業(yè)收入規(guī)模達6421.8億美元，同比增長22.2%。1從企業(yè)財務(wù)表現(xiàn)來源：根據(jù)IDC數(shù)據(jù)整理1IDCAsia/PacificAIMaturityStudyel.in/content/dam/www/central-libraries/us/en/documents/2024-04/idc-infobrief-asurity-study-2024-india.pdf2從投融資來看，2022-2024年前三季度，全球投資持續(xù)低迷，融資占全行業(yè)融資比例持續(xù)上升，從2022年的6.1%上升至2024年前季度，全球巨額融資金額為265.6億美元，同比上升148%，融資筆來源：根據(jù)CBInsights數(shù)據(jù)整理從企業(yè)數(shù)量來看，截至2024年第三季度，全球人工智能企業(yè)數(shù)3來源：中國信息通信研究院（二）人工智能技術(shù)深刻變革，挑戰(zhàn)政府傳統(tǒng)監(jiān)管能力2AI100:Themostpromisingartificialintelligencestartupsof/research/report/artificial-intelligence-top-s4審查工具。斯坦福大學《2024年人工智能指（三）國際合作取得關(guān)鍵成果，各國治理共識差異并存3AIindexreport.StanfordInstituteforHuman-CenteredArtificialIntell/research/ai-index-rep5來源：HLAB-AI《治理人工智能，助力造福人類》終期報告國對技術(shù)發(fā)展不平衡帶來的“智能鴻溝”問題表示憂慮。例如G20主席國巴西將“人工智能資產(chǎn)和基礎(chǔ)設(shè)施分布不均”作為優(yōu)先議4/s/1mZkQCL4Z8DfFEJs9eUXpg.6（四）人工智能技術(shù)風險加劇，亟需搭建完善治理框架1.人工智能風險的系統(tǒng)認識生成“幻覺（Hallucination）”問題導致生成內(nèi)容不可信風險。生成幻覺通常指模型按照流暢正確的語法規(guī)則產(chǎn)生的包含虛假信息甚至無意義內(nèi)容的文本。OpenAI公司前首席技術(shù)官MiraMurati指出，底層大型語言模型的最大挑戰(zhàn)是會編造錯誤的或不存在的事實。65《全球人工智能治理評估指數(shù)(AGILE指數(shù))正式發(fā)布，首次評估解碼全球人工智能治理新格局》，載深圳市人工智能產(chǎn)業(yè)協(xié)會官網(wǎng)，/page142?article_id6Radulovski,A.(2024,January4).Unveiling7interesti/en-us/blog/unveiling-7-interesting-facts-about-mira-murati-openais-7的行政工作和44%的法律工作將受到較高程度的影響。7人工智能可 前沿人工智能引發(fā)的生存性風險受到關(guān)注，從英國主導的系列AI安的生存性風險。Anthropic與頂級生物安全專家一起對其模型進行紅7ArtificialIntelligence.GoldmanSachs./ins8StanfordHAI.(2023).ArtificialIntelligenceIndexReport2023./report/.8來源：中國信息通信研究院2.人工智能治理的體系框架研究機構(gòu)等均嘗試從不同視角維度搭建人工智能治理1組234月95月織6美國NIST78院9院月院月學人工智能治理和審計組織月織來源：中國信息通信研究院人工智能治理的流程性。例如美國NIST框合國系統(tǒng)人工智能治理白皮書》提出基于計算機硬件-云平臺人工智能模型-應(yīng)用程序-服務(wù)的人工智能價值鏈，并針對不出存在的風險問題。哈佛大學AI治理框架提出社會和法律層、道德層和技術(shù)層三層框架等。芬蘭圖爾庫大學AI治理框架提出人工智能Deepmind等企業(yè)均提出前沿人工智能的風險管理框架。以Deepmind施、明確風險閾值，以及問責制、透明度等保障機來源：中國信息通信研究院發(fā)展變革和歷史經(jīng)驗出發(fā)，在“以人為本、智能基于產(chǎn)業(yè)鏈條、治理鏈條、價值鏈條等底層邏輯，從What、Why、工智能治理指明了根本性方向。框架整體以“以人為本、智能向善”理等問題，提出基于產(chǎn)業(yè)鏈的“要素+場景”治理；可持續(xù)發(fā)展是人國2030年可持續(xù)發(fā)展目標實現(xiàn)。在安全方面，安全可控是人工智能二、人工智能治理的核心議題進展及趨勢（一）基于產(chǎn)業(yè)鏈的治理：全要素推進負責任創(chuàng)新1.數(shù)據(jù)層，高質(zhì)量數(shù)據(jù)集的供給存難題LanguageModels》中提出大語言模型所遵循的“縮放法則”9，即增則方面，相關(guān)訴訟糾紛和監(jiān)管處罰不斷。美國各地法院已受理超19歌未向訓練數(shù)據(jù)版權(quán)人支付費用，對其處以2.5億歐元罰款。要用戶同意。2024年7月，韓國發(fā)布了《關(guān)于處理公開數(shù)據(jù)以開發(fā)9ScalinglawsforneurallangOpenAI./index/scaling-laws-for-neural-language-models/.10參見《法國監(jiān)管方對谷歌侵犯版權(quán)行為罰款2.5億歐元》，https:/2024年10月，英國政府就AI訓練中的“選擇退出”版權(quán)制度進行回了RawStory和Alternet針對OpenAI聊天機器人訓練數(shù)據(jù)提起的版權(quán)訴訟。13法官認為，原告尋求救濟的真正原因是OpenAI未經(jīng)授權(quán)使用其文章進行AI訓練且未提供補償，但這種損害缺乏版權(quán)法依2.模型層，開源模型的生態(tài)治理引爭議13https://roninlegal.in/raw-story-media-amp-alternet-media-inc-v-openai-legal-implications-for-ai-and-cop14GovAI發(fā)布報告指出，高能力模型可能人工智能許可證（RAIL），以限制危險用例。Meta開源的Llama2配備了安全措施和負責任使用指南，以幫助對其進行安全部府方面，OpenAI建議各國政府投資建立評估模型的實驗平臺，并針3.應(yīng)用層，分級分類的具體標準不明確14Dual-useFoundationmodelswithwidelyavailablemodelweightsreport.Dual-UseFoundationModelswWidelyAvailableModelWeightsRepoJuly30)./issues/artificial-intelligence/open-model/rain/a/202電力與信息技術(shù)協(xié)會VDE根據(jù)歐盟《人工智能法》推出類似的風險（二）確保技術(shù)普惠共享：多維度促進可持續(xù)發(fā)展1.經(jīng)濟層面，亟待彌合智能鴻溝問題16Colocation,cloudandconnectivity.DataCenterMap.http利福尼亞大學的一項研究顯示，高達50%的人工智能訓練數(shù)據(jù)源自12家頂尖機構(gòu)，其中10家為美國機構(gòu)。17三是全球?qū)θ斯すぶ悄苋瞬抛粉?.0》報告顯示，頂尖人才集中趨勢明顯，美國匯聚2.社會層面，全面應(yīng)對文化偏見問題外AI繪畫技術(shù)被認為侵蝕非西方文化價值觀。在非洲黑人藝術(shù)家使17UCAiWorkingGroupFinalReport./ethics-compliance-audit-services/compliance/uc-ai-working-group-final-report.pdf.18TheGlobalAiTalenttracker/digital-projects/the-global-印度聯(lián)邦政府宣布推出預算12.5億美元的“印度人工智能計劃”，3.環(huán)境層面，有效化解能源短缺問題預警人工智能將面臨能源短缺問題。在博世互聯(lián)世界2024大會上，馬斯克表示，人工智能算力每6個月就會提升10倍，能發(fā)展的關(guān)鍵因素。從算力和數(shù)據(jù)需求來看，AI芯片朝高算力、高段占據(jù)了AI系統(tǒng)約60%的能量消耗。據(jù)SemiAnalysis研究，一次由19AVisionforSovereignAI:India’sColl27)./2024/02/a-vision-for-sovereign-ai-indias-collaboration-with-nvidia/./s/NXnzHYLPsIUVPfJkv-/s/PAam源部國家實驗室發(fā)布《AI能源前沿研究方向》報告，提出加速清潔能源應(yīng)用，以應(yīng)對AI能源挑戰(zhàn)的戰(zhàn)略構(gòu)想。22二是加大對可再采用剪枝、量化、蒸餾等先進技術(shù)大幅降低能耗。英特爾推出的AI（三）制度技術(shù)治理并進：全生命周期確保安全可控1.制度應(yīng)對：事前事中事后全流程監(jiān)管方案息共享機制”23，在各國實踐中率先從規(guī)則走向?qū)嵺`。各國對22AIforEnergyR/ai/reference/ai-for-energy-rep參見高小芳.作為新型信息規(guī)制工具的行政備案：角色變遷、功能定位與效能保障[J].中國行政管理,2021(09):26-33.業(yè)、金融等領(lǐng)域的人工智能劃入法律監(jiān)管范則要求醫(yī)療、交通等場景下高風險人工智能三是用戶數(shù)標準。2024年9月美國加利福尼亞州通過的《人工智能2024年8月，為有效應(yīng)對前沿人工智能風險，美國參議院人工智能驗金融服務(wù)領(lǐng)域的前沿人工智能技術(shù)。歐盟《人工智能法》第53條專項基金支持；瑞士蘇黎世州承諾在AI監(jiān)管沙盒中開放新數(shù)據(jù)源。北京AI數(shù)據(jù)訓練基地監(jiān)管沙盒允許企業(yè)采用弱版權(quán)保護政策等激活26曹政：《國內(nèi)第一個人工智能數(shù)據(jù)訓練基地、北京最大的公共算力平臺同日啟用最強算力設(shè)施練就“最強大腦”》，載《北京日報》，/y要方向。2024年3月，美國國家電信和信息化管理局發(fā)布的《人工打破了創(chuàng)作者-提供者的二分結(jié)構(gòu)，應(yīng)靈活適用“避風港”規(guī)則。我2.技術(shù)治理：以技治技化解新技術(shù)內(nèi)生風險國商務(wù)部國家電信和信息管理局就大模型的評估標準廣泛公開征求示，截至2023年底，產(chǎn)學研各界已經(jīng)累計報告了325項與大模型基.uk/government/news/ensuring-trust-in-ai-to-unlo多家企業(yè)聯(lián)合推出的大模型安全基準測試（），該測試構(gòu)建了300余萬條關(guān)鍵詞，50余萬條提示詞規(guī)模的測試數(shù)據(jù)成了對30余個大模型的評估工作。二是測評數(shù)據(jù)集，這類測試對于用。例如，上海人工智能實驗室的司南OpenCompass平臺，集成了58項評測數(shù)據(jù)集，覆蓋從基礎(chǔ)對話到醫(yī)療、法律、視覺識別等多個來源：中國信息通信研究院主張建立便于用戶區(qū)分生成內(nèi)容的標識與檢測制度。2024年3月，容的可信程度。我國國家網(wǎng)信辦在2024年9月發(fā)布《人工信息傳播平臺在顯性標識方面的責任，AI服務(wù)提供者需對生成的文或視覺標記；信息傳播平臺需核驗標識內(nèi)容，及時補充不規(guī)范標并提供直觀說明以保障公眾知情權(quán)。2023年下半年至今，內(nèi)容標識式人工智能服務(wù)內(nèi)容標識方法》進一步明確顯式和隱式水印的定谷歌、微軟、OpenAI等七家美國人工智能巨頭就做出自愿承諾，同意在生成音頻和視頻內(nèi)容上使用水印來幫助識別人工智能生成的內(nèi)28顯性標識即用戶通過肉眼可以觀察到水印內(nèi)容的標識，29隱性標識主要指通過在圖片、音頻、視頻等文件元數(shù)據(jù)中添加擴泛應(yīng)用在模型風險管理中。紅隊測試（RedTeaming）起源于軍事演習的模擬攻擊，通過制造特定語境施加對抗壓力，主動使AI被誘導Anthropic等企業(yè)探索紅隊測試方式降低模型風險，面向全球招募各爭力之一。微軟人工智能部門提出了負責任AI紅隊測試框架，其內(nèi)容包括紅隊成員的招募、測試內(nèi)容和流程的確定等。Anthropic在其3031ryan_greenblatt,Evhub,Denison,C.,Wright,技術(shù)主要表現(xiàn)為基于人類反饋的強化學習（ReinforcementLearning（四）人機關(guān)系如何重塑：新型風險中推動倫理先行人工智能削弱人類交互自主性33、改變勞動市場和社會結(jié)構(gòu)、Buck.(n.d.).Alignmentfakinginlargelanguagemod/posts/njAZwT8nkHnjipJku/alignment-faking-in-larg32Neufeld,D.(2024,June1).VisualizingthetrainingcostsofAImodelso/training-costs-of-a1.情感陪伴威脅人類交互主體性發(fā)布GPT-4o，該模型可以感知用戶情緒，例如從急促的喘氣聲中理際交往中充滿了多樣性和復雜性，包括負面反饋和情感挫折theor音助手GoogleAssistant中包含情感識別功能，能夠根據(jù)用戶的情緒間管理和提醒功能，根據(jù)用戶與AI的互動頻率2.勞動替代快于崗位創(chuàng)造引發(fā)就業(yè)擔憂35Eloundou,T.,Manning,S.,MLLMS.Science,384(6702),1306–1308./10.900個職業(yè)和歐盟2000個職業(yè)的工作任務(wù)進行分析認為，人工智能將完全替代美國7%的工作崗位，并推動63%的崗位向人機協(xié)同的方工智能和勞動世界的未來》中指出，人工智能預計將對全球近40%發(fā)展與應(yīng)用，到2030年我國將有2.2億勞動力需要進行技能升級或來源：OpenAI36Thepotentiallylargeeffectsofartificialintelligenceoneconomicgrowth(Briggs/Kodnani).(n./content/research/en/reports/2023/03/27/d64e052b-0f6e-45d7-967b-d37Cazzaniga,M.,Jaumotte,F.,Li,L.,Melina,intelligenceandthefutureofwork.InternationalMonetaryFund.布《未來職業(yè)報告》顯示39，50%的企業(yè)認為人工智能技術(shù)將增加工2023年8月，百度智能云與?？谑姓献鞴步ǖ膰鴥?nèi)首個大模型面對人工智能對勞動市場帶來的影響，應(yīng)重點關(guān)注AI替代就業(yè)智能驅(qū)動的工作場所。谷歌承諾投入2500萬歐元，將用于幫助“最39TheFutureofJobsReport2023.WorldEconomicForum./publications/the-future-of-3.智能失控潛藏人類生存性風險引爭議通用人工智能是否會引發(fā)生存性風險成為新一輪人工智能治理至滅絕風險。40一方面，過度依賴人工智能可能導致人類決策權(quán)讓渡從而與人類的控制目標發(fā)生沖突。YoshuaBengio曾提出思想實驗：Shalev-Shwartz,S.,HadfA.,Krueger,D.,…Mindermann,S.(2024)842–845./10.1126/science.adn業(yè)家雜志，/s/q73Nvb力閾值”作為“風險閾值”的替代方案，例如Anthropic發(fā)布《負責三、多元主體協(xié)同推進人工智能治理進程（一）主要經(jīng)濟體政府監(jiān)管模式各異，規(guī)則落地取得實質(zhì)進展1.美國堅持促進創(chuàng)新的治理理念，多部門協(xié)同推進落地圖》《關(guān)于利用人工智能實現(xiàn)國家安全目標的備忘錄》等政策42Mitchell,M.(2024).DebatesonthenatureofArtificialGeneralIntelligence.Science,383(66/10.1126/science.ado7069.域發(fā)布安全框架。45三是多方位參與人工智能國際合作，搭建安全研2.歐盟正式出臺人工智能立法，加速人工智能監(jiān)管落地43DemocratizingthefutureofAIR&D:NSFtolaunchNationalAIResearchResourcepilot./news/democratizing-future-ai-rd-nsf-lau44/technology/us-proposes-requiring-reporting-advanced-ai-cloud-providers-2024-09-045/ostp/news-updates/2024/04/29/framework-for-nucleic-acid-synthesis-scre46/zh/story/2024/03/1127556為核心，輔以《通用數(shù)據(jù)保護條例》《數(shù)字10億以上參數(shù)或浮點算力超過1025的通用目的人工智能，在履 響評估、透明度之外，還需承擔對抗性測試、嚴能監(jiān)管網(wǎng)絡(luò)。2024年5月，歐盟正式成立人工智能辦公室，全面負管機構(gòu)。48二是法案解釋方面，制定準則指南等具體實施細則。47https://digital-strategy.ec.europa.eu/en/news/commission-establishes-ai-office-strengthen-eu-leadership48https://eur-lex.europa.eu/eli/reg/2024/1689/oj是在國際合作方面，推動形成國際法約束規(guī)則。2024年9月，歐盟3.我國構(gòu)建四大層級制度體系，初步形成三項落地舉措體目標和規(guī)劃，到2020年，部分領(lǐng)域的人工智能倫理規(guī)范和政策法規(guī)初步建立。2025年，初步建立人工智能法律法規(guī)、倫理規(guī)范和政策體系，形成人工智能安全評估和管控能力。2030年，建成更加完49https://digital-strategy.ec.europa.eu/en/news/commission-signs-council-europe-framework-convention-artifi50/pub/sfbgw/zwgkztzl/xxxcgcxjpfzsx/fzsxllqy/202409/t20《人工智能安全治理框架》1.0版來源：中國信息通信研究院部門規(guī)章方面，我國人工智能治理自2017年起至今經(jīng)歷了三個階段，體現(xiàn)出急用先行的治理特點。第一階段（2017-2020年），技要求涉及新技術(shù)和新應(yīng)用的新聞信息服務(wù)開展安全評估階段（2021-2022年），算法推薦技術(shù)逐漸成為數(shù)字經(jīng)濟濫用的典型表現(xiàn)包括“大數(shù)據(jù)殺熟”、信息繭房效應(yīng)、），建立健全算法機制機理審核、科技倫理審查、用戶注冊、信息發(fā)布審核、數(shù)據(jù)安全和信網(wǎng)絡(luò)詐騙、安全評估監(jiān)測、安全事件應(yīng)急處置等管理制度和技術(shù)措施，制定并公開則，配備與算法推薦服務(wù)規(guī)模相適應(yīng)的專業(yè)人員和技術(shù)支撐?！鄙墒紸I服務(wù)提供者的責任，包括確保數(shù)據(jù)來源合規(guī)、生成內(nèi)容的準，為企業(yè)合規(guī)提供具體指引。2020年7月，國家標準化管理委員治理標準進行了明確規(guī)定。2024年2月，全國網(wǎng)絡(luò)安全標準化技術(shù)為生成式人工智能服務(wù)提供者的合規(guī)義務(wù)履行提供詳細指導。2024等七方面明確標準化體系建設(shè)的重點方向，提出到2026年，我國人準和行業(yè)標準50項以上，引領(lǐng)人工智能產(chǎn)業(yè)高質(zhì)量發(fā)展的標準體系加快形成。2024年9月，國家網(wǎng)信辦發(fā)布強制性《網(wǎng)絡(luò)安全技術(shù)人框架方面，《人工智能安全治理框架》1.0版本的發(fā)布進一步完善了治理的落地指引工作。這一框架分為7個子類，共26項具體內(nèi)容，（二）企業(yè)和專業(yè)機構(gòu)等主體創(chuàng)新探索，形成協(xié)同共治愿承諾、自我約束的方式參與AI治理。2023年，先后兩批共15家以顯性標識為例，《網(wǎng)絡(luò)安全技術(shù)人工智能生成GPT而引發(fā)的版權(quán)糾紛；提出漏洞賞金計劃等。Anthropic公司發(fā)起2023年以來，谷歌、Meta、亞馬遜等廠商接連升級大模型產(chǎn)品，激看，大模型廠商打響價格戰(zhàn)，各大企業(yè)通過降價策略搶對齊團隊兩位負責人接連離職，OpenAI進而解散了代表公司安全負53/briefing-room/statements-releases/2023/09/12/fact-sheet-biden-harris-admionsecures-voluntary-commitments-from-eight-additional-artificial-intelligence-companies-to-manage-the54IBMResearch,‘IBMArtificialIntelligencePillars’(30August2023),/policy/ibm-artificial-intelligenc55/news/claudes-constitut的作用。一是美國國家標準與技術(shù)研究所（NIST）為代表的標準化NIST風險管理框架對接，同時相關(guān)成果被納入拜登政府《14110號在新加坡信息、通信及媒體發(fā)展管理局（IMDA）支持下，基金會通過開放編輯和全球協(xié)作開發(fā)AI檢測工具，共享人工智能測試框架、代碼庫、標準和最佳實踐。例如，聯(lián)合其他設(shè)計伙伴推出Project推進機構(gòu)（IPA）等。國內(nèi)來看，包括中國信通院、中國科學院、上56/news-events/news/2023/06/biden-harris-administration-announces-new-nist-public57https://aiverifyfoundation.sg/project-moonshot/始成員和合作者，聯(lián)合發(fā)起成立人工智能聯(lián)盟（AIAlliance）58，開的創(chuàng)新與發(fā)展。2024年2月，包括200多家非營利組織、大學、研究團體和企業(yè)的美國人工智能安全研究聯(lián)盟宣布成立59，與撞等形式61，逐步形成多元且敏捷的AI治理平臺。這一平臺不僅為58/2023-12-07-IBM-Meta-50-AI59/news/press-releases/2024/02/biden-harris-administration-announces-first60/s/wfCAEHY_hryA8Rr9L8MHMQid=2024c40dbb2347fba8b3c9a62來源：中國信息通信研究院1.機制層面，聯(lián)合國醞釀新的人工智能治理協(xié)調(diào)機制和塑造全球人工智能治理框架中具有重要潛力。2024年3月，聯(lián)合信賴的人工智能系統(tǒng)帶來的機遇，促進可持續(xù)發(fā)展》62，強調(diào)人工智工智能治理達成初步方案。63一方面，聯(lián)合國內(nèi)部現(xiàn)有機構(gòu)現(xiàn)有框架，推進全球人工智能治理落地。例如國際電方面具有獨特優(yōu)勢，通過建立“人工智能惠及人類”（AI62/united-nations-general-assembly