2023政務大模型建設路徑及評價體系研究報告

政務大模型建設路徑及評價體系研究報告政務大模型建設路徑及評價體系研究報告政務大模型建設路徑及評價體系研究報告目錄一、政務大模型建設勢在必行 1()新勢：央部加快工智在各域發(fā)與創(chuàng)新 1()新向：模型橫出世”為字政發(fā)展入新力 1()新遇：內外極探政務模型用場落地 3()新考：務大型建機遇挑戰(zhàn)存 3二、政務大模型建設架構及關鍵技術 4()拓政務務版：大型技發(fā)展求架變革 4()創(chuàng)政務理風：繪政務模型設架的壯藍圖 5訓生產(chǎn)夯實臺基底座 6運支撐引領程化紀元 6共服務融合務優(yōu)升級 7深應用催化務創(chuàng)演進 8三、政務大模型典型應用場景 9()大型推服務力從能辦到“好”轉——以網(wǎng)通為例 9服能力型場：一通辦務概述 9重服務界：府服一網(wǎng)辦的革與局之路 9大型賦政務務一通辦景分析 10創(chuàng)顛覆智慧領：網(wǎng)通大模助力務服提質效 12()大型賦城市理精化、能化——以網(wǎng)統(tǒng)為例 13治能力型場：一統(tǒng)管務概述 13塑城市貌：市治一網(wǎng)管的戰(zhàn)與革之途 13大型賦城市理一統(tǒng)管景分析 13創(chuàng)治理智慧城：網(wǎng)統(tǒng)大模賦能市治敏捷效 16()大型提政府同辦效能——以網(wǎng)協(xié)為例 17協(xié)能力型場一網(wǎng)同業(yè)概述 17賦高效同：府辦一網(wǎng)同的戰(zhàn)與局羽翼 17大型賦政府公一協(xié)同景分析 18創(chuàng)交織共鑄越：網(wǎng)協(xié)大模推動府辦效率升 20()大型提管理策水提升——以務管決策例 20管決策型場景水管業(yè)務概述 20強決策轉：務管決策戰(zhàn)與鍵障礙 20大型賦水務管決策場分析 20創(chuàng)新共，發(fā)驅：務管決策大型推行業(yè)效發(fā)展 22()大型助媒體內容成創(chuàng)發(fā)展——以能媒創(chuàng)作例 22內生成型場智能體創(chuàng)業(yè)務述 22重內容產(chǎn)：體智化轉的危機 23大型賦媒體能創(chuàng)場景析 24創(chuàng)生成智領來：模型動媒創(chuàng)作能化引領式 28四、政務大模型典型場景評價體系 29()建政務模型臺及型場評價系的要性 29()政大模平臺鍵評指標 29政場景的大型平建設 29政大模平臺評價標 30()“一通”典場景-智政務務大型關評價標 30效指標 31功指標 33()“一統(tǒng)”典場景-智問數(shù)模型鍵評指標 34效指標 35功指標 36()“一協(xié)”典場景-智公文作大型關評價標 38效指標 38功指標 40五、政務大模型未來發(fā)展趨勢和建議 42()注大模自研片技發(fā)展助力模型力提“硬實力 42()不迭代模型構升，推數(shù)字府可續(xù)演進 43()探豐富務應場景激發(fā)府創(chuàng)發(fā)展湃動能 43()完政務模型管體，賦數(shù)字府健發(fā)展 44()推政務模型準指和評體系設，能數(shù)政府康發(fā)展 45政務大模型建設路徑及評價體系研究報告政務大模型建設路徑及評價體系研究報告PAGEPAGE10一、政務大模型建設勢在必行(一)新形勢：中央部署加快人工智能在各領域發(fā)展與創(chuàng)新2035“培育壯大人工智能、大”；《》5080億，同增長18。20232021””“”“等典，OpenAIAIAIIDC20231472026263等AI拓展創(chuàng)作邊界。(三)新機遇：國內外積極探索政務大模型應用場景落地從國際進展看，部分國家已經(jīng)開展政務大模型應用的探索和研究。新加坡政府在20232“Pair”20235月Meta67OpenAIAzureOpenAIAzure工智能功能。通過這項服務，公共部門客戶將能夠安全訪問GPT-3GPT-4Azure20236232100能（AI20235192023523(四)新思考：政務大模型建設機遇與挑戰(zhàn)并存政務大模型的不斷完善和應用。二、政務大模型建設架構及關鍵技術(一)拓展政務服務版圖：大模型技術發(fā)展要求架構變革ITAIIaaS（InfrastructureasaService，）逐漸變成了MaaS（ModelasaService，）。AI(二)創(chuàng)新政務治理風潮：繪就政務大模型建設架構的壯麗藍圖政務大模型的建設架構應當充分考慮到不同層級的功能和需求，以實現(xiàn)高效的運作和優(yōu)質的服務。訓練生產(chǎn)，夯實平臺基礎底座模型訓練精調是平臺的核心，平臺能夠融合多方大模型能力，提供“訓練、精調、評估、強化學習”訓練能力，從而訓練出滿足政務需求的大模型；運營支撐，引領工程化新紀元運營支撐平臺是政務大模型的中樞層，是讓政務大模型走向工程化應用的重要一環(huán)，主要包括綜合數(shù)據(jù)管理、生成式應用組件、融合知識、運營管理等方面。其中：對話記錄，又提供了因大模型token共性服務，融合政務優(yōu)化升級BI生成式BI深化應用，催化政務創(chuàng)新演進三、政務大模型典型應用場景(一)大模型推動服務能力從“能辦”到“好辦”轉變——以一網(wǎng)通辦為例服務能力典型場景：一網(wǎng)通辦業(yè)務概述重塑服務邊界：政府服務一網(wǎng)通辦的變革與破局之路事項辦理難，服務效率低。事項辦理過程中，對事項情形不理解、申請表填不好、證明材料不知道如何提交的情況，難以獲得有效的服務支撐，導致群眾、企業(yè)依賴線下窗口辦理。大模型賦能政務服務一網(wǎng)通辦場景分析大語言模型能夠有效彌補統(tǒng)問答技術的缺點，提供穩(wěn)定、高效、運行流暢的解決方5創(chuàng)新顛覆，智慧引領：一網(wǎng)通辦大模型助力政務服務提質增效(二)大模型賦能城市治理精準化智能化——以一網(wǎng)統(tǒng)管為例治理能力典型場景：一網(wǎng)統(tǒng)管業(yè)務概述塑造城市新貌：城市治理一網(wǎng)統(tǒng)管的挑戰(zhàn)與變革之途大模型賦能城市治理一網(wǎng)統(tǒng)管場景分析原有模式下，城市熱點事件的信息整理、分析并形成有效的處置方案需要花費較長或分析結論，解決人工調取實效性不足的問題。創(chuàng)新治理，智慧繪城：一網(wǎng)統(tǒng)管大模型賦能城市治理敏捷高效(三)大模型提升政府協(xié)同辦公效能——以一網(wǎng)協(xié)同為例協(xié)同能力典型場景：一網(wǎng)協(xié)同業(yè)務概述賦能高效協(xié)同：政府辦公一網(wǎng)協(xié)同的挑戰(zhàn)與破局羽翼大模型賦能政府辦公一網(wǎng)協(xié)同場景分析數(shù)據(jù)的高效分析。創(chuàng)新交織，共鑄卓越：一網(wǎng)協(xié)同大模型推動政府辦公效率提升(四)大模型提升管理決策水平提升——以水務管理決策為例管理決策典型場景水務管理業(yè)務概述AI強化決策流轉：水務管理決策挑戰(zhàn)與關鍵障礙大模型賦能水務管理決策場景分析實現(xiàn)工單自動派發(fā)，更加高效、智能實現(xiàn)客戶服務。（SCADA創(chuàng)新共享，發(fā)展驅動：水務管理決策大模型推動行業(yè)高效發(fā)展(五)大模型助力媒體與內容生成創(chuàng)新發(fā)展——以智能媒體創(chuàng)作為例內容生成典型場景智能媒體創(chuàng)作業(yè)務概述智能媒體創(chuàng)作業(yè)務場景利用數(shù)字化與AI技術，為內容創(chuàng)作者和機構提供各類智能創(chuàng)作工具，涵蓋輔助創(chuàng)作，可以極大地提高內容生產(chǎn)效率，擴大內容生產(chǎn)規(guī)模。此外，對于內容生產(chǎn)機構最具價值的媒資內容運營管理方面，審核、標簽和多模態(tài)檢索等多項能力需要數(shù)字化與AI融合，升級迭代。重構內容生產(chǎn)：媒體智能化轉型的危與機內容創(chuàng)作時代，海量內容不斷生產(chǎn)，內容創(chuàng)作存在挑戰(zhàn)。大模型賦能媒體智能創(chuàng)作場景分析關鍵詞監(jiān)測：可自定義關鍵詞內容，對全網(wǎng)資訊進行實時監(jiān)測，為選題策劃提專題追蹤：展示熱點事件的發(fā)展脈絡和前因后果，按比重展示關鍵詞詞云和關Prompt大模型應用于智慧采編領域，應具備自動寫作機器人、文章寫作助手和音視頻生產(chǎn)自動寫作機器人：提供天氣預報，每日基金，債券，滬深股票、港股、美股，AIAI文章審校助手：支持文章糾錯、文本審核和數(shù)值比對，識別文章中的錯誤片段稿件比對：可快速找出兩篇稿件中的不同區(qū)域，幫助媒體工作者快速找到版本Prompt（大模型應用于內容分發(fā)，應具備生成文章摘要、文章分類與標簽，還可以自動生成1）文章分發(fā)助手：一鍵生成文章摘要、文章分類和標簽、文章主題短語、文章所在的地域信息，幫助文章在分發(fā)時自動打標簽和定向地域標簽推送?？茖W評饋模塊將通過監(jiān)控互聯(lián)網(wǎng)數(shù)據(jù)，提供版權監(jiān)控、傳播力分析、新聞趨勢分析等功能，幫助新聞工作者及時發(fā)現(xiàn)侵權行為，并提供相關決策依據(jù)。3D創(chuàng)新生成，智領未來：大模型推動媒體創(chuàng)作智能化的引領范式機構提供各類AIAI四、政務大模型典型場景評價體系(一)建設政務大模型平臺及典型場景評價體系的必要性中國信通院牽頭編制“數(shù)字政府建設水平和運營效果成熟度模型（IOMM-G）”方IOMM-G方法IOMM-G(二)政務大模型平臺關鍵評價指標政務場景下的大模型平臺建設如今大模型賦能政務多個領域，為降低大模型使用門檻，提升計算資源利用效率，政務領域也需建設政務的大模型平臺，快速賦能各類業(yè)務領域。政務大模型平臺的評價指標(三)“一網(wǎng)通辦”典型場景-智能政務服務大模型關鍵評價指標政務服務作為面向民眾/企業(yè)的服務應用，從效果層面和功能層面均有較高要求。效果指標效果層面是對政務服務的核心因素進行評估和測量的重要角度。準確性、友好性、完整性和可靠性是衡量政務服務效果的關鍵指標。1）效果指標一：準確性（。表現(xiàn)。功能指標（），信息提取反映了政務服務對用戶問題中關鍵信息的識別和分析能力，更好的匹配到用戶真正想了解的政務信息。該指標主要涵蓋了用戶信息識別、地址識別。多輪問答反映了政務服務能持續(xù)理解用戶多輪話題的能力，讓用戶無需重復說明或操作。該指標主要涵蓋了上下文關聯(lián)、多輪引導和話題切換。4）功能指標四：答案生成FAQ(四)“一網(wǎng)統(tǒng)管”典型場景-智能問數(shù)大模型關鍵評價指標NLP以及產(chǎn)品端到端的CUI行評價。效果指標效果層面是對智能問數(shù)服務的核心因素進行評估和測量的重要角度。準確性、易用性和擴展性是衡量智能問數(shù)效果的關鍵指標。1）效果指標一：準確性多模態(tài)。CUIIOCpc大屏IOCPC功能指標功能層面是對領導問數(shù)應具備能力進行評估和測量的重要角度，關鍵指標包括數(shù)據(jù)查詢與分析、結果交互、安全與穩(wěn)定、可插拔能力。1）功能指標一：數(shù)據(jù)查詢與分析////下鉆/）安全與穩(wěn)定反映了領導問數(shù)據(jù)問數(shù)來源及安全保護全面，該指標涵蓋了安全性、穩(wěn)定性。）（SLA）99.99。4）可插拔能力反映了領導問數(shù)產(chǎn)品交付集成的復雜度，該指標涵蓋了便捷度、時間成本、價格成本。(五)“一網(wǎng)協(xié)同”典型場景-智能公文寫作大模型關鍵評價指標3效果指標效果層面是對公文寫作的內容及質量進行評估和測量的重要角度，共包括準確性、合理性、專業(yè)性、多樣性、高效性五個關鍵指標。準確性反映了智能公文寫作創(chuàng)作的公文時的精確程度及可靠性，使用戶能夠基于生成的公文進行微調和優(yōu)化。該指標涵蓋了語法準確性、信息準確性、政策法規(guī)一致性。描述或數(shù)據(jù)。合理性反映了智能公文寫作創(chuàng)作的公文的語義表達及思想傳遞的清晰連貫程度，確保讀者可以準確理解。該指標涵蓋了邏輯連貫性、信息流暢性、表達清晰性。多樣性是指智能公文寫作可生成的公文種類、主題、風格的全面程度，該指標涵蓋了格式專業(yè)性、主題適應性、語言多樣性。高效性是指智能公文寫作的生成時效及基礎內容質量符合度，使用戶擺脫常規(guī)性內容的重復寫作，提升寫作效率。該指標涵蓋了生成效率、生成一致性。生成一致性：評估生成的內容是否在格式、用詞等方面保持一致，以確保文功能指標公文創(chuàng)作反映了智能公文在公文內容生成方面的基礎能力水平，該指標涵蓋了生成大綱能力、段落生成質量、文本擴寫能力、文本續(xù)寫能力。公文沉淀反映了智能公文在生成內容的管理能力的全面程度，讓用戶使用過程更安心、省心。該指標涵蓋了保持與管理、版本控制、導出格式多樣性。保存管理：評估是否提供便捷的保存和管理功能，允許用戶隨時存檔和檢索WordPDF素材推薦：評估是否能根據(jù)公文主題或內容，為用戶提供相關的資料和參考素材摘要：評估是否能自動給出推薦素材的摘要信息，讓用戶更快速判斷素素材示范：評估是否能展示類似主題或類型的公文樣本，以供用戶參考和借鑒。用戶反饋：評估是否允許用戶對生成內容提供反饋，以便改善應用性能和生語法糾錯：評估是否能自動檢測和糾正生成內容中的語法和拼寫錯誤，提升內容審查：評估是否能識別內容中可能存在的問題，如不一致之處、模糊表五、政務大模型未來發(fā)展趨勢和