XX市智慧城市大數(shù)據(jù)平臺(tái)匯聚共享能力建設(shè)項(xiàng)目建設(shè)方案

XX市智慧城市大數(shù)據(jù)平臺(tái)匯聚共享

能力建設(shè)項(xiàng)目建設(shè)方案成果基礎(chǔ)上進(jìn)行開發(fā)或改造，并保持項(xiàng)目源代碼的繼承性和連貫性。投標(biāo)人需要完全滿足以下要求：繼承性和連續(xù)性原則（1）平臺(tái)功能完善須在現(xiàn)有技術(shù)架構(gòu)和源代碼之上進(jìn)行開發(fā)，即充分繼承已有代碼成果，沿用原有服務(wù)接口使用方式和業(yè)務(wù)流程;（2）充分繼承和利用現(xiàn)有的軟硬件資源，包括服務(wù)器、操作系統(tǒng)、數(shù)據(jù)庫(kù)、中間件和網(wǎng)絡(luò)配置等內(nèi)容；（3）如有必要，需保證各平臺(tái)現(xiàn)有功能模塊和優(yōu)化完善版本能夠并行運(yùn)轉(zhuǎn)；（4）保證用戶基于現(xiàn)有平臺(tái)API搭建的業(yè)務(wù)系統(tǒng)能夠平滑過(guò)渡，并繼續(xù)支持用戶既有系統(tǒng)的穩(wěn)定運(yùn)行，即保持高版本對(duì)低版本的兼容性；（5）各平臺(tái)功能完善版本上線后，舊系統(tǒng)內(nèi)的數(shù)據(jù)務(wù)必確?？刹?、可用、可導(dǎo)出、可移植，不能丟失或廢棄。實(shí)用性和成熟性原則（1）充分借鑒和吸收同類產(chǎn)品的優(yōu)勢(shì)，以實(shí)現(xiàn)各平臺(tái)功能模塊優(yōu)化完善以及平臺(tái)總體性能得到提升為基本目標(biāo)，有步驟、分層次地進(jìn)行優(yōu)化完善；（2）堅(jiān)持實(shí)用、經(jīng)濟(jì)的原則，面向?qū)嶋H、注重實(shí)效，合理制定實(shí)施規(guī)劃，避免一味追求先進(jìn)技術(shù)和貪大求全;（3）把科學(xué)的信息資源共享服務(wù)理念和先進(jìn)成熟的技術(shù)手段緊密結(jié)合起來(lái)，準(zhǔn)確合理的實(shí)施業(yè)務(wù)流程優(yōu)化；（4）采用的技術(shù)手段或產(chǎn)品，符合當(dāng)今技術(shù)發(fā)展方向和未來(lái)發(fā)展趨勢(shì)，確保系統(tǒng)具有較強(qiáng)的生命力，有長(zhǎng)期的使用價(jià)值?？煽啃院涂删S護(hù)性原則（1）建立明確的項(xiàng)目建設(shè)質(zhì)量目標(biāo)，保證新增程序代碼可理解、可測(cè)試、可修改，并建立嚴(yán)格的質(zhì)量審查機(jī)制；（2）充分考慮系統(tǒng)版本切換、業(yè)務(wù)系統(tǒng)銜接、信息安全等方面的問(wèn)題，降低系統(tǒng)建設(shè)和運(yùn)維風(fēng)險(xiǎn)；（3）新增功能服務(wù)應(yīng)堅(jiān)持采用模塊化、結(jié)構(gòu)化的程序設(shè)計(jì)思路;（4）持續(xù)改進(jìn)程序設(shè)計(jì)、數(shù)據(jù)結(jié)構(gòu)、接口說(shuō)明、系統(tǒng)開發(fā)和維護(hù)日志等文檔，保證文檔描述的規(guī)范性、完整性和易讀性，便于理解和使用。兼容性和擴(kuò)展性原則（1）保持前端系統(tǒng)與主流瀏覽器的兼容性，如IE11、Chrome.Firefox.Safari等，包括必要的兼容性測(cè)試和修改，提供支持HTML5、CSS3等新標(biāo)準(zhǔn)的解決方案等；（2）保持系統(tǒng)與IE舊版本的兼容性，提供IE8等版本的兼容視圖，保證前端系統(tǒng)功能的正常顯示和使用；（3）在滿足當(dāng)前應(yīng)用需求的基礎(chǔ)上，建設(shè)思路應(yīng)具備適當(dāng)?shù)某靶裕ＷC未來(lái)系統(tǒng)可靈活擴(kuò)展；(4)充分遵循“標(biāo)準(zhǔn)和開放”的思想，支持業(yè)內(nèi)相關(guān)標(biāo)準(zhǔn)協(xié)議和接口，便于系統(tǒng)擴(kuò)展和用戶對(duì)接。第6章項(xiàng)目建設(shè)方案6.1基礎(chǔ)共性應(yīng)用支撐能力升級(jí)完善基于云化思想對(duì)基礎(chǔ)的共性組件進(jìn)行封裝，完善共性組件多租戶管理能力，夯實(shí)大數(shù)據(jù)平臺(tái)的技術(shù)賦能，為委辦局應(yīng)用提供數(shù)據(jù)分析計(jì)算環(huán)境和工具。6.L1資源服務(wù)能力建設(shè)提供開放的、標(biāo)準(zhǔn)的不同形態(tài)的資源接入能力，除傳統(tǒng)的存儲(chǔ)資源、計(jì)算資源以外，將共性組件、API服務(wù)等也納入資源接入范圍,并通過(guò)多租戶、容器化的模式將大數(shù)據(jù)平臺(tái)的服務(wù)能力供給相關(guān)需求方，提升集約化水平。6.L2組件服務(wù)中心模塊通過(guò)服務(wù)中心實(shí)現(xiàn)各類共性組件的接入、發(fā)布和管理。包括服務(wù)瀏覽、服務(wù)訂閱與退訂、組件申請(qǐng)與授權(quán)等。6.L3融合共建管理模塊通過(guò)改造數(shù)據(jù)分析挖掘工具，設(shè)計(jì)“不可見”分析環(huán)境和數(shù)據(jù)消亡機(jī)制，實(shí)現(xiàn)跨委辦局的數(shù)據(jù)融合分析。通過(guò)設(shè)計(jì)“數(shù)據(jù)沙箱”，營(yíng)造“不可見”分析環(huán)境，構(gòu)建訓(xùn)練態(tài)、生產(chǎn)態(tài)兩態(tài)模式：訓(xùn)練態(tài)進(jìn)行模型訓(xùn)練，而生產(chǎn)態(tài)執(zhí)行模型推理及運(yùn)算。6.L4資源監(jiān)管模塊基于資源利用和供給情況，對(duì)儲(chǔ)算資源、應(yīng)用、組件工具、數(shù)據(jù)等多個(gè)維度進(jìn)行監(jiān)控和分析，以確保當(dāng)前的IT資源能夠發(fā)揮最大的效能。針對(duì)共性組件服務(wù)的內(nèi)容和績(jī)效進(jìn)行分析，并通過(guò)可視化大屏等方式進(jìn)行展現(xiàn)。多租戶管理模塊實(shí)現(xiàn)基于項(xiàng)目的多租戶管理模式，并實(shí)現(xiàn)針對(duì)項(xiàng)目管理人員和技術(shù)人員的不同用戶管理體系。共享交換平臺(tái)升級(jí)完善升級(jí)完善市共享交換平臺(tái)，實(shí)現(xiàn)“數(shù)道”與“鏈道”的對(duì)接，提升市共享交換平臺(tái)的服務(wù)能力。包括以下功能：共享交換平臺(tái)和目錄鏈的對(duì)接整合構(gòu)建目錄鏈與共享交換平臺(tái)聯(lián)動(dòng)的技術(shù)架構(gòu)，按照目錄鏈上數(shù)據(jù)申請(qǐng)和授權(quán)的實(shí)際情況，自動(dòng)觸發(fā)數(shù)據(jù)交換流程，最大限度減少人工參與。實(shí)現(xiàn)“數(shù)道”自動(dòng)獲取“鏈道”上的數(shù)據(jù)管控信息，自動(dòng)完成數(shù)據(jù)交換流程配置，并在流程啟動(dòng)后向目錄鏈提供任務(wù)完成信息，實(shí)現(xiàn)全過(guò)程自動(dòng)化。622提升共享交換平臺(tái)服務(wù)水平在現(xiàn)有文件和庫(kù)表交換方式外，擴(kuò)展市共享交換平臺(tái)服務(wù)能力，建設(shè)針對(duì)落地?cái)?shù)據(jù)的接口封裝、發(fā)布功能，支撐各單位通過(guò)接口實(shí)現(xiàn)數(shù)據(jù)查詢、更新和核對(duì)服務(wù)。該功能應(yīng)能夠?qū)racle、MySql等多種不同數(shù)據(jù)庫(kù)進(jìn)行適配和服務(wù)封裝；能夠?qū)崿F(xiàn)接口調(diào)用的申請(qǐng)、審批、授權(quán)等管理過(guò)程，并具備調(diào)用控制等安全手段。623現(xiàn)有共享交換流程的控制信息提取根據(jù)與目錄鏈對(duì)接的技術(shù)要求，提取現(xiàn)有7000余個(gè)共享交換流程的管控信息（數(shù)據(jù)類型、兩端前置機(jī)/數(shù)據(jù)庫(kù)地址、更新方式等）,并按照與目錄鏈對(duì)接標(biāo)準(zhǔn)進(jìn)行打包存儲(chǔ)，形成完整的數(shù)據(jù)交換管控信息表。624日志記錄上述所有數(shù)據(jù)管控、接口調(diào)用日志應(yīng)對(duì)接到XX市大數(shù)據(jù)平臺(tái)日志中。625多平臺(tái)適配市共享交換平臺(tái)目前部署了包括Fiorano和東方通DXP兩套產(chǎn)品，不排除增加或替換新產(chǎn)品的可能，因此，本項(xiàng)目中設(shè)計(jì)開發(fā)的與目錄鏈的對(duì)接整合功能，應(yīng)該能夠適配多種交換平臺(tái)。626跨網(wǎng)絡(luò)數(shù)據(jù)共享共享交換平臺(tái)支持跨網(wǎng)絡(luò)數(shù)據(jù)交換，實(shí)現(xiàn)社會(huì)企業(yè)和政府機(jī)構(gòu)之間的數(shù)據(jù)共享。數(shù)據(jù)治理模塊升級(jí)完善在數(shù)據(jù)治理功能建設(shè)的基礎(chǔ)上，從設(shè)計(jì)理念、技術(shù)架構(gòu)、建設(shè)方法等多個(gè)方面進(jìn)行優(yōu)化提升，提供對(duì)委辦局多租戶的服務(wù)能力，支撐委辦局建設(shè)基礎(chǔ)庫(kù)和主題庫(kù)，提供一站式全流程數(shù)據(jù)倉(cāng)庫(kù)建設(shè)和數(shù)據(jù)治理工具，幫助用戶建成原始層、標(biāo)準(zhǔn)層、主題層、指標(biāo)層的標(biāo)準(zhǔn)數(shù)據(jù)倉(cāng)庫(kù)。面向委辦局提供基于AI的智能數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)主題化加工、數(shù)據(jù)探查、數(shù)據(jù)集成、全域數(shù)據(jù)治理、全鏈路自動(dòng)化血緣、統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、算法開發(fā)、數(shù)據(jù)模型建設(shè)、數(shù)據(jù)開發(fā)平臺(tái)等服務(wù)化支撐能力。原始層數(shù)據(jù)建設(shè)模塊原始層數(shù)據(jù)建設(shè)是抽取源系統(tǒng)的基礎(chǔ)數(shù)據(jù)，形成一個(gè)數(shù)據(jù)緩沖區(qū)。源業(yè)務(wù)系統(tǒng)的數(shù)據(jù)可能來(lái)自不同類型的數(shù)據(jù)庫(kù)以及分布式文件系統(tǒng)等，需要通過(guò)基礎(chǔ)數(shù)據(jù)源將異構(gòu)數(shù)據(jù)集成至大數(shù)據(jù)平臺(tái)，生成原始層。針對(duì)原始層的數(shù)據(jù)進(jìn)行質(zhì)量評(píng)估，通過(guò)完整性、準(zhǔn)確性、唯一性、一致性、規(guī)范性、時(shí)效性等六個(gè)維度對(duì)基礎(chǔ)數(shù)據(jù)進(jìn)行質(zhì)量評(píng)估，輸出基礎(chǔ)數(shù)據(jù)質(zhì)量評(píng)估報(bào)告，指導(dǎo)源業(yè)務(wù)部門的數(shù)據(jù)質(zhì)量提升。標(biāo)準(zhǔn)層數(shù)據(jù)建設(shè)模塊基于原始層的基礎(chǔ)數(shù)據(jù)，結(jié)合導(dǎo)入的基礎(chǔ)數(shù)據(jù)標(biāo)準(zhǔn)，通過(guò)基礎(chǔ)數(shù)據(jù)智能關(guān)聯(lián)標(biāo)準(zhǔn)數(shù)據(jù)元，通過(guò)可視化界面配置基礎(chǔ)數(shù)據(jù)清洗加工策略,按照提取、清洗、關(guān)聯(lián)、比對(duì)、標(biāo)識(shí)等規(guī)范流程進(jìn)行數(shù)據(jù)清洗處理，實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)化，生成標(biāo)準(zhǔn)層。主題層數(shù)據(jù)建設(shè)模塊主題層數(shù)據(jù)建設(shè)以標(biāo)準(zhǔn)數(shù)據(jù)為根，通過(guò)標(biāo)準(zhǔn)牽引、聚合拉通，樹立數(shù)據(jù)權(quán)威，實(shí)現(xiàn)“數(shù)據(jù)搬運(yùn)方”到“數(shù)據(jù)賦能方”的轉(zhuǎn)變。將需求涉及范圍內(nèi)的業(yè)務(wù)對(duì)象從高度概括的概念層次歸類，即劃分主題域，再針對(duì)各個(gè)主題域設(shè)計(jì)實(shí)體-關(guān)系圖。主題層數(shù)據(jù)建設(shè)模塊的數(shù)據(jù)主要面向基本事實(shí)和基本維度，在粒度上以最細(xì)的方式存儲(chǔ)，在設(shè)計(jì)上遵循第三范式要求，屬于數(shù)據(jù)中心的核心資產(chǎn)。主題層數(shù)據(jù)建設(shè)模塊主要由基礎(chǔ)庫(kù)數(shù)據(jù)模型、基礎(chǔ)庫(kù)數(shù)據(jù)血緣、基礎(chǔ)庫(kù)數(shù)據(jù)模板三大功能模塊構(gòu)成。指標(biāo)層數(shù)據(jù)建設(shè)模塊指標(biāo)層數(shù)據(jù)建設(shè)基于主題層權(quán)威數(shù)據(jù)，結(jié)合政務(wù)創(chuàng)新需求，建設(shè)貼合政務(wù)需求的指標(biāo)模型，為各政務(wù)應(yīng)用提供服務(wù)。指標(biāo)層存儲(chǔ)為特定用戶預(yù)先計(jì)算好的數(shù)據(jù)，從而滿足用戶對(duì)性能的需求，在一定程度上緩解訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)的瓶頸。指標(biāo)層的特點(diǎn)是數(shù)據(jù)粒度較粗，數(shù)據(jù)采取星型或雪花型結(jié)構(gòu)，較少保留歷史數(shù)據(jù),便于訪問(wèn)分析和快速查詢。指標(biāo)模型具有面向特定用戶群、合理的查詢響應(yīng)時(shí)間、便于擴(kuò)展的特點(diǎn)。指標(biāo)層數(shù)據(jù)建設(shè)模塊主要有基礎(chǔ)庫(kù)數(shù)據(jù)開發(fā)、基礎(chǔ)庫(kù)算法開發(fā)、基礎(chǔ)庫(kù)工作流三大功能模塊構(gòu)成。數(shù)據(jù)服務(wù)接口封裝工具建設(shè)大數(shù)據(jù)服務(wù)接口封裝工具，能夠?qū)β涞厥写髷?shù)據(jù)管理平臺(tái)的數(shù)據(jù)進(jìn)行接口封裝，并為各委辦局提供數(shù)據(jù)接口調(diào)用服務(wù)。服務(wù)模式包括數(shù)據(jù)查詢服務(wù)、數(shù)據(jù)更新服務(wù)以及數(shù)據(jù)驗(yàn)證服務(wù)。適配能夠?qū)racle、MySql、SqlServer、Greenplum多種不同數(shù)據(jù)庫(kù)的類型進(jìn)行適配和接口服務(wù)封裝。2、數(shù)據(jù)源管理數(shù)據(jù)源注冊(cè)：能夠?qū)π枰庋b接口服務(wù)的數(shù)據(jù)源進(jìn)行注冊(cè)，保證能夠?qū)?shù)據(jù)源的數(shù)據(jù)進(jìn)行安全訪問(wèn)，注冊(cè)內(nèi)容包括：信息系統(tǒng)名稱、數(shù)據(jù)庫(kù)類型、服務(wù)器IP地址、端口號(hào)、數(shù)據(jù)庫(kù)SID、用戶名以及密碼等信息。數(shù)據(jù)源維護(hù)：能夠?qū)σ炎?cè)的數(shù)據(jù)源進(jìn)行維護(hù)管理，包括數(shù)據(jù)源內(nèi)容的變更、刪除等。3、服務(wù)注冊(cè)單條服務(wù)注冊(cè)：針對(duì)已經(jīng)接入到大數(shù)據(jù)平臺(tái)的數(shù)據(jù)，可直接通過(guò)配置界面配置服務(wù)接口，包括接口基本信息、輸入信息、返回信息以及返回?cái)?shù)據(jù)類型等；如果有特殊的需求，可以通過(guò)sql的方式寫入查詢條件。批量服務(wù)注冊(cè)：提供批量服務(wù)導(dǎo)入功能，可通過(guò)服務(wù)注冊(cè)模板批量導(dǎo)入接口服務(wù)的配置信息。服務(wù)維護(hù)：能夠?qū)σ炎?cè)的服務(wù)進(jìn)行維護(hù)管理，包括服務(wù)內(nèi)容的變更、服務(wù)停用、服務(wù)刪除等。4、服務(wù)生成數(shù)據(jù)查詢服務(wù)：通過(guò)選擇的數(shù)據(jù)源以及查詢服務(wù)接口的配置參數(shù)信息，自動(dòng)生成數(shù)據(jù)查詢服務(wù)接口，外圍系統(tǒng)通過(guò)傳入要查詢數(shù)據(jù)的關(guān)鍵信息，如編碼、數(shù)據(jù)名稱等，依據(jù)權(quán)限實(shí)現(xiàn)返回符合規(guī)則的單條或多條數(shù)據(jù)結(jié)果。數(shù)據(jù)更新服務(wù)：通過(guò)選擇的數(shù)據(jù)源以及更新服務(wù)接口的配置參數(shù)信息，自動(dòng)生成數(shù)據(jù)更新服務(wù)接口，外圍系統(tǒng)通過(guò)傳入數(shù)據(jù)的關(guān)鍵信息以及區(qū)間時(shí)間，返回該區(qū)間時(shí)間的數(shù)據(jù)變化結(jié)果。數(shù)據(jù)驗(yàn)證服務(wù)：通過(guò)選擇的數(shù)據(jù)源以及驗(yàn)證服務(wù)接口的配置參數(shù)信息，自動(dòng)生成數(shù)據(jù)驗(yàn)證服務(wù)接口，外圍系統(tǒng)通過(guò)傳入要驗(yàn)證數(shù)據(jù)的信息，如編碼、數(shù)據(jù)名稱等，返回驗(yàn)證數(shù)據(jù)是否存在的結(jié)果。5、服務(wù)檢索可通過(guò)服務(wù)的關(guān)鍵字，如服務(wù)接口名稱、接口類型等對(duì)服務(wù)進(jìn)行快速檢索，同時(shí)支持模糊搜索。6、服務(wù)同步將配置好的服務(wù)接口同步到服務(wù)平臺(tái)，包括接口基本信息、接口說(shuō)明和調(diào)用實(shí)例。接口審核人員對(duì)已經(jīng)提交的注冊(cè)信息進(jìn)行審核，審核后可通過(guò)目錄鏈進(jìn)行發(fā)布。7、服務(wù)授權(quán)需求部門通過(guò)大數(shù)據(jù)目錄找到資源點(diǎn)擊接口調(diào)用申請(qǐng)，申請(qǐng)受理和審批后，由接口封裝工具進(jìn)行接口訪問(wèn)控制。8、接口調(diào)用控制通過(guò)接口封裝工具定制每類接口每次訪問(wèn)最大調(diào)用條數(shù)，同時(shí),用戶申請(qǐng)時(shí)服務(wù)平臺(tái)設(shè)定每天調(diào)用每類接口最大調(diào)用次數(shù)，以此來(lái)實(shí)現(xiàn)接口的調(diào)用控制，防范惡意調(diào)用、大批調(diào)用落地的情況，確保數(shù)據(jù)的安全性。支撐XX市公共信用數(shù)據(jù)歸集治理支撐XX市公共信用數(shù)據(jù)歸集治理提供數(shù)據(jù)稽核、清洗工具以及數(shù)據(jù)歸集情況展示、稽核問(wèn)題數(shù)據(jù)下載/在線修改界面。1、問(wèn)題數(shù)據(jù)反饋：數(shù)據(jù)治理工具需要實(shí)現(xiàn)對(duì)數(shù)據(jù)提供單位的通知功能。2、問(wèn)題數(shù)據(jù)修改：數(shù)據(jù)治理工具提供兩類修改方式，一種是批量下載的離線修改，另一種是針對(duì)少量問(wèn)題數(shù)據(jù)的在線編輯；為方便數(shù)據(jù)提供方修改，反饋的問(wèn)題數(shù)據(jù)詳情包括每條問(wèn)題數(shù)據(jù)的稽核規(guī)則和錯(cuò)誤內(nèi)容。3、數(shù)據(jù)統(tǒng)計(jì)信息管理查看：提供相應(yīng)頁(yè)面，支持各類人員按權(quán)限查看數(shù)據(jù)量、數(shù)據(jù)質(zhì)量等統(tǒng)計(jì)信息。目錄TOC\o"1-5"\h\z\o"CurrentDocument"第1章項(xiàng)目背景1\o"CurrentDocument"第2章項(xiàng)目總體建設(shè)內(nèi)容1\o"CurrentDocument"第3章 項(xiàng)目已有基礎(chǔ)情況2\o"CurrentDocument"共性組件支撐能力現(xiàn)狀2\o"CurrentDocument"共享交換平臺(tái)現(xiàn)狀3\o"CurrentDocument"數(shù)據(jù)治理模塊現(xiàn)狀3\o"CurrentDocument"電子證照系統(tǒng)現(xiàn)狀4\o"CurrentDocument"第4章項(xiàng)目建設(shè)目標(biāo)4\o"CurrentDocument"第5章項(xiàng)目建設(shè)原則5\o"CurrentDocument"繼承性和連續(xù)性原則6\o"CurrentDocument"實(shí)用性和成熟性原則6\o"CurrentDocument"可靠性和可維護(hù)性原則7\o"CurrentDocument"兼容性和擴(kuò)展性原則7第6章項(xiàng)目建設(shè)方案8基礎(chǔ)共性應(yīng)用支撐能力升級(jí)完善8\o"CurrentDocument"資源服務(wù)能力建設(shè)8\o"CurrentDocument"組件服務(wù)中心模塊8\o"CurrentDocument"融合共建管理模塊8\o"CurrentDocument"資源監(jiān)管模塊9\o"CurrentDocument"多租戶管理模塊9\o"CurrentDocument"共享交換平臺(tái)升級(jí)完善96.4智能搜索模塊建設(shè)建設(shè)一套功能完善的智能搜索引擎，在已有數(shù)據(jù)資源庫(kù)及數(shù)據(jù)資源目錄相關(guān)系統(tǒng)基礎(chǔ)上，通過(guò)對(duì)數(shù)據(jù)結(jié)構(gòu)、鏈接、內(nèi)容、標(biāo)簽、關(guān)鍵詞密度的內(nèi)容優(yōu)化，為用戶提供人性化和智能化的信息檢索服務(wù)，使用戶能夠便捷高效地獲取所需信息。包括如下功能模塊：6.4」智能搜索基礎(chǔ)框架底層包括通用搜索引擎、高級(jí)檢索、二次/漸進(jìn)檢索、分類檢索、關(guān)聯(lián)關(guān)系檢索、批量比對(duì)檢索、文本要素檢索、歷史搜索推薦、搜索結(jié)果導(dǎo)出、多源數(shù)據(jù)接入、系統(tǒng)配置等功能。642全文檢索模塊支持根據(jù)用戶查詢條件全文檢索相匹配的數(shù)據(jù)資源目錄及文件;支持按照相關(guān)性、時(shí)間、發(fā)布部門等推薦滿足條件的政策文件或數(shù)據(jù)信息資源；支持根據(jù)數(shù)據(jù)保密等級(jí)設(shè)置數(shù)據(jù)查看權(quán)限。包括：基礎(chǔ)檢索、模糊檢索、組合檢索、命名實(shí)體檢索、批量檢索、二次/漸進(jìn)檢索、同義詞搜索、熱詞搜索等功能。標(biāo)簽檢索模塊支持標(biāo)簽抽取功能，如公文法規(guī)等文檔內(nèi)容的關(guān)鍵字詞抽取，自動(dòng)打標(biāo)簽，實(shí)現(xiàn)標(biāo)簽與文本間關(guān)系對(duì)應(yīng)，同時(shí)為保證標(biāo)簽準(zhǔn)確性和擴(kuò)展性，支持基于檢索結(jié)果標(biāo)簽內(nèi)容的人工自定義標(biāo)簽。支持標(biāo)簽檢索功能，基于已抽取或自定義的標(biāo)簽檢索對(duì)應(yīng)的政策文件、數(shù)據(jù)信息等，系統(tǒng)智能推薦同類標(biāo)簽的其他關(guān)聯(lián)文件和數(shù)據(jù)。用戶可通過(guò)標(biāo)簽鏈接再次搜索指定標(biāo)簽的文件數(shù)據(jù)。以文搜文模塊支持要素提取，針對(duì)政策文件等文本，自動(dòng)提取要素，如：政策名稱、涉及單位、執(zhí)行時(shí)間、簽發(fā)人等實(shí)體要素，構(gòu)建關(guān)注要素與原文本的關(guān)系，打通各類數(shù)據(jù)間關(guān)聯(lián)。支持文本要素可視化檢索，用戶輸入搜索訴求，系統(tǒng)自動(dòng)解析搜索內(nèi)容中的關(guān)鍵要素進(jìn)行實(shí)體要素的組合檢索，實(shí)現(xiàn)滿足條件的政策文件、數(shù)據(jù)信息推薦。語(yǔ)義識(shí)別與解析模塊支持識(shí)別搜索意圖，根據(jù)用戶輸入內(nèi)容自動(dòng)識(shí)別判斷輸入意圖類型，隨著用戶的不斷輸入，反饋的'判斷（的意圖）類型'也自動(dòng)發(fā)生變化。支持相關(guān)搜索自動(dòng)推進(jìn)，根據(jù)輸入內(nèi)容推薦相關(guān)的歷史搜索，如高頻搜索詞匯、輸入內(nèi)容相關(guān)搜索高頻詞匯等。智能范圍檢索模塊支持范圍搜索功能，可根據(jù)輸入條件和檢索內(nèi)容，智能匹配搜索范圍和搜索字段;支持用戶自行設(shè)置搜索范圍，搜索范圍按類型分類。檢索結(jié)果智能化多維展示模塊支持相關(guān)度智能排序，根據(jù)搜索意圖、權(quán)重相關(guān)性進(jìn)行結(jié)果優(yōu)先排序，將用戶最期望的信息優(yōu)先展示；支持查詢結(jié)果按照與查詢關(guān)鍵字的相關(guān)性進(jìn)行排序。支持結(jié)果詳情展示，通過(guò)多種檢索方式展示檢索結(jié)果，結(jié)果視圖包含源文本內(nèi)容、標(biāo)簽、要素等多維信息，支持檢索結(jié)果導(dǎo)出，檢索結(jié)果頁(yè)面支持二次檢索。支持結(jié)果預(yù)覽導(dǎo)出，支持檢索結(jié)果本地化導(dǎo)出，支持公文法規(guī)等數(shù)據(jù)的源文件在線預(yù)覽、下載。數(shù)據(jù)接入模塊支持?jǐn)?shù)據(jù)索引構(gòu)建，支持常見的數(shù)據(jù)庫(kù)、文本等多源數(shù)據(jù)快速接入并構(gòu)建索引，根據(jù)不同需求場(chǎng)景提供多種接入方式，包括全量導(dǎo)入、增量導(dǎo)入、部分?jǐn)?shù)據(jù)導(dǎo)入、部分字段導(dǎo)入等多種方式。支持?jǐn)?shù)據(jù)自動(dòng)清洗，支持基于身份證號(hào)、護(hù)照號(hào)、車牌號(hào)、銀行卡號(hào)、手機(jī)號(hào)等字段條件推導(dǎo)的ETL能力，可人工按需指定導(dǎo)數(shù)過(guò)程中自動(dòng)推導(dǎo)轉(zhuǎn)換；提供臟數(shù)據(jù)過(guò)濾、缺失值、不合法字符處理等基礎(chǔ)數(shù)據(jù)自動(dòng)清洗能力；支持公文法規(guī)等文檔批量接入過(guò)程中自動(dòng)抽取要素并構(gòu)建關(guān)聯(lián)。支持?jǐn)?shù)據(jù)在線上傳，支持各類分散數(shù)據(jù)的在線上傳，無(wú)需復(fù)雜的定義和模板選擇，數(shù)據(jù)一旦上傳即可進(jìn)行檢索，同時(shí)可根據(jù)不同業(yè)務(wù)需要進(jìn)行數(shù)據(jù)私有或共享。649用戶校正模塊基于NLP自然語(yǔ)言識(shí)別等技術(shù)實(shí)現(xiàn)智能檢索，支持用戶對(duì)每次的檢索結(jié)果符合度打分、選擇結(jié)果列表最符合的結(jié)果；能夠自動(dòng)記錄用戶行為，重新計(jì)算模型算法和反復(fù)校正，不斷提高檢索結(jié)果的精準(zhǔn)度。國(guó)產(chǎn)化適配完成智能搜索模塊的國(guó)產(chǎn)化適配工作。電子證照系統(tǒng)升級(jí)（1）重新規(guī)劃數(shù)據(jù)庫(kù)結(jié)構(gòu)，根據(jù)業(yè)務(wù)區(qū)分?jǐn)?shù)據(jù)庫(kù)結(jié)構(gòu)，將現(xiàn)有的文件規(guī)劃存儲(chǔ)到文件服務(wù)器等。（2）增加現(xiàn)有服務(wù)配置，實(shí)現(xiàn)多機(jī)負(fù)載集群部署，增加業(yè)務(wù)系統(tǒng)的可用性。（3）重新規(guī)劃現(xiàn)有電子證照系統(tǒng)的部署結(jié)構(gòu)，實(shí)現(xiàn)根據(jù)業(yè)務(wù)、用戶分別提供服務(wù)，實(shí)現(xiàn)服務(wù)的松耦合，避免業(yè)務(wù)之間交叉影響。國(guó)產(chǎn)化適配協(xié)助完成大數(shù)據(jù)平臺(tái)相關(guān)模塊已有部分和升級(jí)部分的國(guó)產(chǎn)化適配工作。TOC\o"1-5"\h\z\o"CurrentDocument"共享交換平臺(tái)和目錄鏈的對(duì)接整合9\o"CurrentDocument"提升共享交換平臺(tái)服務(wù)水平10\o"CurrentDocument"現(xiàn)有共享交換流程的控制信息提取10\o"CurrentDocument"日志記錄10\o"CurrentDocument"多平臺(tái)適配10\o"CurrentDocument"跨網(wǎng)絡(luò)數(shù)據(jù)共享11\o"CurrentDocument"數(shù)據(jù)治理模塊升級(jí)完善11\o"CurrentDocument"原始層數(shù)據(jù)建設(shè)模塊11\o"CurrentDocument"標(biāo)準(zhǔn)層數(shù)據(jù)建設(shè)模塊12\o"CurrentDocument"主題層數(shù)據(jù)建設(shè)模塊12\o"CurrentDocument"指標(biāo)層數(shù)據(jù)建設(shè)模塊12\o"CurrentDocument"數(shù)據(jù)服務(wù)接口封裝工具13\o"CurrentDocument"支撐XX市公共信用數(shù)據(jù)歸集治理15\o"CurrentDocument"智能搜索模塊建設(shè)16\o"CurrentDocument"智能搜索基礎(chǔ)框架16\o"CurrentDocument"全文檢索模塊16\o"CurrentDocument"標(biāo)簽檢索模塊16\o"CurrentDocument"以文搜文模塊17\o"CurrentDocument"語(yǔ)義識(shí)別與解析模塊17\o"CurrentDocument"智能范圍檢索模塊17\o"CurrentDocument"檢索結(jié)果智能化多維展示模塊18\o"CurrentDocument"數(shù)據(jù)接入模塊18\o"CurrentDocument"用戶校正模塊19\o"CurrentDocument"國(guó)產(chǎn)化適配19\o"CurrentDocument"電子證照系統(tǒng)升級(jí)19\o"CurrentDocument"國(guó)產(chǎn)化適配19第1章項(xiàng)目背景按照市委市政府的統(tǒng)一部署以及XX市大數(shù)據(jù)行動(dòng)計(jì)劃“四梁八柱深地基”的總體設(shè)計(jì)思路，依據(jù)“邊共享、邊整合；邊應(yīng)用、邊完善”的建設(shè)原則，我局組織系統(tǒng)總體組、專家咨詢組進(jìn)一步深化細(xì)化大數(shù)據(jù)平臺(tái)總體設(shè)計(jì)，歷經(jīng)多輪迭代完善，經(jīng)專家評(píng)審，編制形成了面向“深地基”的大數(shù)據(jù)行動(dòng)計(jì)劃筑基工程項(xiàng)目方案。筑基工程項(xiàng)目將基于以目錄鏈為核心的數(shù)據(jù)全流程管控機(jī)制，在充分整合和利用目錄鏈、共享交換平臺(tái)、空間平臺(tái)、駕駛艙等前期已有成果的基礎(chǔ)上,構(gòu)建較為完善的大數(shù)據(jù)“匯、管、用、評(píng)、安全”全流程一體化能力體系，打造面向全網(wǎng)絡(luò)、全流程、全集約、全通道的“四全”能力,促進(jìn)數(shù)據(jù)能夠依法、安全、有序、自由地流動(dòng)，推動(dòng)各部門業(yè)務(wù)應(yīng)用系統(tǒng)建設(shè)模式的高效轉(zhuǎn)變，支撐數(shù)字政府、數(shù)字經(jīng)濟(jì)、領(lǐng)導(dǎo)決策等重要工作上一個(gè)新的臺(tái)階。第2章項(xiàng)目總體建設(shè)內(nèi)容本項(xiàng)目作為筑基工程的一部分，主要工作內(nèi)容包括：一是提升大數(shù)據(jù)平臺(tái)共性組件應(yīng)用支撐能力，實(shí)現(xiàn)租戶資源、工具組件的靈活分配和管理，減少通用工具的重復(fù)建設(shè)；二是實(shí)現(xiàn)目錄鏈與共享交換體系聯(lián)動(dòng)，建立起按規(guī)則按需隨時(shí)取數(shù)、匯數(shù)的技術(shù)支撐體系；三是加強(qiáng)對(duì)全市人、企、物的基礎(chǔ)庫(kù)建設(shè)的支撐能力，提供一站式全流程數(shù)據(jù)倉(cāng)庫(kù)建設(shè)和數(shù)據(jù)治理工具；四是建設(shè)一套功能完善的智能搜索引擎,在已有數(shù)據(jù)資源庫(kù)及數(shù)據(jù)資源目錄相關(guān)系統(tǒng)基礎(chǔ)上，構(gòu)建知識(shí)結(jié)構(gòu)索引，支持為用戶提供人性化和智能化的數(shù)據(jù)檢索服務(wù)；五是升級(jí)電子證照系統(tǒng)，實(shí)現(xiàn)根據(jù)業(yè)務(wù)、用戶分別提供服務(wù)，實(shí)現(xiàn)服務(wù)的松耦合，增加業(yè)務(wù)系統(tǒng)的可用性。第3章項(xiàng)目已有基礎(chǔ)情況XX市大數(shù)據(jù)平臺(tái)依托共享交換平臺(tái)、目錄區(qū)塊鏈以及數(shù)據(jù)治理模塊提供了數(shù)據(jù)編目、匯聚、管理、清洗和標(biāo)準(zhǔn)化的服務(wù)支撐能力,同時(shí)提供了數(shù)據(jù)全生命周期管理和跨部門的數(shù)據(jù)融合分析工具，支撐XX市大數(shù)據(jù)應(yīng)用建設(shè)。共性組件支撐能力現(xiàn)狀大數(shù)據(jù)平臺(tái)已為市領(lǐng)導(dǎo)駕駛艙、商務(wù)局生活必需品分析、昌平區(qū)城市大腦等應(yīng)用提供數(shù)據(jù)治理和可視化等組件服務(wù)。但缺少對(duì)各類工具組件的集約化管理。目前系統(tǒng)依賴各工具組件自身的多租戶服務(wù)能力，一方面，各工具之間僅做了用戶權(quán)限和日志的集成，未實(shí)現(xiàn)基礎(chǔ)資源的按需申請(qǐng)和動(dòng)態(tài)擴(kuò)容；另一方面，缺少跨租戶的工作流支撐能力，無(wú)法支撐委辦局實(shí)施多級(jí)租戶管理，完成對(duì)本部門多個(gè)大數(shù)據(jù)應(yīng)用所需租戶資源工具組件的靈活分配和管理。共享交換平臺(tái)現(xiàn)狀市共享交換平臺(tái)于2006年4月28日上線運(yùn)行，承載了市大數(shù)據(jù)平臺(tái)的數(shù)據(jù)交換服務(wù)，構(gòu)建數(shù)據(jù)匯聚能力，形成市區(qū)兩級(jí)的政務(wù)信息資源共享交換體系，打破部門和行業(yè)界限，實(shí)現(xiàn)了政務(wù)信息資源的跨部門、跨層級(jí)共享。目前共接入87個(gè)市級(jí)政務(wù)部門（包括16區(qū)）；支撐了4800余項(xiàng)跨部門、跨層級(jí)信息的共享交換工作，交換量累計(jì)超過(guò)827億條，2020年日均交換量4000萬(wàn)條左右，為各部門100多項(xiàng)業(yè)務(wù)工作提供了支撐。市共享交換平臺(tái)支持文件、數(shù)據(jù)庫(kù)表的定時(shí)交換，核心功能是數(shù)據(jù)交換管理，實(shí)現(xiàn)交換節(jié)點(diǎn)之間及交換節(jié)點(diǎn)與交換中心之間的政務(wù)信息資源適配、轉(zhuǎn)換和傳輸?shù)裙ぷ?，為交換過(guò)程的配置、執(zhí)行、監(jiān)控和管理等提供服務(wù)，包括數(shù)據(jù)交換、交換節(jié)點(diǎn)管理、交換流程管理和系統(tǒng)管理等內(nèi)容。未實(shí)現(xiàn)接口服務(wù)方式?，F(xiàn)階段，市共享交換平臺(tái)與目錄鏈通過(guò)電子郵件實(shí)現(xiàn)線下任務(wù)發(fā)起和完成情況反饋，具體為，目錄鏈上生成數(shù)據(jù)共享任務(wù)后向指定郵件地址自動(dòng)發(fā)送包括資源信息、資源提供方信息、資源獲取方信息在內(nèi)的電子郵件，市共享交換平臺(tái)運(yùn)維人員收到郵件后按照郵件內(nèi)容聯(lián)系供需雙方并進(jìn)行流程配置，實(shí)施數(shù)據(jù)交換，交換完成后向目錄鏈指定郵件地址發(fā)送任務(wù)完成反饋郵件。數(shù)據(jù)治理模塊現(xiàn)狀大數(shù)據(jù)平臺(tái)數(shù)據(jù)治理模塊提供了數(shù)據(jù)生命周期的端到端透明化管控，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行管控，為數(shù)據(jù)清洗和標(biāo)準(zhǔn)化提供工具支撐，具備數(shù)據(jù)清洗轉(zhuǎn)換和質(zhì)量稽核能力