數(shù)據(jù)治理項(xiàng)目交付方案

2020數(shù)據(jù)治理交付方案V1CONTENT01020304總體架構(gòu)建設(shè)目標(biāo)及應(yīng)用價(jià)值項(xiàng)目交付項(xiàng)目計(jì)劃總體架構(gòu)01大數(shù)據(jù)2.0總體架構(gòu)政府部門(mén)數(shù)據(jù)（部門(mén)資源庫(kù)）部門(mén)部門(mén)部門(mén)部門(mén)部門(mén)交通局住建局氣象局水務(wù)局……社會(huì)及互聯(lián)網(wǎng)數(shù)據(jù)企事業(yè)媒體……感知數(shù)據(jù)物聯(lián)感知視頻感知……數(shù)據(jù)源數(shù)據(jù)匯聚接入數(shù)據(jù)離線(xiàn)同步數(shù)據(jù)實(shí)時(shí)接入數(shù)據(jù)源管理數(shù)據(jù)讀取任務(wù)管理數(shù)據(jù)斷點(diǎn)續(xù)傳可視化配置數(shù)據(jù)加工治理數(shù)據(jù)探查數(shù)據(jù)過(guò)濾數(shù)據(jù)修復(fù)環(huán)境隔離任務(wù)調(diào)度監(jiān)控告警運(yùn)維統(tǒng)計(jì)數(shù)據(jù)體系（數(shù)據(jù)資源池）數(shù)據(jù)歸集層（原始數(shù)據(jù)資源）數(shù)據(jù)標(biāo)準(zhǔn)層（標(biāo)準(zhǔn)數(shù)據(jù)資源）民政（標(biāo)準(zhǔn)化）公安（標(biāo)準(zhǔn)化）市監(jiān)（標(biāo)準(zhǔn)化）人社（標(biāo)準(zhǔn)化）稅務(wù)（標(biāo)準(zhǔn)化）…標(biāo)簽數(shù)據(jù)層（基礎(chǔ)/主題庫(kù)）基礎(chǔ)庫(kù)（人、法人、空間地理、電子證照、公共信用）政府管理對(duì)象標(biāo)簽庫(kù)（人、法人…）應(yīng)用數(shù)據(jù)層（專(zhuān)題庫(kù)）政務(wù)服務(wù)社會(huì)治理經(jīng)濟(jì)調(diào)節(jié)環(huán)境保護(hù)其他專(zhuān)題數(shù)據(jù)資產(chǎn)管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理數(shù)據(jù)血緣管理數(shù)據(jù)目錄管理標(biāo)簽畫(huà)像管理數(shù)據(jù)生命周期……數(shù)據(jù)服務(wù)體系數(shù)據(jù)可視化服務(wù)數(shù)據(jù)分析服務(wù)數(shù)據(jù)查詢(xún)服務(wù)數(shù)據(jù)標(biāo)簽服務(wù)數(shù)據(jù)檢索服務(wù)數(shù)據(jù)目錄服務(wù)……業(yè)務(wù)應(yīng)用體系一網(wǎng)通辦一網(wǎng)通管一屏總覽經(jīng)濟(jì)調(diào)整生態(tài)環(huán)境…業(yè)務(wù)中臺(tái)數(shù)據(jù)共享交換交換資源管理共享交換節(jié)點(diǎn)共享交換監(jiān)控?cái)?shù)據(jù)安全管理供需對(duì)接運(yùn)行監(jiān)控績(jī)效評(píng)估數(shù)據(jù)運(yùn)營(yíng)體系歸集管理非結(jié)構(gòu)化數(shù)據(jù)接入民政公安市監(jiān)人社稅務(wù)…(RDS/SFTP)標(biāo)簽層(Hive/Hbase/ES)標(biāo)準(zhǔn)層(Hive)公安標(biāo)準(zhǔn)資源庫(kù)市場(chǎng)監(jiān)管標(biāo)準(zhǔn)資源庫(kù)人社標(biāo)準(zhǔn)資源庫(kù)發(fā)改標(biāo)準(zhǔn)資源庫(kù)民政標(biāo)準(zhǔn)資源庫(kù)其他標(biāo)準(zhǔn)資源庫(kù)歸集層(Hive)公安民政人社市場(chǎng)監(jiān)管發(fā)改公安民政人社市場(chǎng)監(jiān)管發(fā)改社會(huì)數(shù)據(jù)其他數(shù)據(jù)社會(huì)數(shù)據(jù)標(biāo)準(zhǔn)庫(kù)統(tǒng)一數(shù)倉(cāng)標(biāo)簽畫(huà)像系統(tǒng)數(shù)據(jù)治理平臺(tái)數(shù)據(jù)集成開(kāi)發(fā)平臺(tái)部門(mén)資源庫(kù)層級(jí)清晰分明統(tǒng)一標(biāo)準(zhǔn)規(guī)范覆蓋全域數(shù)據(jù)富含業(yè)務(wù)價(jià)值【應(yīng)用層】：按照業(yè)務(wù)需求或場(chǎng)景，從標(biāo)簽層中抽取或生成面向業(yè)務(wù)需要的特定數(shù)據(jù)，以滿(mǎn)足業(yè)務(wù)調(diào)用及性能需求，向特定應(yīng)用組裝應(yīng)用數(shù)據(jù)?！炯夹g(shù)實(shí)現(xiàn)】：專(zhuān)題數(shù)據(jù)通過(guò)數(shù)據(jù)融合發(fā)布，標(biāo)簽API通過(guò)標(biāo)簽畫(huà)像系統(tǒng)構(gòu)建，可以形成統(tǒng)一數(shù)據(jù)接口提供外部調(diào)用。【歸集層】：采集匯聚內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)、感知數(shù)據(jù)等，盡可能保留原始業(yè)務(wù)數(shù)據(jù)。【技術(shù)實(shí)現(xiàn)】：通過(guò)集成開(kāi)發(fā)平臺(tái)將部門(mén)資源庫(kù)中的數(shù)據(jù)以增量或全量的方式接入到統(tǒng)一數(shù)倉(cāng)中，且形成歷史數(shù)據(jù)（按照實(shí)際要求進(jìn)行定期數(shù)據(jù)歸檔），支持對(duì)結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)

結(jié)構(gòu)化、非結(jié)構(gòu)化

名稱(chēng)、大小、地址、類(lèi)型等數(shù)據(jù)轉(zhuǎn)化，并且可以對(duì)對(duì)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等數(shù)據(jù)進(jìn)行抓取接入?！緲?biāo)準(zhǔn)層】：面向部門(mén)維度，從數(shù)據(jù)標(biāo)準(zhǔn)的角度對(duì)原始庫(kù)數(shù)據(jù)進(jìn)行落標(biāo)，實(shí)現(xiàn)數(shù)據(jù)依據(jù)標(biāo)準(zhǔn)進(jìn)行快速質(zhì)檢、修復(fù)和篩選?！炯夹g(shù)實(shí)現(xiàn)】：通過(guò)數(shù)據(jù)探查對(duì)原始數(shù)據(jù)進(jìn)行探查，推薦匹配的數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行落標(biāo)，根據(jù)落標(biāo)的元數(shù)據(jù)生成標(biāo)準(zhǔn)結(jié)構(gòu)的業(yè)務(wù)表（標(biāo)準(zhǔn)表），同時(shí)可以對(duì)落標(biāo)的元數(shù)據(jù)進(jìn)行質(zhì)檢，根據(jù)探查與質(zhì)檢的結(jié)果進(jìn)行數(shù)據(jù)清洗?！緲?biāo)簽層】：面向業(yè)務(wù)對(duì)象建模，對(duì)跨部門(mén)、跨領(lǐng)域業(yè)務(wù)的特定數(shù)據(jù)對(duì)象進(jìn)行整合，形成業(yè)務(wù)對(duì)象的全域可擴(kuò)展標(biāo)簽體系，方便深度分析、挖掘、應(yīng)用?！炯夹g(shù)實(shí)現(xiàn)】：通過(guò)數(shù)據(jù)建模以及數(shù)據(jù)融合，將標(biāo)準(zhǔn)資源面向業(yè)務(wù)對(duì)象主體進(jìn)行融合處理，并且根據(jù)業(yè)務(wù)需求構(gòu)建面向業(yè)務(wù)的標(biāo)簽體系。數(shù)據(jù)融合應(yīng)用層(RDS/Mpp/Restful)安全生產(chǎn)監(jiān)管專(zhuān)題安全生產(chǎn)執(zhí)法專(zhuān)題自然災(zāi)害監(jiān)測(cè)專(zhuān)題?；穼?zhuān)題其他專(zhuān)題標(biāo)簽API服務(wù)發(fā)布區(qū)標(biāo)準(zhǔn)資源表發(fā)布數(shù)據(jù)清洗人口法人信用基礎(chǔ)/主題庫(kù)。。。業(yè)務(wù)實(shí)體表標(biāo)簽庫(kù)通用明細(xì)參考維度政務(wù)服務(wù)經(jīng)濟(jì)發(fā)展黨建引領(lǐng)社會(huì)治理數(shù)據(jù)融合社會(huì)數(shù)據(jù)其他數(shù)據(jù)數(shù)據(jù)治理業(yè)務(wù)流構(gòu)架（標(biāo)準(zhǔn)）數(shù)據(jù)治理平臺(tái)大數(shù)據(jù)資源中心人社廳/地市公安廳/地市政務(wù)數(shù)據(jù)前置庫(kù)資源目錄(共享交換平臺(tái))歸集客戶(hù)端API接口民政廳/地市生產(chǎn)系統(tǒng)財(cái)政廳/地市生產(chǎn)系統(tǒng)生產(chǎn)系統(tǒng)生產(chǎn)系統(tǒng)數(shù)據(jù)服務(wù)部門(mén)目錄掛載部門(mén)資源庫(kù)關(guān)系數(shù)據(jù)庫(kù)集群財(cái)政發(fā)改民政交通集成開(kāi)發(fā)平臺(tái)多部門(mén)共享統(tǒng)一數(shù)倉(cāng)（清洗—分拆—整合）HDFS治理接入歷史數(shù)據(jù)Hive批數(shù)據(jù)批數(shù)據(jù)歸集層標(biāo)準(zhǔn)層基礎(chǔ)層全量標(biāo)準(zhǔn)數(shù)據(jù)基礎(chǔ)主題庫(kù)合并交換探查落標(biāo)合并清洗過(guò)濾HiveHive業(yè)務(wù)實(shí)體表明細(xì)數(shù)據(jù)參考數(shù)據(jù)公共維度數(shù)據(jù)建模融合歸檔備份存儲(chǔ)歸檔Hbase/ES數(shù)據(jù)業(yè)務(wù)標(biāo)簽標(biāo)簽畫(huà)像系統(tǒng)集成開(kāi)發(fā)平臺(tái)數(shù)據(jù)分析平臺(tái)應(yīng)用服務(wù)層基礎(chǔ)庫(kù)服務(wù)(Mpp/RDS)人口庫(kù)法人庫(kù)數(shù)據(jù)質(zhì)檢專(zhuān)題服務(wù)(Mpp/RDS)黨建引領(lǐng)經(jīng)濟(jì)發(fā)展城市規(guī)劃交通出行政務(wù)服務(wù)衛(wèi)生環(huán)保數(shù)據(jù)交換建模融合服務(wù)發(fā)布個(gè)案查詢(xún)法人查詢(xún)畫(huà)像查詢(xún)關(guān)聯(lián)查詢(xún)計(jì)算分析支撐支撐支撐支撐一網(wǎng)統(tǒng)管一屏總覽一網(wǎng)通辦數(shù)據(jù)治理數(shù)據(jù)流架構(gòu)數(shù)據(jù)安全數(shù)據(jù)脫敏管理數(shù)據(jù)訪(fǎng)問(wèn)審計(jì)安全級(jí)別管理數(shù)據(jù)風(fēng)險(xiǎn)分析生命周期管理數(shù)據(jù)歸檔數(shù)據(jù)定版數(shù)據(jù)銷(xiāo)毀數(shù)據(jù)發(fā)布元數(shù)據(jù)管理數(shù)據(jù)治理標(biāo)準(zhǔn)規(guī)范體系數(shù)據(jù)安全保障體系數(shù)據(jù)源管理元數(shù)據(jù)采集元數(shù)據(jù)管理元數(shù)據(jù)版本元數(shù)據(jù)地圖元數(shù)據(jù)監(jiān)控標(biāo)準(zhǔn)管理數(shù)據(jù)元標(biāo)準(zhǔn)代碼常用規(guī)則標(biāo)準(zhǔn)文件數(shù)據(jù)探查質(zhì)量管理質(zhì)檢規(guī)則質(zhì)檢方案質(zhì)檢報(bào)告質(zhì)檢工單落標(biāo)稽核規(guī)則數(shù)據(jù)清洗數(shù)據(jù)開(kāi)發(fā)任務(wù)調(diào)度數(shù)據(jù)修復(fù)數(shù)據(jù)過(guò)濾數(shù)據(jù)融合數(shù)據(jù)發(fā)布數(shù)據(jù)倉(cāng)庫(kù)部門(mén)資源庫(kù)中心庫(kù)歸集層標(biāo)準(zhǔn)層基礎(chǔ)層業(yè)務(wù)實(shí)體表維度表發(fā)布庫(kù)基礎(chǔ)庫(kù)主題庫(kù)數(shù)據(jù)建模設(shè)計(jì)共享校驗(yàn)專(zhuān)題庫(kù)邏輯模型物理模型治理報(bào)告參考數(shù)據(jù)表明細(xì)表引用物化利用數(shù)據(jù)治理系統(tǒng)功能架構(gòu)建設(shè)目標(biāo)及應(yīng)用價(jià)值02數(shù)據(jù)治理建設(shè)目標(biāo)基于國(guó)家通用數(shù)據(jù)標(biāo)準(zhǔn)體系以及地方業(yè)務(wù)數(shù)據(jù)標(biāo)準(zhǔn)統(tǒng)構(gòu)建通用統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，形成可復(fù)用、可延續(xù)的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范。形成規(guī)范的數(shù)據(jù)標(biāo)準(zhǔn)通過(guò)治理黨建、文明、經(jīng)濟(jì)、政務(wù)等基礎(chǔ)資源數(shù)據(jù)，結(jié)合治理完成的數(shù)據(jù)資源體系，提供對(duì)業(yè)務(wù)應(yīng)用的數(shù)據(jù)支撐，對(duì)專(zhuān)題應(yīng)用數(shù)據(jù)的快速建立提供保障。支撐上層業(yè)務(wù)數(shù)據(jù)應(yīng)用完成數(shù)據(jù)中臺(tái)部署，提供業(yè)務(wù)數(shù)據(jù)的匯聚、數(shù)據(jù)清洗，數(shù)據(jù)質(zhì)檢，數(shù)據(jù)建模，數(shù)據(jù)融合，標(biāo)簽建立等能力。搭建統(tǒng)一數(shù)據(jù)中臺(tái)通過(guò)將部門(mén)歸集的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化清洗轉(zhuǎn)換，形成標(biāo)準(zhǔn)的資源。完成對(duì)人口、法人模型的梳理，基于模型完成人口庫(kù)、法人庫(kù)的建設(shè)。建立通用的基礎(chǔ)數(shù)據(jù)資源體系數(shù)據(jù)治理4大建設(shè)目標(biāo)【數(shù)據(jù)治理（數(shù)據(jù)中臺(tái)）的使命是讓數(shù)據(jù)持續(xù)用起來(lái)】業(yè)務(wù)數(shù)據(jù)資產(chǎn)服務(wù)業(yè)務(wù)數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)化數(shù)據(jù)資產(chǎn)化資產(chǎn)服務(wù)化服務(wù)業(yè)務(wù)化通過(guò)構(gòu)建統(tǒng)一數(shù)倉(cāng)，完成數(shù)據(jù)中臺(tái)搭建，提供多種數(shù)據(jù)采集方式，業(yè)務(wù)形成的數(shù)據(jù)流入數(shù)據(jù)中臺(tái)，對(duì)數(shù)據(jù)不斷補(bǔ)充滋養(yǎng)對(duì)數(shù)據(jù)加工提純、價(jià)值提煉，形成高價(jià)值的數(shù)據(jù)資產(chǎn),通過(guò)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)建模對(duì)新建業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)規(guī)范，實(shí)現(xiàn)源頭數(shù)據(jù)治理。通過(guò)基礎(chǔ)庫(kù)和標(biāo)準(zhǔn)化的全方位數(shù)據(jù)資產(chǎn)構(gòu)建數(shù)據(jù)服務(wù)能力，發(fā)揮體現(xiàn)數(shù)據(jù)資產(chǎn)的價(jià)值迅速提供數(shù)據(jù)服務(wù)能力，敏捷響應(yīng)業(yè)務(wù)需求，實(shí)現(xiàn)數(shù)據(jù)治理價(jià)值變現(xiàn)【業(yè)務(wù)產(chǎn)生數(shù)據(jù)】【數(shù)據(jù)服務(wù)業(yè)務(wù)】【業(yè)務(wù)數(shù)據(jù)化、數(shù)據(jù)資產(chǎn)化、資產(chǎn)服務(wù)化、服務(wù)業(yè)務(wù)化，持續(xù)賦能業(yè)務(wù)的數(shù)據(jù)應(yīng)用閉環(huán)】數(shù)據(jù)治理價(jià)值體系項(xiàng)目交付03數(shù)據(jù)匯聚整合數(shù)據(jù)多源采集匯聚打破數(shù)據(jù)孤島和壁壘業(yè)務(wù)數(shù)據(jù)化的過(guò)程數(shù)據(jù)標(biāo)準(zhǔn)制定制定統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)保障數(shù)據(jù)的準(zhǔn)確性和一致性數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)清洗、質(zhì)檢問(wèn)題數(shù)據(jù)處理數(shù)據(jù)融合發(fā)布數(shù)據(jù)治理評(píng)估數(shù)據(jù)服務(wù)厘清數(shù)據(jù)構(gòu)成促進(jìn)數(shù)據(jù)流通對(duì)數(shù)據(jù)進(jìn)行加工提煉數(shù)據(jù)價(jià)值提煉萃取整改問(wèn)題數(shù)據(jù)提升數(shù)據(jù)質(zhì)量數(shù)據(jù)跨源整合專(zhuān)題數(shù)據(jù)應(yīng)用展現(xiàn)數(shù)據(jù)治理成效體現(xiàn)數(shù)據(jù)治理成熟度數(shù)據(jù)應(yīng)用價(jià)值體現(xiàn)數(shù)據(jù)治理的流程走向數(shù)據(jù)治理職責(zé)及分工大數(shù)據(jù)中心職責(zé)：數(shù)據(jù)治理聯(lián)合工作組，統(tǒng)籌本地本部門(mén)的數(shù)據(jù)治理工作；細(xì)化工作：制定數(shù)據(jù)治理工作詳細(xì)實(shí)施計(jì)劃；以發(fā)文通知的形式組織各部門(mén)開(kāi)展數(shù)據(jù)治理工作；針對(duì)各部門(mén)開(kāi)展數(shù)據(jù)治理工作組織提供技術(shù)指導(dǎo)和數(shù)據(jù)治理服務(wù)；建立數(shù)據(jù)治理標(biāo)準(zhǔn)規(guī)范體系；針對(duì)各部門(mén)數(shù)據(jù)治理工作進(jìn)展進(jìn)行監(jiān)督、考評(píng)；公司職責(zé)：主導(dǎo)數(shù)據(jù)治理工作規(guī)劃及開(kāi)展，并協(xié)助大數(shù)據(jù)局以及各部門(mén)完成數(shù)據(jù)治理工作；細(xì)化工作：配合大數(shù)據(jù)局?jǐn)M定數(shù)據(jù)治理詳細(xì)實(shí)施計(jì)劃；組織各部門(mén)針對(duì)數(shù)據(jù)治理開(kāi)展培訓(xùn)指導(dǎo)工作；制定數(shù)據(jù)治理標(biāo)準(zhǔn)規(guī)范（數(shù)據(jù)標(biāo)準(zhǔn)、管理規(guī)范、技術(shù)規(guī)范）；提供數(shù)據(jù)治理過(guò)程技術(shù)支撐（數(shù)據(jù)治理工具、數(shù)據(jù)治理服務(wù)）；部門(mén)職責(zé)：按大數(shù)據(jù)局要求完成本單位數(shù)據(jù)數(shù)據(jù)治理工作；細(xì)化工作：摸清本單位數(shù)據(jù)資產(chǎn)；匯聚本單位數(shù)據(jù)資源；梳理本單位數(shù)據(jù)清洗、質(zhì)檢規(guī)則；對(duì)本單位數(shù)據(jù)按照清洗、質(zhì)檢規(guī)則完成數(shù)據(jù)治理工作，并對(duì)問(wèn)題數(shù)據(jù)進(jìn)行整改，滿(mǎn)足數(shù)據(jù)應(yīng)用需求；數(shù)據(jù)治理整體評(píng)估建立數(shù)據(jù)治理評(píng)估體系治理評(píng)估并發(fā)布評(píng)估結(jié)果部門(mén)業(yè)務(wù)人員部門(mén)領(lǐng)導(dǎo)新點(diǎn)項(xiàng)目組要求工作組織部門(mén)技術(shù)人員數(shù)據(jù)管理專(zhuān)家部門(mén)業(yè)務(wù)人員新點(diǎn)項(xiàng)目組擬定一套適用于數(shù)據(jù)治理的數(shù)據(jù)標(biāo)準(zhǔn)標(biāo)準(zhǔn)采集標(biāo)準(zhǔn)意見(jiàn)征求制定標(biāo)準(zhǔn)（征求意見(jiàn)稿）標(biāo)準(zhǔn)完善標(biāo)準(zhǔn)發(fā)布基于制定的數(shù)據(jù)標(biāo)準(zhǔn)對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化數(shù)據(jù)元標(biāo)準(zhǔn)化代碼項(xiàng)標(biāo)準(zhǔn)化元數(shù)據(jù)標(biāo)準(zhǔn)化部門(mén)技術(shù)人員部門(mén)業(yè)務(wù)人員新點(diǎn)項(xiàng)目組結(jié)合通用/適應(yīng)于業(yè)務(wù)的清洗、質(zhì)檢規(guī)則對(duì)數(shù)據(jù)進(jìn)行處理制定清洗、質(zhì)檢規(guī)則配置清洗、質(zhì)檢作業(yè)執(zhí)行清洗、質(zhì)檢作業(yè)作業(yè)監(jiān)控部門(mén)業(yè)務(wù)人員新點(diǎn)項(xiàng)目組對(duì)清洗、質(zhì)檢后的問(wèn)題數(shù)據(jù)跟蹤處理識(shí)別問(wèn)題數(shù)據(jù)問(wèn)題數(shù)據(jù)處理處理結(jié)果校驗(yàn)部門(mén)技術(shù)人員部門(mén)業(yè)務(wù)人員新點(diǎn)項(xiàng)目組制定數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)清洗、質(zhì)檢問(wèn)題數(shù)據(jù)處理融合發(fā)布數(shù)據(jù)治理評(píng)估治理后的數(shù)據(jù)融合、發(fā)布，提供數(shù)據(jù)服務(wù)數(shù)據(jù)融合數(shù)據(jù)發(fā)布部門(mén)業(yè)務(wù)人員新點(diǎn)項(xiàng)目組數(shù)據(jù)匯聚整合把各種異構(gòu)數(shù)據(jù)源的數(shù)據(jù)采集并集中存儲(chǔ),物理上打破數(shù)據(jù)孤島調(diào)研數(shù)據(jù)情況、數(shù)據(jù)歸集模式制定數(shù)據(jù)歸集計(jì)劃跟蹤數(shù)據(jù)歸集情況配置數(shù)據(jù)歸集作業(yè)數(shù)據(jù)歸集作業(yè)監(jiān)控部門(mén)技術(shù)人員部門(mén)業(yè)務(wù)人員新點(diǎn)項(xiàng)目組數(shù)據(jù)治理總體流程參考各部門(mén)政務(wù)信息資源目錄和業(yè)務(wù)系統(tǒng)清單，對(duì)各部門(mén)的數(shù)據(jù)情況進(jìn)行摸底，包括但不局限于數(shù)據(jù)歸集模式、字典標(biāo)準(zhǔn)、重要指標(biāo)項(xiàng)信息；并按計(jì)劃開(kāi)展數(shù)據(jù)歸集工作，配置歸集任務(wù)，并監(jiān)控歸集情況。數(shù)據(jù)的匯聚整合集成開(kāi)發(fā)平臺(tái)配置交換作業(yè)任務(wù)歸集數(shù)據(jù)層調(diào)研數(shù)據(jù)情況確定歸集方式內(nèi)部數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)外部數(shù)據(jù)PC網(wǎng)頁(yè)P(yáng)C系統(tǒng)H5數(shù)據(jù)匯聚方式前置庫(kù)歸集客戶(hù)端API接口爬蟲(chóng)從對(duì)象、關(guān)系、時(shí)空三大維度帶動(dòng)整個(gè)業(yè)務(wù)流程的所有環(huán)節(jié)的數(shù)據(jù)匯聚整合，即歸集的數(shù)據(jù)要能明白主體是什么，例如自然人、法人，主體的屬性是什么，例如主體是自然人，那自然人的姓名、性別、身份證號(hào)碼等屬性字段是必須的；明白關(guān)系是什么，例如婚姻登記，要有婚姻登記類(lèi)型；明白具體的時(shí)間和地點(diǎn)，例如婚姻登記，婚姻登記時(shí)間、婚姻登記地點(diǎn)等內(nèi)容是必須的；在數(shù)據(jù)調(diào)研的時(shí)候需要調(diào)研清楚；案例-IOC大屏數(shù)據(jù)匯聚1.資源目錄2.業(yè)務(wù)系統(tǒng)清單3.IOC指標(biāo)4.數(shù)據(jù)采集5.實(shí)現(xiàn)數(shù)據(jù)接入已有標(biāo)準(zhǔn)集當(dāng)前數(shù)據(jù)集數(shù)據(jù)標(biāo)準(zhǔn)的制定遵照國(guó)家標(biāo)準(zhǔn)，行業(yè)標(biāo)準(zhǔn)，地標(biāo)，同時(shí)結(jié)合地方特色數(shù)據(jù)，形成一套適用于數(shù)據(jù)治理的統(tǒng)一數(shù)據(jù)規(guī)范“單一來(lái)源數(shù)據(jù)”是指在已有標(biāo)準(zhǔn)集中未有相關(guān)明確的說(shuō)明，但實(shí)際存在數(shù)據(jù)單一來(lái)源數(shù)據(jù)可直接采納歸集的數(shù)據(jù)當(dāng)前歸集數(shù)據(jù)國(guó)家標(biāo)準(zhǔn)其他地標(biāo)主要參考行業(yè)標(biāo)準(zhǔn)案例-IOC大屏數(shù)據(jù)標(biāo)準(zhǔn)0

1數(shù)據(jù)標(biāo)準(zhǔn)0

2管理數(shù)據(jù)標(biāo)準(zhǔn)導(dǎo)入數(shù)據(jù)標(biāo)準(zhǔn)化數(shù)據(jù)元標(biāo)準(zhǔn)化參照統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，對(duì)數(shù)據(jù)元進(jìn)行標(biāo)準(zhǔn)化處理；即對(duì)數(shù)據(jù)元的中文名稱(chēng)、英文名稱(chēng)、數(shù)據(jù)類(lèi)型、數(shù)據(jù)長(zhǎng)度、值域說(shuō)明、等屬性進(jìn)行標(biāo)準(zhǔn)化定義代碼項(xiàng)標(biāo)準(zhǔn)化參照統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，對(duì)數(shù)據(jù)的代碼項(xiàng)進(jìn)行標(biāo)準(zhǔn)化處理；即對(duì)代碼項(xiàng)的代碼項(xiàng)值、代碼項(xiàng)中文等內(nèi)容進(jìn)行標(biāo)準(zhǔn)化定義元數(shù)據(jù)標(biāo)準(zhǔn)化參照統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，將標(biāo)準(zhǔn)的數(shù)據(jù)元以及標(biāo)準(zhǔn)的代碼項(xiàng)按照具體業(yè)務(wù)屬性組合，進(jìn)行標(biāo)準(zhǔn)化定義1.進(jìn)行數(shù)據(jù)探查，針對(duì)數(shù)據(jù)資源進(jìn)行落標(biāo)2.基于數(shù)據(jù)探查初步梳理清洗、質(zhì)檢規(guī)則案例-IOC大屏數(shù)據(jù)標(biāo)準(zhǔn)化標(biāo)準(zhǔn)數(shù)據(jù)元和標(biāo)準(zhǔn)代碼項(xiàng)初步判斷清洗規(guī)則通過(guò)數(shù)據(jù)的匯聚整合，解決了數(shù)據(jù)的匯聚，物理上打破了數(shù)據(jù)孤島，但大多是按照數(shù)據(jù)的原始狀態(tài)堆砌在一起，會(huì)造成”多而全”但“臟亂差”的局面，因此需要對(duì)歸集數(shù)據(jù)按照一定的規(guī)則進(jìn)行處理，提高數(shù)據(jù)的可用性。根據(jù)歸集數(shù)據(jù)，調(diào)研逐個(gè)數(shù)據(jù)元的清洗規(guī)則與部門(mén)業(yè)務(wù)人員和技術(shù)人員確認(rèn)清洗規(guī)則通過(guò)數(shù)據(jù)治理平臺(tái)，參照清洗規(guī)則配置數(shù)據(jù)清洗任務(wù)確認(rèn)數(shù)據(jù)清洗任務(wù)配置無(wú)誤執(zhí)行數(shù)據(jù)清洗任務(wù)完成數(shù)據(jù)清洗任務(wù)實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)清洗序號(hào)清洗規(guī)則名稱(chēng)規(guī)則項(xiàng)規(guī)則解釋規(guī)則示例1錯(cuò)誤數(shù)據(jù)修復(fù)約束函數(shù)修復(fù)用于修復(fù)配置字段的錯(cuò)誤數(shù)據(jù)，根據(jù)修復(fù)規(guī)則和修復(fù)方式進(jìn)行修復(fù)。其中修復(fù)規(guī)則有約束函數(shù)、空值、規(guī)則；修復(fù)方式有替換數(shù)據(jù)（或置空）、關(guān)聯(lián)修復(fù)、存異常數(shù)據(jù)選擇修復(fù)規(guī)則為約束函數(shù)，修復(fù)方式為替換數(shù)據(jù)。其中約束函數(shù)有：包含、等于、不等于、開(kāi)始字符串等于、結(jié)尾字符串等于、長(zhǎng)度等于、長(zhǎng)度小于、長(zhǎng)度大于等。修復(fù)規(guī)則：約束函數(shù)為長(zhǎng)度小于，約束值為18；修復(fù)方式為存異常數(shù)據(jù)2空值修復(fù)選擇修復(fù)規(guī)則為空值，修復(fù)方式為替換數(shù)據(jù)，替換值為03正則修復(fù)選擇修復(fù)規(guī)則為正則，當(dāng)不符合為手機(jī)號(hào)碼；修復(fù)方式為關(guān)聯(lián)修復(fù)。關(guān)聯(lián)關(guān)系是當(dāng)前表O_LS_xtglb_testclean10和字段idacrd，目標(biāo)表S_GD_XTGLB_TESTCLEA和字段idacrd。填充信息為替換字段mobile，空值填充無(wú)4字符串替換/用于替換配置字段中替換字符，替換為替換值替換字符為“-”，替換值為“/”5值映射基礎(chǔ)編譯用于匹配配置字段的數(shù)據(jù)，可以新增多個(gè)目標(biāo)代碼項(xiàng)和來(lái)源代碼項(xiàng)不匹配數(shù)據(jù)-默認(rèn)數(shù)據(jù)為999，新增4個(gè)目標(biāo)代碼項(xiàng)和來(lái)源代碼項(xiàng)6邏輯編譯需添加函數(shù)校驗(yàn)來(lái)進(jìn)行判斷代碼項(xiàng)值域7刪除空格首位修復(fù)用于刪除字段中空格，包含首尾和全部?jī)煞N選擇首尾8全部修復(fù)選擇全部9大小寫(xiě)轉(zhuǎn)換所有字母大寫(xiě)用于轉(zhuǎn)換字段中的字母、數(shù)字和漢字，其中包括：所有字母大寫(xiě)、所有字母小寫(xiě)、僅首字母大寫(xiě)、阿拉伯?dāng)?shù)字轉(zhuǎn)漢字、漢字轉(zhuǎn)阿拉伯?dāng)?shù)字選擇所有字母大寫(xiě)10所有字母小寫(xiě)選擇所所有字母小寫(xiě)11僅首字母大寫(xiě)選擇所僅首字母大寫(xiě)12阿拉伯?dāng)?shù)字改漢字選擇所阿拉伯?dāng)?shù)字改漢字13漢字轉(zhuǎn)阿拉伯?dāng)?shù)字選擇所漢字轉(zhuǎn)阿拉伯?dāng)?shù)字14時(shí)間格式轉(zhuǎn)換/用于轉(zhuǎn)換字段的時(shí)間格式。其中包含：yyyy/MM/ddHH:mm:ss.SSS、yyyy/MM/ddHH:mm:ss.SSSXXX、yyyy/MM/ddHH:mm:ss等等選擇對(duì)應(yīng)的格式即可數(shù)據(jù)治理-常用清洗規(guī)則1.清洗任務(wù)配置2.清洗規(guī)則配置案例-IOC大屏數(shù)據(jù)清洗數(shù)據(jù)質(zhì)檢中心管理操作數(shù)據(jù)治理系統(tǒng)質(zhì)檢分析新建整改工單配置質(zhì)檢規(guī)則調(diào)研、確認(rèn)質(zhì)檢規(guī)則部門(mén)信息運(yùn)維操作收系統(tǒng)協(xié)作整改DB可導(dǎo)出完成整改異常數(shù)據(jù)導(dǎo)出辦結(jié)工單序號(hào)質(zhì)檢規(guī)則規(guī)則解釋規(guī)則示例1空值檢查用于檢查配置字段是否存在空值，可以選擇多個(gè)字段選擇表personinfo并添加檢查字段name、phone聯(lián)合不為空選擇‘否’時(shí)，name、phone單獨(dú)判斷是否為空，為空則為異常數(shù)據(jù)聯(lián)合不為空選擇‘是’時(shí)，name、phone一起判斷，只有name、phone都為空才是異常數(shù)據(jù)2值域檢查用于檢查配置字段的取值范圍是否在輸入范圍內(nèi)，支持?jǐn)?shù)值型、字符型、日期型字段檢查以及代碼項(xiàng)檢查當(dāng)非空選擇‘否’時(shí)，空值為正確數(shù)據(jù)；當(dāng)非空選擇‘是’時(shí)，空值為異常數(shù)據(jù)。選擇表personinfo并添加檢查字段birthday，值域類(lèi)型選擇日期，值域范圍設(shè)為：1978-07-0100:00:00~2000-06-0100:00:00，即birthday的值要在1978-07-0100:00:00~2000-06-0100:00:00范圍內(nèi)3規(guī)范檢查用于檢查配置字段值的格式是否規(guī)范，支持身份證、手機(jī)號(hào)碼、郵箱等多種數(shù)據(jù)類(lèi)型的檢測(cè)，也支持自定義規(guī)范（正則表達(dá)式）選擇表personinfo并添加檢查字段phone，非空選擇‘否’，左側(cè)規(guī)范檢查類(lèi)別選擇‘手機(jī)號(hào)碼’，即phone的值要符合手機(jī)號(hào)碼正則表達(dá)式的驗(yàn)證4邏輯檢查用于檢查字段之間是否滿(mǎn)足一定的邏輯關(guān)系。選定實(shí)體表后，在檢查公式處定義邏輯關(guān)系，如邏輯關(guān)系涉及他表，還需選擇關(guān)聯(lián)關(guān)系logictable1.number>logictable2.number，設(shè)置關(guān)聯(lián)關(guān)系為logictable1.rowguid=logictable2.rowguid（一般為主外鍵）。表示表logictable1的number字段值應(yīng)該大于表logictable2的number字段值5重復(fù)數(shù)據(jù)檢查用于檢查配置字段是否有重復(fù)數(shù)據(jù)，可配置多個(gè)字段選擇表personinfo并添加重復(fù)檢查字段name、phone。表示如果表personinfo存在name字段和phone字段值都相同的多條數(shù)據(jù)，則被認(rèn)定為重復(fù)數(shù)據(jù)

6及時(shí)性檢查用于檢查數(shù)據(jù)的及時(shí)性，衡量數(shù)據(jù)抽取或數(shù)據(jù)上報(bào)是否及時(shí)選擇表reportinfo，字段reportdate，開(kāi)始日期為2019-07-0100:00:00，周期為7天，誤差天數(shù)3天。表示，從開(kāi)始日期起，7天為一個(gè)周期，只檢查周期內(nèi)的數(shù)據(jù)，reportdate的值在當(dāng)前周期的前3天，為正確數(shù)據(jù)，否則是異常數(shù)據(jù)7記錄缺失檢查用于判斷記錄是否完整，是否缺少數(shù)據(jù)行。即檢驗(yàn)檢查表字段與對(duì)照表字段的值、數(shù)據(jù)量是否完全一致檢查表選擇logictable1，檢查字段number，對(duì)照表選擇logictable2，對(duì)照字段選擇number。代表：檢查表logictable1和對(duì)照表logictable2中number的值與數(shù)據(jù)量是否一致。比如檢查表的number值為10的有兩條數(shù)據(jù)，那么對(duì)照表也要有兩條number值為10的數(shù)據(jù)，數(shù)據(jù)量必須一致8引用完整性檢查用于判斷檢查表中的數(shù)據(jù)是否完全存在于比照表中。即檢查表檢查字段中的數(shù)據(jù)必須全部存在于比照表的比照字段中檢查表選擇logictable1，檢查字段number，對(duì)照表選擇logictable2，對(duì)照字段選擇number。代表：檢查表logictable1中number字段的值必須存在于對(duì)照表logictable2的number字段中。比如檢查表有number值為10的數(shù)據(jù)，那么對(duì)照表也要有number值為10的數(shù)據(jù)9數(shù)據(jù)集檢查根據(jù)對(duì)照關(guān)系檢驗(yàn)檢查表數(shù)據(jù)與比照表數(shù)據(jù)是否完全相等且數(shù)據(jù)量一致檢查表選擇personinfo，對(duì)照數(shù)據(jù)源選擇xgx_local1，對(duì)照表段選擇personextendinfo，對(duì)照關(guān)系設(shè)置為name=name，phone=phone（對(duì)照關(guān)系左側(cè)選擇檢查表字段，右側(cè)選擇對(duì)照表字段）。代表：當(dāng)前數(shù)據(jù)源檢查表personinfo的name跟phone字段的值跟數(shù)量必須與對(duì)照數(shù)據(jù)源xgx_local1中的對(duì)照表personextendinfo的name跟birthday字段的值跟數(shù)量完全相等10存儲(chǔ)過(guò)程檢查用于執(zhí)行數(shù)據(jù)庫(kù)中的存儲(chǔ)過(guò)程，獲取返回的結(jié)果集數(shù)據(jù)治理-常用質(zhì)檢規(guī)則案例-IOC大屏數(shù)據(jù)質(zhì)檢1.質(zhì)檢任務(wù)配置2.質(zhì)檢規(guī)則配置大數(shù)據(jù)中心評(píng)估分析問(wèn)題處理問(wèn)題分析委辦局問(wèn)題發(fā)現(xiàn)數(shù)據(jù)治理平臺(tái)供應(yīng)商委辦局信息化供應(yīng)商數(shù)據(jù)質(zhì)量檢查質(zhì)檢報(bào)告問(wèn)題分析生成工單質(zhì)檢工單問(wèn)題數(shù)據(jù)下發(fā)表問(wèn)題數(shù)據(jù)定位問(wèn)題數(shù)據(jù)修正工單辦結(jié)修復(fù)確認(rèn)工單完成數(shù)據(jù)質(zhì)量評(píng)估質(zhì)量考核評(píng)估報(bào)告問(wèn)題數(shù)據(jù)處理流程（大數(shù)據(jù)中心）（二選一）廳局?jǐn)?shù)據(jù)中心評(píng)估分析問(wèn)題處理問(wèn)題分析各科室問(wèn)題發(fā)現(xiàn)數(shù)據(jù)治理平臺(tái)供應(yīng)商數(shù)據(jù)治理平臺(tái)供應(yīng)商數(shù)據(jù)質(zhì)量檢查質(zhì)檢報(bào)告問(wèn)題分析生成工單質(zhì)檢工單問(wèn)題數(shù)據(jù)確認(rèn)反饋處理決策問(wèn)題數(shù)據(jù)修正工單辦結(jié)工單完成數(shù)據(jù)質(zhì)量評(píng)估質(zhì)量考核評(píng)估報(bào)告問(wèn)題數(shù)據(jù)處理流程（數(shù)據(jù)中臺(tái)）（二選一）根據(jù)指標(biāo)構(gòu)建數(shù)據(jù)模型完成構(gòu)建IOC專(zhuān)題庫(kù)（依據(jù)模型創(chuàng)建）數(shù)據(jù)融合根據(jù)指標(biāo)體系構(gòu)建專(zhuān)題庫(kù)模型依據(jù)專(zhuān)題庫(kù)模型將數(shù)據(jù)融合轉(zhuǎn)換到專(zhuān)題庫(kù)實(shí)例中123指標(biāo)體系專(zhuān)題模型融合過(guò)程案例-IOC大屏建模型、數(shù)據(jù)融合IOC專(zhuān)題庫(kù)開(kāi)發(fā)IOC指標(biāo)結(jié)果智能分析平臺(tái)&集成開(kāi)發(fā)平臺(tái)ROMA生成指標(biāo)服務(wù)接口讀取調(diào)用計(jì)算利用調(diào)用通過(guò)智能分析平臺(tái)+集成開(kāi)發(fā)平臺(tái)，依據(jù)專(zhuān)題庫(kù)，計(jì)算指標(biāo)結(jié)果，最終大屏展示。案例成效-IOC大屏算指標(biāo)、上大屏數(shù)據(jù)治理報(bào)告-周期治理匯報(bào)整個(gè)數(shù)據(jù)治理工作需要遵循一定的規(guī)范，保障數(shù)據(jù)治理工作準(zhǔn)確、有序的開(kāi)展數(shù)據(jù)治理工作規(guī)范保障數(shù)據(jù)匯聚整合操作規(guī)范前置庫(kù)命名規(guī)范部門(mén)資源庫(kù)命名規(guī)范數(shù)倉(cāng)命名規(guī)范發(fā)布庫(kù)命名規(guī)范數(shù)據(jù)匯聚整合作業(yè)任務(wù)命名規(guī)范標(biāo)準(zhǔn)數(shù)據(jù)元管理規(guī)范標(biāo)準(zhǔn)代碼項(xiàng)管理規(guī)范常用規(guī)則規(guī)范標(biāo)準(zhǔn)文件規(guī)范關(guān)聯(lián)數(shù)據(jù)元規(guī)范關(guān)聯(lián)代碼項(xiàng)規(guī)范標(biāo)準(zhǔn)表生成規(guī)范清洗任務(wù)命名規(guī)范清洗任務(wù)增量策略配置規(guī)范質(zhì)檢任務(wù)命名規(guī)范質(zhì)檢任務(wù)增量策略配置規(guī)范數(shù)據(jù)建模操作規(guī)范數(shù)據(jù)模型命名規(guī)范01.數(shù)據(jù)匯聚整合規(guī)范02.數(shù)據(jù)標(biāo)準(zhǔn)管理規(guī)范03.數(shù)據(jù)探查規(guī)范04.數(shù)據(jù)清洗規(guī)范05.數(shù)據(jù)質(zhì)檢規(guī)范06.數(shù)據(jù)建模規(guī)范數(shù)據(jù)治理項(xiàng)目產(chǎn)出物數(shù)據(jù)治理項(xiàng)目具體的實(shí)施交付方案實(shí)施交付方案1.數(shù)據(jù)資源目錄2.數(shù)據(jù)接入清單（庫(kù)表、資源）3.數(shù)據(jù)標(biāo)準(zhǔn)4.數(shù)據(jù)清洗、質(zhì)檢規(guī)則清單5.問(wèn)題數(shù)據(jù)清單6.數(shù)據(jù)模型清單7.數(shù)據(jù)發(fā)布清單8.數(shù)據(jù)質(zhì)檢報(bào)告9.數(shù)據(jù)治理報(bào)告數(shù)據(jù)治理包含一份項(xiàng)目藍(lán)圖規(guī)劃設(shè)計(jì)項(xiàng)目藍(lán)圖項(xiàng)目系統(tǒng)功能清單（治理平臺(tái)、集成開(kāi)發(fā)平臺(tái)、智能分析平臺(tái)）功能清單項(xiàng)目實(shí)施計(jì)劃（數(shù)據(jù)治理項(xiàng)目計(jì)劃管控表）項(xiàng)目計(jì)劃數(shù)據(jù)治理平臺(tái)操作手冊(cè)以及操作視頻操作手冊(cè)（操作視頻）數(shù)據(jù)治理需求調(diào)研清單（系統(tǒng)需求、數(shù)據(jù)治理需求）需求調(diào)研清單項(xiàng)目計(jì)劃04項(xiàng)目里程碑模板2020年3月1日啟動(dòng)IOC數(shù)據(jù)治理開(kāi)工會(huì)2020年3月8日專(zhuān)題資源調(diào)研1、黨建引領(lǐng)梳理2、文明實(shí)踐梳理3、經(jīng)濟(jì)發(fā)展梳理4、政務(wù)服務(wù)梳理5、綜合態(tài)勢(shì)梳理2020年3月16日制定資源規(guī)范標(biāo)準(zhǔn)2020年6月1日專(zhuān)題資源歸集1、黨建引領(lǐng)歸集2、文明實(shí)踐歸集3、經(jīng)濟(jì)發(fā)展歸集4、政務(wù)服務(wù)歸集5、綜合態(tài)勢(shì)歸集2020年8月項(xiàng)目驗(yàn)收2020年6月21日資源交付1、資源數(shù)據(jù)交付應(yīng)用2、數(shù)據(jù)聯(lián)合調(diào)試2020年6月10日編寫(xiě)功能設(shè)計(jì)文檔1、數(shù)據(jù)庫(kù)設(shè)計(jì)文檔2020年6月10日專(zhuān)題資源治理1、黨建引領(lǐng)治理2、文明實(shí)踐治理3、經(jīng)濟(jì)發(fā)展治理4、政務(wù)服務(wù)治理5、綜合態(tài)勢(shì)治理xxx項(xiàng)目交付計(jì)劃項(xiàng)目總體計(jì)劃模板項(xiàng)目詳細(xì)計(jì)劃模板序號(hào)建設(shè)內(nèi)容完成情況1理、匯數(shù)據(jù)資產(chǎn)理：目前已初步完成黨建引領(lǐng)、文明實(shí)踐、政務(wù)服務(wù)三大專(zhuān)題的資產(chǎn)摸底以及治理工作；匯：目前已完成市委組織部2套、市文明辦2套、新時(shí)代文明中心1套、工信局1套、統(tǒng)計(jì)局1套、市發(fā)改委1套、績(jī)效辦1套、行政審批局1套，總共10套業(yè)務(wù)生產(chǎn)系統(tǒng)的數(shù)據(jù)歸集工作；2統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)目前已參考211項(xiàng)國(guó)家標(biāo)準(zhǔn)，初步制定了《XXX市數(shù)據(jù)治理通用數(shù)據(jù)元》、《XXX市數(shù)據(jù)治理通用標(biāo)準(zhǔn)代碼項(xiàng)》并且應(yīng)用于后續(xù)的數(shù)據(jù)治理工作；3數(shù)據(jù)清洗目前已經(jīng)制定了16條通用的清洗質(zhì)檢規(guī)則，包括錯(cuò)誤數(shù)據(jù)修復(fù)、字符串替換、值映射、刪除空格、大小寫(xiě)轉(zhuǎn)換、時(shí)間格式轉(zhuǎn)換、空值檢查、值域檢查、規(guī)范檢查、邏輯檢查、重復(fù)數(shù)據(jù)檢查、及時(shí)性檢查、記錄缺失檢查、引用完整性檢查、數(shù)據(jù)集檢查、存儲(chǔ)過(guò)程檢查，具體清洗規(guī)則說(shuō)明可見(jiàn)《清洗規(guī)則說(shuō)明》4數(shù)據(jù)治理資源體系已建立原始庫(kù)（貼源層）：目前已完成原始庫(kù)（貼源層）的構(gòu)建工作，實(shí)現(xiàn)從四個(gè)委辦局的業(yè)務(wù)生產(chǎn)系統(tǒng)，將數(shù)據(jù)抽取到原始庫(kù)（貼源層）,保留原始業(yè)務(wù)數(shù)據(jù),并經(jīng)過(guò)簡(jiǎn)單數(shù)據(jù)清洗和標(biāo)準(zhǔn)化處理；數(shù)據(jù)治理已建設(shè)完成內(nèi)容模板注：

①目前數(shù)據(jù)資產(chǎn)歸集數(shù)據(jù)還未全量歸集，因此目前數(shù)據(jù)治理還未進(jìn)行全量治理；

②目前已制定的元數(shù)據(jù)標(biāo)準(zhǔn)還無(wú)法完全覆蓋已歸集數(shù)據(jù)表，導(dǎo)致數(shù)據(jù)表貼標(biāo)率較低；

③目前數(shù)據(jù)清洗、質(zhì)檢規(guī)則沉淀不夠，還未能做到全方位的數(shù)據(jù)治理工作；

④問(wèn)題數(shù)據(jù)未及時(shí)處理，數(shù)據(jù)治理過(guò)程未閉環(huán)；

⑤目前標(biāo)準(zhǔn)表制定工作還未實(shí)際開(kāi)展，已確定好標(biāo)準(zhǔn)表名稱(chēng)，但標(biāo)準(zhǔn)表字段確定以及標(biāo)準(zhǔn)表建立工作