大數(shù)據(jù)治理管理與運(yùn)營(yíng)體系數(shù)據(jù)治理運(yùn)營(yíng)實(shí)施方案

數(shù)據(jù)治理運(yùn)營(yíng)體系與原則大數(shù)據(jù)治理運(yùn)營(yíng)支撐體系數(shù)據(jù)治理組織數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范治理平臺(tái)工具數(shù)據(jù)治理活動(dòng)數(shù)據(jù)管理制度大數(shù)據(jù)治理運(yùn)營(yíng)實(shí)施原則平臺(tái)建設(shè)先行長(zhǎng)期治理運(yùn)營(yíng)1+N運(yùn)營(yíng)模式(即統(tǒng)一數(shù)據(jù)平臺(tái)支持多個(gè)治理運(yùn)營(yíng)組)數(shù)據(jù)治理運(yùn)營(yíng)以業(yè)務(wù)線劃分平臺(tái)建設(shè)以功能線劃分平臺(tái)建設(shè)與治理運(yùn)營(yíng)團(tuán)隊(duì)相獨(dú)立政企數(shù)據(jù)治理運(yùn)營(yíng)構(gòu)建一個(gè)能持續(xù)高效運(yùn)轉(zhuǎn)的政務(wù)數(shù)據(jù)治理運(yùn)營(yíng)體系始終以數(shù)據(jù)服務(wù)業(yè)務(wù)為目標(biāo)，持續(xù)建設(shè)高價(jià)值的數(shù)據(jù)資產(chǎn)與服務(wù)數(shù)據(jù)治理運(yùn)營(yíng)總體流程數(shù)據(jù)準(zhǔn)備準(zhǔn)備資產(chǎn)編目數(shù)據(jù)采集規(guī)范設(shè)計(jì)開(kāi)發(fā)調(diào)度質(zhì)量監(jiān)控?cái)?shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)應(yīng)用數(shù)據(jù)源數(shù)據(jù)湖數(shù)據(jù)倉(cāng)庫(kù)歷史數(shù)據(jù)全量遷移源連接和目標(biāo)連接遷移作業(yè)運(yùn)行作業(yè)業(yè)務(wù)數(shù)據(jù)增量采集定義增量設(shè)置觸發(fā)運(yùn)行作業(yè)資產(chǎn)數(shù)據(jù)維護(hù)數(shù)據(jù)源維護(hù)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)規(guī)范主題設(shè)計(jì)標(biāo)準(zhǔn)管理碼表管理數(shù)據(jù)標(biāo)準(zhǔn)關(guān)系建模維度建模指標(biāo)管理流程框架業(yè)務(wù)指標(biāo)技術(shù)指標(biāo)腳本開(kāi)發(fā)批處理作業(yè)實(shí)時(shí)處理作業(yè)業(yè)務(wù)指標(biāo)監(jiān)控指標(biāo)規(guī)則業(yè)務(wù)場(chǎng)景運(yùn)行檢查數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則模板作業(yè)質(zhì)量運(yùn)行檢查數(shù)據(jù)地圖業(yè)務(wù)資產(chǎn)技術(shù)資產(chǎn)數(shù)據(jù)權(quán)限數(shù)據(jù)安全申請(qǐng)審核創(chuàng)建發(fā)布使用運(yùn)營(yíng)數(shù)據(jù)治理運(yùn)營(yíng)業(yè)務(wù)流程公安系統(tǒng)社保系統(tǒng)教育系統(tǒng)市監(jiān)系統(tǒng)……委辦系統(tǒng)各委辦前置庫(kù)大數(shù)據(jù)中心-數(shù)據(jù)湖&數(shù)據(jù)庫(kù)ODS貼源層DWD基礎(chǔ)庫(kù)人口、法人、電子證照、空間地理主題庫(kù)互聯(lián)網(wǎng)+監(jiān)管、城市管理、…專題庫(kù)婚姻死亡、經(jīng)偵、…共享庫(kù)共享前置庫(kù)數(shù)據(jù)歸集清洗加工分發(fā)分發(fā)分發(fā)分發(fā)分發(fā)分發(fā)文件下發(fā)庫(kù)表下發(fā)分發(fā)內(nèi)部單位外部機(jī)構(gòu)數(shù)據(jù)調(diào)用接口調(diào)用數(shù)據(jù)使用單位基于業(yè)務(wù)與管理規(guī)則，進(jìn)行實(shí)施與管控?cái)?shù)據(jù)治理運(yùn)營(yíng)·數(shù)據(jù)資源歸集庫(kù)表歸集：數(shù)據(jù)源為前置庫(kù)表信息附件歸集：數(shù)據(jù)源中有照片數(shù)據(jù)或者pdf、word等非結(jié)構(gòu)化數(shù)據(jù)API接口歸集：數(shù)據(jù)通過(guò)接口獲取，目前如健康云API接口調(diào)入，以10分鐘的頻率采集文件歸集：數(shù)據(jù)源是不同的文件形式（CSV、excel、TXT、dat）流數(shù)據(jù)歸集：數(shù)據(jù)源為實(shí)時(shí)流數(shù)據(jù)編制目錄數(shù)據(jù)預(yù)處理（清洗、轉(zhuǎn)換、標(biāo)準(zhǔn)化）文件接入服務(wù)接口接入庫(kù)表接入實(shí)時(shí)流接入選擇歸集目錄創(chuàng)建歸集任務(wù)配置歸集頻率自動(dòng)掛接資源編目歸集預(yù)處理數(shù)據(jù)治理運(yùn)營(yíng)·基礎(chǔ)庫(kù)建設(shè)流程大數(shù)據(jù)管理中心委辦局（供給）提出主題庫(kù)建設(shè)需求開(kāi)始明確責(zé)任需求清單三清單管理確認(rèn)責(zé)任清單共享數(shù)據(jù)推送主題庫(kù)應(yīng)用/數(shù)據(jù)共享結(jié)束委辦局（需求）溝通方案(三方)建主題庫(kù)并分配資源主題庫(kù)開(kāi)發(fā)生成資源目錄整理制作郎豐利1519數(shù)據(jù)治理運(yùn)營(yíng)·專題/主題應(yīng)用開(kāi)發(fā)與運(yùn)營(yíng)整合了大數(shù)據(jù)匯聚、整合、融合分析與應(yīng)用運(yùn)營(yíng)能力，建立了垮多委辦之間的協(xié)作機(jī)制，打造了一體化全流程主題/專題應(yīng)用庫(kù)建設(shè)體系，可快速實(shí)現(xiàn)從模型構(gòu)建到模型的落地應(yīng)用，為政府提供高效的基礎(chǔ)/專題/主題庫(kù)應(yīng)用開(kāi)發(fā)與運(yùn)營(yíng)服務(wù)。需求立項(xiàng)模型建構(gòu)模型調(diào)優(yōu)模型發(fā)布迭代數(shù)據(jù)服務(wù)分析報(bào)告模型應(yīng)用說(shuō)明政務(wù)服務(wù)社會(huì)服務(wù)+模型建構(gòu)模型發(fā)布主/專題應(yīng)用反饋數(shù)據(jù)匯聚應(yīng)用發(fā)布模型構(gòu)建數(shù)據(jù)分析參數(shù)調(diào)優(yōu)數(shù)據(jù)預(yù)處理模型評(píng)估匯聚相關(guān)委辦對(duì)應(yīng)數(shù)據(jù)處理空值，屬性值轉(zhuǎn)換分析數(shù)據(jù)與需求相關(guān)性選擇合適的算法進(jìn)行建模調(diào)整數(shù)據(jù)模型參數(shù)基礎(chǔ)/主/專題發(fā)布評(píng)估模型準(zhǔn)確性，合理性數(shù)據(jù)治理運(yùn)營(yíng)·數(shù)據(jù)應(yīng)用開(kāi)發(fā)通過(guò)大數(shù)據(jù)平臺(tái)基于用戶信息及用戶行為綜合特征，知識(shí)圖譜以及地理空間關(guān)聯(lián)特征，進(jìn)行融合匯聚和深度挖掘關(guān)聯(lián)分析，形成多維標(biāo)簽體系，進(jìn)而支撐從各類數(shù)據(jù)挖掘應(yīng)用與開(kāi)發(fā)，實(shí)現(xiàn)數(shù)據(jù)價(jià)值最大化。大數(shù)據(jù)標(biāo)簽匯聚與應(yīng)用開(kāi)發(fā)能力屬性標(biāo)簽事件標(biāo)簽靜態(tài)穩(wěn)定標(biāo)簽短期時(shí)序事件和專題事件車(chē)輛屬性：品牌、型號(hào)、出廠年份、行駛公里數(shù)。線路屬性：線路起點(diǎn)、線路終點(diǎn)、時(shí)刻表、車(chē)輛數(shù)、班次。駕駛員屬性：性別、年齡、駕齡、行駛證類別。車(chē)輛行駛情況：行駛時(shí)間，是否晚點(diǎn)。?？壳闆r：車(chē)輛進(jìn)場(chǎng)時(shí)間，車(chē)輛出廠時(shí)間駕駛員駕駛情況：當(dāng)天駕駛時(shí)長(zhǎng)、上班時(shí)間違章事件：車(chē)輛違章、車(chē)輛事故。保養(yǎng)事件：保養(yǎng)記錄、維修記錄。專題事件：節(jié)假日、特定事件等關(guān)鍵事件。建立多層級(jí)實(shí)體模型，模型覆蓋車(chē)輛、線路、駕駛員、停車(chē)場(chǎng)等實(shí)體。建立多維標(biāo)簽覆蓋從靜態(tài)屬性到動(dòng)態(tài)行為標(biāo)簽。從無(wú)到有，打造出一套連接線上線下的時(shí)間序列，滿足應(yīng)用要求。動(dòng)態(tài)行為標(biāo)簽…………旨在建造更專業(yè)更精準(zhǔn)的標(biāo)簽體系，為客戶實(shí)現(xiàn)數(shù)據(jù)價(jià)值最大化，推動(dòng)標(biāo)簽在企業(yè)在應(yīng)用中發(fā)揮價(jià)值。除了數(shù)據(jù)監(jiān)控、精準(zhǔn)營(yíng)銷(xiāo)方面外，結(jié)合數(shù)據(jù)挖掘算法與主流的機(jī)器學(xué)習(xí)框架TensorFlow，在自然語(yǔ)言、圖像識(shí)別、知識(shí)圖譜等方面可以挖掘非結(jié)構(gòu)化數(shù)據(jù)，形成高效、靈活的應(yīng)用。算法設(shè)計(jì)建立模型數(shù)據(jù)整合業(yè)務(wù)分析應(yīng)用開(kāi)發(fā)數(shù)據(jù)治理建設(shè)中容易踩的幾個(gè)”坑”取數(shù)據(jù)先行而不是編數(shù)據(jù)目錄先行，導(dǎo)致后續(xù)對(duì)平臺(tái)中數(shù)據(jù)的管理與使用失控元數(shù)據(jù)管理后置引發(fā)不一致(元數(shù)據(jù)和實(shí)體數(shù)據(jù)資源、設(shè)計(jì)和實(shí)現(xiàn)、文檔和實(shí)現(xiàn))災(zāi)難缺乏統(tǒng)一數(shù)據(jù)開(kāi)發(fā)技術(shù)標(biāo)準(zhǔn)與規(guī)范，導(dǎo)致重復(fù)開(kāi)發(fā)，總體開(kāi)發(fā)成本大、效率低，問(wèn)題多、隱患大采用以代碼為主的數(shù)據(jù)應(yīng)用開(kāi)發(fā)方式，導(dǎo)致數(shù)據(jù)應(yīng)用黑盒問(wèn)題嚴(yán)重，問(wèn)題定位困難，維護(hù)成本高前置業(yè)務(wù)的數(shù)據(jù)庫(kù)表自行修改，導(dǎo)致數(shù)據(jù)匯聚失敗或者引發(fā)后續(xù)數(shù)據(jù)質(zhì)量問(wèn)題缺乏權(quán)責(zé)明確、清晰的管理與約束手段導(dǎo)致業(yè)務(wù)單位提交數(shù)據(jù)不到位、不及時(shí)由供需部門(mén)直接對(duì)接，數(shù)據(jù)部門(mén)沒(méi)有發(fā)揮出協(xié)同中心作用，導(dǎo)致業(yè)務(wù)單位要數(shù)據(jù)難，效率低、怨言大沒(méi)有建立基于明確權(quán)責(zé)劃定的多部門(mén)溝通與協(xié)調(diào)機(jī)制，導(dǎo)致反復(fù)溝通、信息不同步、整體工作效率低避坑指南·數(shù)據(jù)治理運(yùn)營(yíng)基本心法前置-定義數(shù)據(jù)治理與管理相關(guān)的技術(shù)、業(yè)務(wù)與管理標(biāo)準(zhǔn)及規(guī)范編制數(shù)據(jù)資產(chǎn)目錄元數(shù)據(jù)信息配置數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)定義數(shù)據(jù)開(kāi)發(fā)技術(shù)標(biāo)準(zhǔn)數(shù)據(jù)上報(bào)提交規(guī)范與要求數(shù)據(jù)應(yīng)用需求受理開(kāi)發(fā)流程數(shù)據(jù)使用申請(qǐng)與使用規(guī)范綜合運(yùn)用技術(shù)、管理甚至行政手段，來(lái)保障這些規(guī)范的落地與執(zhí)行強(qiáng)元數(shù)據(jù)前置控制數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行控制技術(shù)標(biāo)準(zhǔn)執(zhí)行控制智能化監(jiān)控與告警明確數(shù)據(jù)中心職責(zé)目標(biāo)范圍強(qiáng)調(diào)數(shù)據(jù)治理各方權(quán)責(zé)配套管理、溝通與考核機(jī)制堅(jiān)定的業(yè)務(wù)目標(biāo)強(qiáng)力的組織領(lǐng)導(dǎo)強(qiáng)大的系統(tǒng)工具獨(dú)立的運(yùn)營(yíng)團(tuán)隊(duì)高效的技術(shù)支撐避坑指南·構(gòu)建數(shù)據(jù)治理運(yùn)營(yíng)服務(wù)能力數(shù)據(jù)匯聚對(duì)接實(shí)施服務(wù)企業(yè)數(shù)據(jù)治理運(yùn)營(yíng)服務(wù)能力專業(yè)數(shù)據(jù)治理運(yùn)營(yíng)團(tuán)隊(duì)完善治理運(yùn)營(yíng)服務(wù)流程豐富治理運(yùn)營(yíng)服務(wù)經(jīng)驗(yàn)多樣服務(wù)實(shí)施交付方式治理服務(wù)綜合數(shù)據(jù)應(yīng)用咨詢服務(wù)系統(tǒng)平臺(tái)運(yùn)行維護(hù)服務(wù)數(shù)據(jù)模型設(shè)計(jì)開(kāi)發(fā)服務(wù)業(yè)務(wù)數(shù)據(jù)開(kāi)放運(yùn)維服務(wù)數(shù)據(jù)清洗處理實(shí)施服務(wù)避坑指南·搭建數(shù)據(jù)治理運(yùn)營(yíng)團(tuán)隊(duì)數(shù)據(jù)治理工作離不開(kāi)強(qiáng)有力的組織保障，政府必須構(gòu)建專門(mén)的數(shù)據(jù)治理管理團(tuán)隊(duì)，由專門(mén)的數(shù)據(jù)治理管理團(tuán)隊(duì)成為組織大數(shù)據(jù)戰(zhàn)略的制定者、推動(dòng)者和實(shí)施者，負(fù)責(zé)組織內(nèi)數(shù)據(jù)資產(chǎn)的開(kāi)發(fā)和利用，通過(guò)數(shù)據(jù)推動(dòng)組織業(yè)務(wù)的創(chuàng)新和發(fā)展。信息化領(lǐng)導(dǎo)小組數(shù)據(jù)治理管理領(lǐng)導(dǎo)小組IT信息部門(mén)牽頭業(yè)務(wù)部門(mén)其他業(yè)務(wù)部門(mén)數(shù)據(jù)治理實(shí)施部其他管理部門(mén)數(shù)據(jù)對(duì)接組需求管理組數(shù)據(jù)質(zhì)量管理組數(shù)據(jù)安全管控組數(shù)據(jù)歸集組數(shù)據(jù)模型設(shè)計(jì)組基礎(chǔ)模型開(kāi)發(fā)組應(yīng)用模型開(kāi)發(fā)組運(yùn)行維護(hù)組平臺(tái)開(kāi)發(fā)組數(shù)據(jù)分析組數(shù)據(jù)清洗組數(shù)據(jù)治理典型團(tuán)隊(duì)架構(gòu)項(xiàng)目總集管理治理部門(mén)可以是實(shí)體部門(mén)，也可是業(yè)務(wù)和IT部聯(lián)合組成的虛擬團(tuán)隊(duì)整個(gè)數(shù)據(jù)治理團(tuán)隊(duì)的建設(shè)中可通過(guò)引入平臺(tái)與治理運(yùn)營(yíng)供應(yīng)商來(lái)共同組建，并可引入一個(gè)項(xiàng)目總集方負(fù)責(zé)日常運(yùn)營(yíng)工作；建議需求、質(zhì)量與安全管理工作由政府內(nèi)部人員來(lái)負(fù)責(zé)。避坑指南·制定數(shù)據(jù)治理配套制度數(shù)據(jù)治理相關(guān)的技術(shù)與管理流程規(guī)范規(guī)定了數(shù)據(jù)中心與業(yè)務(wù)部門(mén)，以及各系統(tǒng)之間的數(shù)據(jù)歸集、數(shù)據(jù)模型設(shè)計(jì)、數(shù)據(jù)模型開(kāi)發(fā)、數(shù)據(jù)資產(chǎn)體系框架構(gòu)建、部署規(guī)范、數(shù)據(jù)安全運(yùn)維管理以及數(shù)據(jù)共享的相關(guān)要求，指導(dǎo)整個(gè)組織展開(kāi)大數(shù)據(jù)的管理與應(yīng)用。數(shù)據(jù)治理技術(shù)與管理流程規(guī)范總覽數(shù)據(jù)歸集技術(shù)規(guī)范數(shù)據(jù)模型設(shè)計(jì)技術(shù)規(guī)范數(shù)據(jù)模型開(kāi)發(fā)技術(shù)規(guī)范數(shù)據(jù)資產(chǎn)管理規(guī)范數(shù)據(jù)安全管理規(guī)范數(shù)據(jù)共享技術(shù)規(guī)范數(shù)據(jù)開(kāi)發(fā)需求響應(yīng)流程數(shù)據(jù)共享應(yīng)用申請(qǐng)流程數(shù)據(jù)質(zhì)量要求管理規(guī)范數(shù)據(jù)規(guī)范是指對(duì)政務(wù)核心數(shù)據(jù)進(jìn)行有關(guān)存在性、完整性、質(zhì)量及歸檔的測(cè)量標(biāo)準(zhǔn)，為評(píng)估政務(wù)數(shù)據(jù)質(zhì)量；數(shù)據(jù)治理需要管理和制度的有力支撐，需結(jié)合組織現(xiàn)狀，制定對(duì)應(yīng)管理辦法、流程、認(rèn)責(zé)體系，并頒布相關(guān)規(guī)章制度。數(shù)據(jù)運(yùn)營(yíng)案例·某市大數(shù)據(jù)資源中心建設(shè)與運(yùn)營(yíng)支撐參與了某市大數(shù)據(jù)資源中心、基礎(chǔ)庫(kù)、專題主題庫(kù)的建設(shè)，主要負(fù)責(zé)委辦數(shù)據(jù)對(duì)接、數(shù)據(jù)治理與應(yīng)用開(kāi)發(fā)的運(yùn)營(yíng)支撐工作。進(jìn)入某市大數(shù)據(jù)資源中心數(shù)據(jù)運(yùn)營(yíng)項(xiàng)目；參與了多個(gè)委辦數(shù)據(jù)對(duì)接抽取、數(shù)據(jù)清洗治理的運(yùn)營(yíng)支撐工作；參與了數(shù)據(jù)分析與應(yīng)用開(kāi)發(fā)工作，包括基礎(chǔ)庫(kù)、主題專題庫(kù)的建設(shè)；目前已經(jīng)完成了互聯(lián)網(wǎng)+監(jiān)管、城市管理等幾個(gè)主題的遷移及改造相關(guān)工作；負(fù)責(zé)數(shù)據(jù)應(yīng)用開(kāi)發(fā)與共享的運(yùn)營(yíng)支撐工作，在疫情期間參與了隨S碼的開(kāi)發(fā)與開(kāi)放工作。市場(chǎng)監(jiān)管城市管理公共安全社會(huì)治理主題庫(kù)政務(wù)服務(wù)專題庫(kù)宏觀經(jīng)濟(jì)專題庫(kù)經(jīng)濟(jì)運(yùn)行監(jiān)測(cè)宏觀經(jīng)濟(jì)預(yù)測(cè)宏觀經(jīng)濟(jì)指數(shù)市場(chǎng)主體發(fā)展人口和就業(yè)……民生幸福專題庫(kù)人口遷移老齡化及養(yǎng)老公共安全政務(wù)服務(wù)城市綜合體……市場(chǎng)運(yùn)行專題庫(kù)主體準(zhǔn)入分析產(chǎn)業(yè)結(jié)構(gòu)調(diào)整大眾創(chuàng)業(yè)分析電子商務(wù)發(fā)展中小企業(yè)發(fā)展……人口庫(kù)法人庫(kù)電子證照庫(kù)空間地理庫(kù)基礎(chǔ)庫(kù)數(shù)據(jù)源四大庫(kù)市級(jí)建設(shè)系統(tǒng)數(shù)據(jù)各市級(jí)委辦數(shù)據(jù)各行政區(qū)數(shù)據(jù)某市大數(shù)據(jù)中心-數(shù)據(jù)湖&數(shù)據(jù)庫(kù)數(shù)據(jù)共享開(kāi)放平臺(tái)數(shù)據(jù)開(kāi)放清