DB3308T 050-2018政務(wù)服務(wù)數(shù)據(jù)倉(cāng)建設(shè)規(guī)范

ICS01.040.03A12浙江DB3308省衢州市地方標(biāo)準(zhǔn)DB/T050—2018衢州市質(zhì)量技術(shù)監(jiān)督局發(fā)布IDB3308/T050—2018前言 DB3308/T050—2018前言本標(biāo)準(zhǔn)按照GB/T1.1-2009給出的規(guī)則起草。本標(biāo)準(zhǔn)由衢州市行政服務(wù)中心管理辦公室提出并歸口。本標(biāo)準(zhǔn)起草單位：衢州市行政服務(wù)中心管理辦公室、浙江衢時(shí)代大數(shù)據(jù)科技有限公司、浙報(bào)浙數(shù)文化集團(tuán)股份有限公司、浙江省方大標(biāo)準(zhǔn)信息有限公司、衢州市質(zhì)量技術(shù)監(jiān)督檢測(cè)中心(衢州市標(biāo)準(zhǔn)化研究院)。本標(biāo)準(zhǔn)主要起草人：洪寒月、李文陽(yáng)、袁瓊、李靖翔、楚龍、葉華飛、何琳、潘旭峰、張理敏、祁勁松。1DB3308/T050—2018政務(wù)服務(wù)數(shù)據(jù)倉(cāng)建設(shè)規(guī)范1范圍本標(biāo)準(zhǔn)規(guī)定了衢州政務(wù)服務(wù)數(shù)據(jù)倉(cāng)的基本要求、數(shù)據(jù)架構(gòu)、建設(shè)要求、數(shù)據(jù)開(kāi)發(fā)等內(nèi)容。本標(biāo)準(zhǔn)適用于衢州政務(wù)服務(wù)數(shù)據(jù)倉(cāng)的建設(shè)。2規(guī)范性引用文件下列文件對(duì)于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅所注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T21062.3政務(wù)信息資源交換體系第3部分：數(shù)據(jù)接口規(guī)范GB/T20270信息安全技術(shù)網(wǎng)絡(luò)基礎(chǔ)安全技術(shù)要求GB/T20271信息安全技術(shù)信息系統(tǒng)通用安全技術(shù)要求GB/T28452信息安全技術(shù)應(yīng)用軟件系統(tǒng)通用安全技術(shù)要求GB/T29765信息安全技術(shù)數(shù)據(jù)備份與恢復(fù)產(chǎn)品技術(shù)要求與測(cè)試評(píng)價(jià)方法《浙江政務(wù)服務(wù)網(wǎng)技術(shù)規(guī)范第二部分?jǐn)?shù)據(jù)交換技術(shù)規(guī)范》《浙江政務(wù)服務(wù)網(wǎng)技術(shù)規(guī)范第三部分?jǐn)?shù)據(jù)交換信息規(guī)范》《浙江省公共數(shù)據(jù)共享交換技術(shù)規(guī)范(試行)》3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.1云平臺(tái)具有提供云服務(wù)器、開(kāi)放結(jié)構(gòu)化數(shù)據(jù)服務(wù)，開(kāi)放緩存服務(wù)等服務(wù)的能力，用于相關(guān)配套系統(tǒng)的部署。同時(shí)云平臺(tái)還需擁有提供云數(shù)據(jù)庫(kù)、分布式關(guān)系型數(shù)據(jù)庫(kù)服務(wù)以及基于開(kāi)放存儲(chǔ)服務(wù)構(gòu)建的大數(shù)據(jù)平臺(tái)的能力，便于在整體的建設(shè)過(guò)程中，根據(jù)數(shù)據(jù)的規(guī)模按需進(jìn)行技術(shù)選型。3.2云數(shù)據(jù)庫(kù)具有多重安全防護(hù)措施和完善的性能監(jiān)控體系，并提供專(zhuān)業(yè)的數(shù)據(jù)庫(kù)備份、恢復(fù)及優(yōu)化方案的一種即開(kāi)即用、穩(wěn)定可靠、可彈性伸縮的在線(xiàn)數(shù)據(jù)庫(kù)服務(wù)。3.3開(kāi)放存儲(chǔ)服務(wù)云平臺(tái)提供的海量、安全和高可靠的云存儲(chǔ)服務(wù)。3.42DB3308/T050—2018分布式關(guān)系型數(shù)據(jù)庫(kù)服務(wù)水平拆分、可平滑擴(kuò)縮容、可讀寫(xiě)分離的在線(xiàn)分布式數(shù)據(jù)庫(kù)服務(wù)。3.5開(kāi)放結(jié)構(gòu)化數(shù)據(jù)服務(wù)構(gòu)建在云平臺(tái)分布式系統(tǒng)之上的NoSQL數(shù)據(jù)服務(wù)，以實(shí)例和表的形式組織數(shù)據(jù)，通過(guò)數(shù)據(jù)分片和負(fù)載均衡技術(shù)，實(shí)現(xiàn)規(guī)模上的無(wú)縫擴(kuò)展。3.6開(kāi)放緩存服務(wù)在線(xiàn)緩存服務(wù)，為熱點(diǎn)數(shù)據(jù)的訪(fǎng)問(wèn)提供高速響應(yīng)。3.7元數(shù)據(jù)描述數(shù)據(jù)的數(shù)據(jù)，對(duì)數(shù)據(jù)及信息資源的描述性信息。3.8數(shù)據(jù)映射給定兩個(gè)數(shù)據(jù)模型，在模型之間建立起數(shù)據(jù)元素的對(duì)應(yīng)關(guān)系的過(guò)程。3.9維度表維度屬性的集合。3.10事實(shí)表數(shù)據(jù)倉(cāng)結(jié)構(gòu)中的中央表，包含聯(lián)系事實(shí)與維度表的數(shù)字度量值和鍵。3.11主題在較高層次上將企業(yè)信息系統(tǒng)中的數(shù)據(jù)進(jìn)行綜合、歸類(lèi)和分析利用的一個(gè)抽象概念。3.12數(shù)據(jù)源提供某種所需要數(shù)據(jù)的載體。3.13政務(wù)服務(wù)數(shù)據(jù)倉(cāng)政務(wù)服務(wù)運(yùn)行過(guò)程中，為各類(lèi)應(yīng)用系統(tǒng)提供所有類(lèi)型、海量數(shù)據(jù)支持的數(shù)據(jù)集合與戰(zhàn)略集合。4基本原則與要求4.1基本原則3DB3308/T050—2018文件命名習(xí)慣等保持統(tǒng)一，編制符合“統(tǒng)一性”原則，包括但不限于：模型層次命名、主題域命名、數(shù)據(jù)模型命名、工作流任務(wù)命名等的統(tǒng)一性，還包括開(kāi)發(fā)過(guò)程以及問(wèn)題處理方式的統(tǒng)一性。4.2基本要求規(guī)范數(shù)據(jù)倉(cāng)的開(kāi)發(fā)過(guò)程，降低開(kāi)發(fā)難度，保障開(kāi)發(fā)質(zhì)量，避免因開(kāi)發(fā)不規(guī)范問(wèn)題導(dǎo)致的重復(fù)開(kāi)發(fā)以及返工等問(wèn)題。5數(shù)據(jù)架構(gòu)數(shù)據(jù)倉(cāng)的建設(shè)是一個(gè)整體性工作，數(shù)據(jù)從產(chǎn)生到入庫(kù)的整體環(huán)節(jié)應(yīng)盡量遵循數(shù)據(jù)架構(gòu)圖進(jìn)行建設(shè)，各環(huán)節(jié)采用一套標(biāo)準(zhǔn)。數(shù)據(jù)倉(cāng)建設(shè)數(shù)據(jù)架構(gòu)圖如下圖1所示。圖1數(shù)據(jù)倉(cāng)建設(shè)數(shù)據(jù)架構(gòu)圖6建設(shè)要求6.1部署環(huán)境選型政務(wù)服務(wù)數(shù)據(jù)倉(cāng)整體相關(guān)建設(shè)內(nèi)容應(yīng)統(tǒng)一基于衢州市政務(wù)云平臺(tái)進(jìn)行構(gòu)建。6.2數(shù)據(jù)倉(cāng)模型層次政務(wù)服務(wù)數(shù)據(jù)倉(cāng)模型層次表如表1所示。4DB3308/T050—2018表1數(shù)據(jù)倉(cāng)模型層次表分層名英文全稱(chēng)中文名層次定義ADSApplicationDataSummary應(yīng)用數(shù)據(jù)層實(shí)現(xiàn)功能：該層為應(yīng)用數(shù)據(jù)層，根據(jù)業(yè)務(wù)需求組織數(shù)據(jù)，該層定期需要定期review，將公共指標(biāo)沉淀到DWS中。數(shù)據(jù)來(lái)源范圍：DWS、DWD。數(shù)據(jù)存儲(chǔ)時(shí)長(zhǎng)：根據(jù)業(yè)務(wù)需求狀況保留。DWSDataWarehouseSummary基礎(chǔ)標(biāo)簽層實(shí)現(xiàn)功能：該層為基礎(chǔ)標(biāo)簽層，主要有統(tǒng)計(jì)匯總或算法產(chǎn)生的基礎(chǔ)數(shù)據(jù)標(biāo)簽，按不同維度進(jìn)行統(tǒng)計(jì)，主要操作包括基于業(yè)務(wù)整合、關(guān)聯(lián)計(jì)算得到的明細(xì)數(shù)據(jù)；著力公共指標(biāo)、排序聚合得到的匯總數(shù)據(jù)。數(shù)據(jù)來(lái)源范圍：DWD、ODS。數(shù)據(jù)存儲(chǔ)時(shí)長(zhǎng)：根據(jù)業(yè)務(wù)需求狀況保留。DWDDataWarehouseDetail基礎(chǔ)數(shù)據(jù)層實(shí)現(xiàn)功能：該層為基礎(chǔ)數(shù)據(jù)層，主要操作包括數(shù)據(jù)清洗、數(shù)據(jù)過(guò)濾、數(shù)據(jù)歷史變更記錄等。數(shù)據(jù)來(lái)源范圍：此層數(shù)據(jù)來(lái)源于ODS。數(shù)據(jù)存儲(chǔ)時(shí)長(zhǎng)：根據(jù)業(yè)務(wù)需求狀況保留。ODSOperationalDataStore源數(shù)據(jù)接入層實(shí)現(xiàn)功能：業(yè)務(wù)源系統(tǒng)數(shù)據(jù)接入到此層，此層數(shù)據(jù)不做任何加工，禁止重復(fù)進(jìn)入。數(shù)據(jù)來(lái)源范圍：業(yè)務(wù)源系統(tǒng)。DIMDimension公共維表實(shí)現(xiàn)功能：該層為公共維表層，該層獨(dú)立DS維度字段說(shuō)明。數(shù)據(jù)來(lái)源范圍：ODS。數(shù)據(jù)存儲(chǔ)時(shí)長(zhǎng)：根據(jù)業(yè)務(wù)需求狀況保留。6.3主題域劃分6.3.1政務(wù)服務(wù)數(shù)據(jù)倉(cāng)邏輯模型的設(shè)計(jì)采用自頂而下的方法，將需求涉及范圍內(nèi)的業(yè)務(wù)對(duì)象從高度概括的概念層次歸類(lèi)，再針對(duì)各個(gè)主題設(shè)計(jì)實(shí)體關(guān)系圖。由于主題域的劃分與實(shí)際需求存在較強(qiáng)關(guān)聯(lián)且存在迭代的情況，故僅就部分主題域以示列出，作為相關(guān)建設(shè)的參考，如表2所示。表2數(shù)據(jù)倉(cāng)系統(tǒng)主題域示例表主題中文名英文全稱(chēng)英文簡(jiǎn)稱(chēng)物理表前綴城**通T***cTc城**療M**hMhmh城**育C**eCe5DB3308/T050—2018表2數(shù)據(jù)倉(cāng)系統(tǒng)主題域示例表(續(xù))主題中文名英文全稱(chēng)英文簡(jiǎn)稱(chēng)物理表前綴市**理C*zCz6.3.2數(shù)據(jù)倉(cāng)系統(tǒng)主題域細(xì)化劃分示例如表3所示。表3數(shù)據(jù)倉(cāng)系統(tǒng)主題域細(xì)化示例表主題中文名英文全稱(chēng)英文簡(jiǎn)稱(chēng)物理表前綴所屬父主題基**息B**cBasbas城**通定**息G**mGpsgps城**通地**置L**nLoc城**通交**件E**tEvtevt城**通交**制C**lCtlctl城**通交**行O**nOptopt城**通6.4數(shù)據(jù)模型命名數(shù)據(jù)模型命名形式及規(guī)則如表4所示。表4數(shù)據(jù)模型命名規(guī)則表序號(hào)類(lèi)型命名形式規(guī)則說(shuō)明1體/表名ods_<源業(yè)務(wù)系統(tǒng)簡(jiǎn)寫(xiě)>_<源系統(tǒng)表名>1.命名內(nèi)容采用英文簡(jiǎn)稱(chēng)或拼音；2.使用英文小寫(xiě)字母，單詞或拼音詞組之間0個(gè)字符；2體/表名dim_<實(shí)體英文名稱(chēng)>1.命名內(nèi)容采用英文簡(jiǎn)稱(chēng)或拼音；2.使用英文小寫(xiě)字母，單詞或拼音詞組之間0個(gè)字符；3臨時(shí)表命名TMP_<模型層表命名規(guī)范>_[XX]1.以TMP打頭，中間為該事實(shí)表的名稱(chēng).以XX結(jié)尾，XX為從01~99的數(shù)字；6DB3308/T050—2018表4數(shù)據(jù)模型命名規(guī)則表(續(xù))序號(hào)類(lèi)型命名形式規(guī)則說(shuō)明4體/表名ads_<主題域>_<應(yīng)用名稱(chēng)>_<數(shù)1.命名內(nèi)容采用英文簡(jiǎn)稱(chēng)或拼音；2.使用英文小寫(xiě)字母，單詞或拼音詞組之間0個(gè)字符；3.B為可選項(xiàng)，區(qū)分更新周期，若為‘d’則A(無(wú)分區(qū)，或每個(gè)分區(qū)都為全量數(shù)據(jù))5體/表名dwd_<主題名稱(chēng)>_<子主題名稱(chēng)>_<數(shù)據(jù)內(nèi)容描述>_[B]1.命名內(nèi)容采用英文簡(jiǎn)稱(chēng)或拼音；2.使用英文小寫(xiě)字母，單詞或拼音詞組之間0個(gè)字符；3.B為可選項(xiàng)，區(qū)分更新周期，若為‘d’則A(無(wú)分區(qū)，或每個(gè)分區(qū)都為全量數(shù)據(jù))6體/表名dws_<主題名稱(chēng)>_<子主題名稱(chēng)>_<數(shù)據(jù)內(nèi)容描述>_[B]1.命名內(nèi)容采用英文簡(jiǎn)稱(chēng)或拼音；2.使用英文小寫(xiě)字母，單詞或拼音詞組之間0個(gè)字符；3.B為可選項(xiàng)，區(qū)分更新周期，若為‘d’則A(無(wú)分區(qū)，或每個(gè)分區(qū)都為全量數(shù)據(jù))6.5前置數(shù)據(jù)倉(cāng)建設(shè)6.5.1政務(wù)服務(wù)數(shù)據(jù)倉(cāng)在實(shí)際建設(shè)過(guò)程中，為避免對(duì)數(shù)據(jù)源形成強(qiáng)干擾，以及多源復(fù)雜情況下數(shù)據(jù)遷移工作需要的考慮，一般不會(huì)采取直聯(lián)生產(chǎn)環(huán)境的方式將數(shù)據(jù)源的數(shù)據(jù)獲取到政務(wù)服務(wù)數(shù)據(jù)倉(cāng)。因此需要建立至少一個(gè)前置數(shù)據(jù)倉(cāng)(一般為傳統(tǒng)關(guān)系型數(shù)據(jù)庫(kù))，作為數(shù)據(jù)遷移進(jìn)倉(cāng)整體傳輸過(guò)程的前置節(jié)點(diǎn)。6.5.2相關(guān)前置數(shù)據(jù)倉(cāng)的建設(shè)內(nèi)容應(yīng)主要參考政務(wù)服務(wù)數(shù)據(jù)倉(cāng)ODS層進(jìn)行設(shè)計(jì)與建設(shè)，以減少后續(xù)數(shù)據(jù)遷移入庫(kù)的工作量。7數(shù)據(jù)開(kāi)發(fā)7.1數(shù)據(jù)維度7DB3308/T050—20187.1.1應(yīng)合并來(lái)自不同數(shù)據(jù)源的數(shù)據(jù)，每個(gè)維度進(jìn)行標(biāo)準(zhǔn)化、統(tǒng)一化，在數(shù)據(jù)倉(cāng)中為每個(gè)維度建立一致性的標(biāo)準(zhǔn)，記錄在維度表中，并通過(guò)元數(shù)據(jù)與數(shù)據(jù)映射組合的方式進(jìn)行描述，方便后續(xù)的數(shù)據(jù)交叉探查等工作。7.1.2應(yīng)為每個(gè)維度建立標(biāo)準(zhǔn)化的編碼方式，以及數(shù)據(jù)格式。7.1.3應(yīng)在建立標(biāo)準(zhǔn)化的編碼方式后，將各源系統(tǒng)中數(shù)據(jù)中的維度數(shù)據(jù)進(jìn)行關(guān)聯(lián)轉(zhuǎn)換，將不同數(shù)據(jù)源標(biāo)識(shí)同一事物的不同屬性值進(jìn)行統(tǒng)一。7.1.4對(duì)于不同系統(tǒng)的不同維度，創(chuàng)建維度的映射關(guān)系表，將其映射到標(biāo)準(zhǔn)化后的維度上。7.2數(shù)據(jù)格式在ODS層實(shí)施過(guò)程中，需要將各源系統(tǒng)的數(shù)據(jù)格式進(jìn)行統(tǒng)一。統(tǒng)一的數(shù)據(jù)格式示例如表5所示。表5數(shù)據(jù)格式統(tǒng)一示例表格式類(lèi)型統(tǒng)一格式示例yyyyMMdd，默認(rèn)為1900010120151212間HHmmss，默認(rèn)為000000121314字符串去除頭尾空格，去除回車(chē)，默認(rèn)為NULLTrim(‘政務(wù)服務(wù)’)整型默認(rèn)為0(可根據(jù)具體業(yè)務(wù)類(lèi)型調(diào)整)，雙精度默認(rèn)保留4位小數(shù)位(可根據(jù)具體業(yè)務(wù)調(diào)整)7.3文件組織方式7.3.1根據(jù)主題域的不同，在數(shù)據(jù)開(kāi)發(fā)/手動(dòng)任務(wù)中，分別建立相對(duì)應(yīng)的文件層級(jí)目錄，文件夾名稱(chēng)即為數(shù)據(jù)層級(jí)/主題域/數(shù)據(jù)庫(kù)對(duì)象的描述信息，葉子節(jié)點(diǎn)為數(shù)據(jù)庫(kù)對(duì)象的名稱(chēng)作為文件的名稱(chēng)，原則上數(shù)據(jù)開(kāi)發(fā)與手動(dòng)任務(wù)目錄下的文件組織形式應(yīng)保持一致。文件組織方式如圖2所示。圖2文件組織方式圖7.3.2數(shù)據(jù)庫(kù)對(duì)象的DDL語(yǔ)句，根據(jù)數(shù)據(jù)表的歸屬情況，在手動(dòng)任務(wù)中，在相應(yīng)的文件夾下創(chuàng)建DDL腳本。7.3.3需要進(jìn)行數(shù)據(jù)初始化的數(shù)據(jù)表，應(yīng)在手動(dòng)任務(wù)中，創(chuàng)建相應(yīng)的SQL腳本文件。8DB3308/T050—20187.3.4正式的生產(chǎn)任務(wù)的名稱(chēng)與數(shù)據(jù)庫(kù)對(duì)象名稱(chēng)一致。7