數(shù)據(jù)倉庫-系統(tǒng)設(shè)計說明書

1、.歸一大數(shù)據(jù)平臺數(shù)據(jù)倉庫系統(tǒng)設(shè)計說明書件控制受控不受控檔編號版本號分冊名稱第冊 /共冊總頁數(shù)正文附錄編制審批生效日期1/18.修改變更記錄：更改條款及內(nèi)容更改人審批人更改日期創(chuàng)建文檔閻飛謝益武2015-11-52/18.目錄1引言 .51.1文檔編制目的 .51.2背景 .61.3詞匯表 .61.4參考資料 .62總體設(shè)計.72.1軟件體系結(jié)構(gòu) .72.2系統(tǒng)運行體系 .錯誤 ! 未定義書簽。2.2.1運行體系圖 .錯誤 ! 未定義書簽。2.2.2程序 /模塊對應(yīng)表 .錯誤 ! 未定義書簽。2.3系統(tǒng)物理結(jié)構(gòu) .72.4技術(shù)路線 .83系統(tǒng)接口設(shè)計 .83.1用戶接口 .84子系統(tǒng) /模塊設(shè)計

2、 .84.1數(shù)據(jù)倉庫 .84.1.1ODL( 操作數(shù)據(jù) )層設(shè)計 .84.1.2BDL( 數(shù)據(jù)倉庫 )層設(shè)計 .104.1.3IDL( 寬表 )層設(shè)計 .114.1.4PDL( 應(yīng)用 )層設(shè)計 .124.1.5PUB( 維度 )層設(shè)計 .154.1.6數(shù)據(jù)導(dǎo)出設(shè)計 .165數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)庫設(shè)計 .176外部存儲結(jié)構(gòu)設(shè)計 .177故障處理說明 .178尚需解決的問題 .183/18.編寫指南：本模板力圖給出系統(tǒng)設(shè)計階段可能包括的基本信息，重點在于和需求分析文檔相聯(lián)系。描述系統(tǒng)整體情況。如果某個章節(jié)在項目或當(dāng)前階段中無法描述，則可保留其標(biāo)題， 注明“不4/18.適用”；如果需要對本模板的個別章節(jié)詳

3、細(xì)描述，也可將其形成單獨的文檔，成為本文檔附件。若文檔中的某個章節(jié)已經(jīng)在其他項目文檔中加以描述，可保留標(biāo)題，注明“參見（文檔編號）（文檔名稱） （條款）”。形成正式文檔后須刪除斜體字內(nèi)容。0 報告編制要求這里列出本系統(tǒng)設(shè)計報告編制的經(jīng)驗性要求，須由系統(tǒng)設(shè)計人員參照其進(jìn)行裁剪以確定本次報告編制的相關(guān)規(guī)定。序號要求1 對各種結(jié)構(gòu)圖要求采用 Visio 繪制。2 軟件體系結(jié)構(gòu)圖通常包括：子系統(tǒng)實體、子系統(tǒng)間數(shù)據(jù)流、相關(guān)說明。3 軟件結(jié)構(gòu)圖通常包括：模塊實體、模塊間數(shù)據(jù)流、數(shù)據(jù)存儲、相關(guān)說明。4 運行體系圖包括：進(jìn)程實體、啟動順序、并發(fā)性、數(shù)據(jù)交換。5 物理結(jié)構(gòu)圖包括：物理節(jié)點實體、物理節(jié)點分布、物理

4、節(jié)點描述、物理節(jié)點間相互關(guān)系。6 對數(shù)據(jù)庫結(jié)構(gòu)的描述要求采用結(jié)構(gòu)圖方式描述，而非采用過多表格。7 數(shù)據(jù)庫結(jié)構(gòu)圖主要包括：表實體、表間關(guān)系、主要字段、相關(guān)說明四部分。8 對于平臺性產(chǎn)品，要求有系統(tǒng)層次的劃分圖。9 通常要隔離應(yīng)用對數(shù)據(jù)庫的直接訪問。1 引言1.1 文檔編制目的? 指導(dǎo)開發(fā)人員進(jìn)行后期的開發(fā)工作；? 指導(dǎo)測試人員進(jìn)行解決方案級的系統(tǒng)測試；5/18.1.2 背景敘述系統(tǒng)設(shè)計階段的目標(biāo)、作用范圍以及其他應(yīng)向讀者說明的理解本報告所需的背景，如與公司其它軟件之間的聯(lián)系等。1.3 詞匯表列出本系統(tǒng)設(shè)計說明書中專門術(shù)語的定義、 英文縮寫詞的原詞組和意義、 項目組內(nèi)達(dá)成一致意見的專用詞匯，同時要

5、求繼承全部的先前過程中定義過的詞匯。詞匯名稱詞匯含義備注備注中注明該詞匯的來源，或有其他更詳細(xì)的解釋的文檔位置；以及對該詞匯的其他叫法。1.4 參考資料需求規(guī)格說明書系統(tǒng)架構(gòu)設(shè)計說明書數(shù)據(jù)倉庫命名規(guī)范.docx6/18.2 總體設(shè)計2.1 軟件體系結(jié)構(gòu)2.2 系統(tǒng)物理結(jié)構(gòu)描述使用本軟件系統(tǒng)典型用戶的物理設(shè)備分布圖及設(shè)備上相應(yīng)基本軟件配置。軟件環(huán)境包括：操作系統(tǒng)、數(shù)據(jù)庫、以及其它支撐軟件；硬件環(huán)境包括：主機(jī)類型、網(wǎng)絡(luò)類型、存儲器容量、其它特殊設(shè)備。要求：1） 盡量為系統(tǒng)的每個物理節(jié)點定義一個和功能相關(guān)的名稱，名稱的含義在詞匯表中說明；2） 結(jié)合運行體系圖中提到的“程序”，將相關(guān)的“運行程序”分布

6、到各個物理節(jié)點中；3） 采用網(wǎng)絡(luò)拓?fù)鋱D表示。7/18.2.3 技術(shù)路線描述本軟件系統(tǒng)在實現(xiàn)過程中所采用的技術(shù)路線、方法。對較新的技術(shù)給予詳細(xì)的闡述及必要的說明，在可能的情況下給出相應(yīng)的技術(shù)參考資料。3 系統(tǒng)接口設(shè)計3.1 用戶接口無接口。4 子系統(tǒng) /模塊設(shè)計4.1 數(shù)據(jù)倉庫操作數(shù)據(jù)層 )設(shè)計功能描述實現(xiàn)從外部系統(tǒng)導(dǎo)入數(shù)據(jù)到大數(shù)據(jù)平臺,ODL 層數(shù)據(jù)與數(shù)據(jù)源保持一致.? 同步方式包括 : 增量同步全量同步? 數(shù)據(jù)源類型包括 : 數(shù)據(jù)庫業(yè)務(wù)流程? 流程圖 :8/18.數(shù)據(jù)同步流程圖調(diào)度系統(tǒng)分布式數(shù)據(jù)倉庫數(shù)據(jù)源系統(tǒng)開始遠(yuǎn)程調(diào)用數(shù)據(jù)庫讀取同步腳本數(shù)據(jù)庫同是否成功是ODL本地表步否異常處理結(jié)束? 流程

7、說明 :1. 調(diào)度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè) .2. 作業(yè)讀取數(shù)據(jù)同步腳本 ,遠(yuǎn)程調(diào)用數(shù)據(jù)庫接口 .3. 數(shù)據(jù)庫接口返回遠(yuǎn)程調(diào)用結(jié)果 .4. 接收數(shù)據(jù)庫接口返回的數(shù)據(jù)集 ,裝載到 ODL 本地表 . ? 異常處理 :調(diào)度系統(tǒng)捕獲異常并處理? 日志說明 :由調(diào)度系統(tǒng)負(fù)責(zé)記錄作業(yè)(正常和異常 )日志 .? 數(shù)據(jù)源說明 :1. 通過視圖封裝需要同步的物理表 , 與業(yè)務(wù)進(jìn)行隔離 . 當(dāng)物理表發(fā)生變動 ,盡量通過修改視圖兼容 .2. 數(shù)據(jù)同步程序訪問數(shù)據(jù)源視圖 . ? 數(shù)據(jù)粒度說明：與數(shù)據(jù)源保持完全一致。作業(yè)設(shè)計詳見 <<數(shù)據(jù)同步列表 .xlsx>>9/18.事物層 )設(shè)計功能描述

8、BDL 層對 ODL 數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換，實現(xiàn)統(tǒng)一維度的數(shù)據(jù)整合。業(yè)務(wù)流程? 流程圖 :BDL數(shù)據(jù)流程圖調(diào)度系統(tǒng)分布式數(shù)據(jù)倉庫開始ODL表讀取作業(yè)腳本數(shù)據(jù)清洗ETL階維度轉(zhuǎn)換、捕獲維表段BDL本地表結(jié)束? 流程說明 :1. 調(diào)度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè) .2. 作業(yè)讀取 ODL 表，進(jìn)行數(shù)據(jù)清洗，對不符合規(guī)則的數(shù)據(jù)進(jìn)行丟棄或轉(zhuǎn)換.3. 將轉(zhuǎn)換后的結(jié)果數(shù)據(jù)裝載到 BDL 本地表 . ? 異常處理 :調(diào)度系統(tǒng)捕獲異常并處理.? 日志說明 :由調(diào)度系統(tǒng)負(fù)責(zé)記錄作業(yè)(正常和異常 )日志 .10/18.? 數(shù)據(jù)粒度說明：與 ODL 保持一致 .作業(yè)設(shè)計詳見 <<數(shù)據(jù)倉庫轉(zhuǎn)換文檔 .xlsx&

9、gt;>寬表層 )設(shè)計功能描述在 IDL 層對 BDL 事實表按主題進(jìn)行合并 , 形成一次寫多次讀的寬表 , 降低系統(tǒng)整體開銷 . 并實際根據(jù)需要進(jìn)行用戶級粒度的聚合 , 進(jìn)一步提高查詢效率 .業(yè)務(wù)流程? 流程圖 :IDL數(shù)據(jù)流程圖調(diào)度系統(tǒng)分布式數(shù)據(jù)倉庫開始BDL表 1BDL表 N讀取作業(yè)腳本按主題關(guān)聯(lián)ETL階事物級粒度用戶級粒度聚合段IDL本地表結(jié)束? 流程說明 :11/18.1. 調(diào)度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè) .2. 按主題讀取相關(guān) BDL 表 , 進(jìn)行關(guān)聯(lián) , 盡量補(bǔ)齊維度字段 , 生成事物級寬表 .3. 按用戶級粒度聚合 , 生成用戶級寬表 . ? 異常處理 :調(diào)度系統(tǒng)捕獲異常并

10、處理? 日志說明 :由調(diào)度系統(tǒng)負(fù)責(zé)記錄作業(yè)(正常和異常 )日志 .? 數(shù)據(jù)粒度說明 :1. 事物級粒度 .2. 用戶級粒度 .作業(yè)設(shè)計詳見 <<數(shù)據(jù)倉庫轉(zhuǎn)換文檔 .xlsx>>應(yīng)用層 )設(shè)計功能描述PDL 層按業(yè)務(wù)需求 , IDL 寬表匯總查詢生成各種結(jié)果表.業(yè)務(wù)流程? 流程圖 :12/18.PDL數(shù)據(jù)流程圖調(diào)度系統(tǒng)分布式數(shù)據(jù)倉庫開始IDL表各種粒度聚合讀取作業(yè)腳本E維度條件篩選TL階生成指標(biāo)數(shù)據(jù)段PDL本地表結(jié)束? 流程說明 :1. 調(diào)度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè) .2. 讀取 IDL 寬表 ,按業(yè)務(wù)需求進(jìn)行聚合 ,篩選 ,生成指標(biāo)數(shù)據(jù) .3. 結(jié)果寫入 PDL 層結(jié)果

11、表 .? 異常處理 :調(diào)度系統(tǒng)捕獲異常并處理? 日志說明 :由調(diào)度系統(tǒng)負(fù)責(zé)記錄作業(yè)(正常和異常 )日志 .? 數(shù)據(jù)粒度說明 :1. 按業(yè)務(wù)需求的各種粒度 .業(yè)務(wù)賬數(shù)據(jù)統(tǒng)計設(shè)計業(yè)務(wù)賬數(shù)據(jù)統(tǒng)計如下特點:? 業(yè)務(wù)賬指標(biāo)由多個交易類型代碼組合 , 一個交易類型代碼對應(yīng)多個業(yè)務(wù)指標(biāo), 例如 :13/18.業(yè)務(wù)賬指標(biāo) A 交易類型代碼 M00010, M00001,M00002,M00003, 業(yè)務(wù)賬指標(biāo) B 交易類型代碼 M00010, M00011,M00012,M00013, 業(yè)務(wù)賬指標(biāo) C 交易類型代碼 M00000, M00011,M00002,M00023, ? 隨需求也業(yè)務(wù)變化 , 業(yè)務(wù)賬指

12、標(biāo)及其交易類型代碼也會變化 .? 每個業(yè)務(wù)賬指標(biāo)統(tǒng)計算法相同 , 只是其交易類型代碼組合不同 .? 每個業(yè)務(wù)賬指標(biāo)可能會被多個報表調(diào)用，例如 “積分總金額 ”針對以上特性 , 通過抽象的方法， 設(shè)計對指標(biāo)（交易類型代碼） 配置化管理、運算統(tǒng)一化技術(shù)的功能，減少系統(tǒng)維護(hù)成本。業(yè)務(wù)賬指標(biāo)定義交易類型代碼字典業(yè)務(wù)賬指標(biāo)業(yè)務(wù)賬流水配置業(yè)務(wù)賬指標(biāo)數(shù)據(jù)報表調(diào)用作業(yè)設(shè)計詳見 <<數(shù)據(jù)倉庫轉(zhuǎn)換文檔 .xlsx>>14/18.維度 )庫設(shè)計功能描述采用異步 LOOUP 方法 ,主動捕獲非法維度數(shù)據(jù) ,經(jīng)過人工識別生成維度數(shù)據(jù).業(yè)務(wù)流程? 流程圖 :PUB數(shù)據(jù)流程圖調(diào)度系統(tǒng)分布式數(shù)據(jù)倉庫開

13、始ODL表、維表讀取作業(yè)腳本異步 LOOKUP維度映射表ETL階捕獲異常維度是人工識別處理段維度表結(jié)束? 流程說明 :1. 調(diào)度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè) .2. 異步讀取 ODL 表和維表 ,對比維度映射表查找是否有不存在的維度數(shù)據(jù) .3. 如果發(fā)現(xiàn)非法維度數(shù)據(jù) ,經(jīng)過人工識別 ,寫入維度映射表和維度表 .? 異常處理 :調(diào)度系統(tǒng)捕獲異常并處理? 日志說明 :由調(diào)度系統(tǒng)負(fù)責(zé)記錄作業(yè)(正常和異常 )日志 .15/18.作業(yè)設(shè)計詳見 <<數(shù)據(jù)倉庫轉(zhuǎn)換文檔 .xlsx>>業(yè)務(wù)賬 (數(shù)據(jù)集市 )庫數(shù)據(jù)導(dǎo)出設(shè)計功能描述將 PDL 表和維度導(dǎo)出 ,同步給 mysql 庫,供統(tǒng)計報表查詢使用 .業(yè)務(wù)流程數(shù)據(jù)導(dǎo)出流程圖調(diào)度系統(tǒng)分布式數(shù)據(jù)倉庫門戶系統(tǒng)開始讀取同步腳本抽取PDL表、維表裝載統(tǒng)計表、維表ETL階段結(jié)束? 流程說明 :1. 調(diào)度系統(tǒng)定時啟動數(shù)據(jù)同步作業(yè).16/18.2. 讀取 PDL 表和維表 ,將數(shù)據(jù)裝載到 MYSQL 庫對應(yīng)的表中 . ? 異常處理 :調(diào)度系統(tǒng)捕獲異常并處理? 日志說明 :由調(diào)度系統(tǒng)負(fù)責(zé)記錄作業(yè)(正常和異常 )日志 .作業(yè)設(shè)計5 數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)庫設(shè)計詳見 <<數(shù)據(jù)庫設(shè)計說明書 .docx>>6 外部存儲結(jié)構(gòu)設(shè)計說明本系統(tǒng)存貯于磁盤等持久性存貯介質(zhì)，而且不是由數(shù)據(jù)庫管理系統(tǒng)進(jìn)行管理的