建設(shè)數(shù)據(jù)倉庫的八個步驟

1、大數(shù)據(jù)技術(shù)部建設(shè)數(shù)據(jù)倉庫的八個步驟2017年04月25日 編制6建設(shè)數(shù)據(jù)倉庫的八個步驟摘要： 建立數(shù)據(jù)倉庫是一個解決企業(yè)問題的過程，業(yè)務人員往往不懂如何建立和使用數(shù)據(jù)倉庫，發(fā)揮其決策支持的作用；信息部門的人員往往又不懂業(yè)務，不知道應該建立哪些決策主題。 關(guān)鍵詞： 數(shù)據(jù)倉庫元數(shù)據(jù)建設(shè)數(shù)據(jù)倉庫    建立數(shù)據(jù)倉庫是一個解決企業(yè)問題的過程，業(yè)務人員往往不懂如何建立和使用數(shù)據(jù)倉庫，發(fā)揮其決策支持的作用；信息部門的人員往往又不懂業(yè)務，不知道應該建立哪些決策主題，從數(shù)據(jù)源中抽取哪些數(shù)據(jù)。因此數(shù)據(jù)倉庫的項目小組應該由業(yè)務人員和信息部門的人員共同組成，雙方需要相互溝通，協(xié)作開發(fā)數(shù)

2、據(jù)倉庫。    開發(fā)數(shù)據(jù)倉庫的過程包括以下幾個步驟。    1.系統(tǒng)分析，確定主題    建立數(shù)據(jù)倉庫的第一個步驟就是通過與業(yè)務部門的充分交流，了解建立數(shù)據(jù)倉庫所要解決的問題的真正含義，確定各個主題下的查詢分析要求。    業(yè)務人員往往會羅列出很多想解決的問題，信息部門的人員應該對這些問題進行分類匯總，確定數(shù)據(jù)倉庫所實現(xiàn)的業(yè)務功能。一旦確定問題以后，信息部門的人員還需要確定一下幾個因素：    ·操作出現(xiàn)的頻率，即業(yè)務部門每隔多長時間做

3、一次查詢分析。    ·在系統(tǒng)中需要保存多久的數(shù)據(jù)，是一年、兩年還是五年、十年。    ·用戶查詢數(shù)據(jù)的主要方式，如在時間維度上是按照自然年，還是財政年。    ·用戶所能接受的響應時間是多長、是幾秒鐘，還是幾小時。    由于雙方在理解上的差異，確定問題和了解問題可能是一個需要多次往復的過程，信息部門的人員可能需要做一些原型演示給業(yè)務部門的人員看，以最終確定系統(tǒng)將要實現(xiàn)的功能確實是業(yè)務部門所需要的。    2.選擇

4、滿足數(shù)據(jù)倉庫系統(tǒng)要求的軟件平臺    在數(shù)據(jù)倉庫所要解決的問題確定后，第二個步驟就是選擇合適的軟件平臺，包括數(shù)據(jù)庫、建模工具、分析工具等。這里有許多因素要考慮，如系統(tǒng)對數(shù)據(jù)量、響應時間、分析功能的要求等，以下是一些公認的選擇標準：    ·廠商的背景和支持能力，能否提供全方位的技術(shù)支持和咨詢服務。    ·數(shù)據(jù)庫對大數(shù)據(jù)量（TB級）的支持能力。    ·數(shù)據(jù)庫是否支持并行操作。    ·能否提供數(shù)據(jù)倉庫的建

5、模工具，是否支持對元數(shù)據(jù)的管理。    ·能否提供支持大數(shù)據(jù)量的數(shù)據(jù)加載、轉(zhuǎn)換、傳輸工具（ETT）。    ·能否提供完整的決策支持工具集，滿足數(shù)據(jù)倉庫中各類用戶的需要。    3.建立數(shù)據(jù)倉庫的邏輯模型    具體步驟如下：    （1）確定建立數(shù)據(jù)倉庫邏輯模型的基本方法。    （2）基于主題視圖，把主題視圖中的數(shù)據(jù)定義轉(zhuǎn)到邏輯數(shù)據(jù)模型中。    （3）識別主題之

6、間的關(guān)系。    （4）分解多對多的關(guān)系。    （5）用范式理論檢驗邏輯數(shù)據(jù)模型。    （6）由用戶審核邏輯數(shù)據(jù)模型。    4.邏輯數(shù)據(jù)模型轉(zhuǎn)化為數(shù)據(jù)倉庫數(shù)據(jù)模型    具體步驟如下：    （1）刪除非戰(zhàn)略性數(shù)據(jù)：數(shù)據(jù)倉庫模型中不需要包含邏輯數(shù)據(jù)模型中的全部數(shù)據(jù)項，某些用于操作處理的數(shù)據(jù)項要刪除。    （2）增加時間主鍵：數(shù)據(jù)倉庫中的數(shù)據(jù)一定是時間的快照，因此必須增加時間主鍵。

7、    （3）增加派生數(shù)據(jù)：對于用戶經(jīng)常需要分析的數(shù)據(jù)，或者為了提高性能，可以增加派生數(shù)據(jù)。    （4）加入不同級別粒度的匯總數(shù)據(jù)：數(shù)據(jù)粒度代表數(shù)據(jù)細化程度，粒度越大，數(shù)據(jù)的匯總程度越高。粒度是數(shù)據(jù)倉庫設(shè)計的一個重要因素，它直接影響到駐留在數(shù)據(jù)倉庫中的數(shù)據(jù)量和可以執(zhí)行的查詢類型。顯然，粒度級別越低，則支持的查詢越多；反之，能支持的查詢就有限。    對數(shù)據(jù)操作的效率與能得到數(shù)據(jù)的詳細程度是一對矛盾，通常，人們希望建成的系統(tǒng)既有較高的效率，又能得到所需的詳細資料。實施數(shù)據(jù)倉庫的一個重要原則就是不要試圖包括

8、所有詳細數(shù)據(jù)，因為90%的分析需求是在匯總數(shù)據(jù)上進行的。試圖將粒度細化到最低層，只會增加系統(tǒng)的開銷，降低系統(tǒng)的性能。5.數(shù)據(jù)倉庫數(shù)據(jù)模型優(yōu)化    數(shù)據(jù)倉庫設(shè)計時，性能是一項主要考慮因素。在數(shù)據(jù)倉庫建成后，也需要經(jīng)常對其性能進行監(jiān)控，并隨著需求和數(shù)據(jù)量的變更進行調(diào)整。    優(yōu)化數(shù)據(jù)倉庫設(shè)計的主要方法是：    ·合并不同的數(shù)據(jù)表。    ·通過增加匯總表避免數(shù)據(jù)的動態(tài)匯總。    ·通過冗余字段減少表連接的數(shù)量，不

9、要超過35個。    ·用ID代碼而不是描述信息作為鍵值。    ·對數(shù)據(jù)表做分區(qū)。    6.數(shù)據(jù)清洗轉(zhuǎn)換和傳輸    由于業(yè)務系統(tǒng)所使用的軟硬件平臺不同，編碼方法不同，業(yè)務系統(tǒng)中的數(shù)據(jù)在加載到數(shù)據(jù)倉庫之前，必須進行數(shù)據(jù)的清洗和轉(zhuǎn)換，保證數(shù)據(jù)倉庫中數(shù)據(jù)的一致性。    在設(shè)計數(shù)據(jù)倉庫的數(shù)據(jù)加載方案時，必須考慮以下幾項要求：    ·加載方案必須能夠支持訪問不同的數(shù)據(jù)庫和文件系統(tǒng)。

10、60;   ·數(shù)據(jù)的清洗、轉(zhuǎn)換和傳輸必須滿足時間要求，能夠在規(guī)定的時間范圍內(nèi)完成。    ·支持各種轉(zhuǎn)換方法，各種轉(zhuǎn)換方法可以構(gòu)成一個工作流。    ·支持增量加載，只把自上一次加載以來變化的數(shù)據(jù)加載到數(shù)據(jù)倉庫。    7.開發(fā)數(shù)據(jù)倉庫的分析應用    建立數(shù)據(jù)倉庫的最終目的是為業(yè)務部門提供決策支持能力，必須為業(yè)務部門選擇合適的工具實現(xiàn)其對數(shù)據(jù)倉庫中的數(shù)據(jù)進行分析的要求。    信息部門所選擇的開

11、發(fā)工具必須能夠：    ·滿足用戶的全部分析功能要求。數(shù)據(jù)倉庫中的用戶包括了企業(yè)中各個業(yè)務部門，他們的業(yè)務不同，要求的分析功能也不同。如有的用戶只是簡單的分析報表，有些用戶則要求做預測和趨勢分析。    ·提供靈活的表現(xiàn)方式。分析的結(jié)果必須能夠以直觀、靈活的方式表現(xiàn)，支持復雜的圖表。使用方式上，可以是客戶機/服務器方式，也可以是瀏覽器方式。    事實上，沒有一種工具能夠滿足數(shù)據(jù)倉庫的全部分析功能需求，一個完整的數(shù)據(jù)倉庫系統(tǒng)的功能可能是由多種工具來實現(xiàn)，因此必須考慮多個工具之間的接口和

12、集成性問題，對于用戶來說，希望看到的是一致的界面。    8.數(shù)據(jù)倉庫的管理    只重視數(shù)據(jù)倉庫的建立，而忽視數(shù)據(jù)倉庫的管理必然導致數(shù)據(jù)倉庫項目的失敗。數(shù)據(jù)倉庫管理主要包括數(shù)據(jù)庫管理和元數(shù)據(jù)管理。    數(shù)據(jù)庫管理需要考以下幾個方面：    ·安全性管理。數(shù)據(jù)倉庫中的用戶只能訪問到他的授權(quán)范圍內(nèi)的數(shù)據(jù)，數(shù)據(jù)在傳輸過程中的加密策略。    ·數(shù)據(jù)倉庫的備份和恢復。數(shù)據(jù)倉庫的大小和備份的頻率直接影響到備份策略。 

13、60;  ·如何保證數(shù)據(jù)倉庫系統(tǒng)的可用性，硬件還是軟件方法。    ·數(shù)據(jù)老化。設(shè)計數(shù)據(jù)倉庫中數(shù)據(jù)的存放時間周期和對過期數(shù)據(jù)的老化方法，如歷史數(shù)據(jù)只保存匯總數(shù)據(jù)，當年數(shù)據(jù)保存詳細記錄。    然而，元數(shù)據(jù)管理貫穿于整個系統(tǒng)的建設(shè)過程中，元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)。在數(shù)據(jù)采集階段，元數(shù)據(jù)主要包括下列信息：    ·源數(shù)據(jù)的描述定義：類型、位置、結(jié)構(gòu)。    ·數(shù)據(jù)轉(zhuǎn)換規(guī)則：編碼規(guī)則、行業(yè)標準。    &

14、#183;目標數(shù)據(jù)倉庫的模型描述：星型/雪花模型定義，維/事實結(jié)構(gòu)定義。    ·源數(shù)據(jù)到目標數(shù)據(jù)倉庫的映射關(guān)系：函數(shù)/表達式定義。    ·代碼：生成轉(zhuǎn)換程序、自動加載程序等。    在數(shù)據(jù)管理階段，元數(shù)據(jù)主要包括下列信息：    ·匯總數(shù)據(jù)的描述：匯總/聚合層次、物化視圖結(jié)構(gòu)定義。    ·歷史數(shù)據(jù)存儲規(guī)則：位置、存儲粒度。    ·多維數(shù)據(jù)結(jié)構(gòu)描述：立方體定義、

15、維結(jié)構(gòu)、度量值、鉆取層次定義等。    在數(shù)據(jù)展現(xiàn)階段，元數(shù)據(jù)主要包括以下信息：    ·報表的描述：報表結(jié)構(gòu)的定義。    ·統(tǒng)計函數(shù)的描述：各類統(tǒng)計分析函數(shù)的定義。    ·結(jié)果輸出的描述：圖、表輸出的定義。    元數(shù)據(jù)不但是獨立存放，而且對用戶是透明的，標準元數(shù)據(jù)之間可以互相轉(zhuǎn)換。1、培訓目的1.1 改善部門各級各類員工的知識結(jié)構(gòu)、提升員工的綜合素質(zhì)，提高員工的工作技能、工作態(tài)度和行為模式，滿足部門的快速發(fā)展

16、需要，更好的完成部門的各項工作計劃與工作目標。 1.2、加強部門各級各類員工職業(yè)素養(yǎng)與敬業(yè)精神，增強員工服務意識與服務水平，打造高績效團隊，減少工作失誤，提高客戶滿意度，提高工作效率。1.3 提升部門凝聚力、吸引力、向心力和戰(zhàn)斗力，為部門進一步發(fā)展儲備相關(guān)人才。1.4 鍛煉員工的學習表達能力。1.5 完善部門各項培訓制度、培訓流程以及建立系統(tǒng)的培訓體系，實現(xiàn)各項培訓工作順利、有效實施。2、培訓原則2.1 以部門戰(zhàn)略與員工需求為主線。2.2 以素質(zhì)提升與能力培養(yǎng)為核心。2.3 以針對性、實用性、價值型為重點。2.4以項目式培訓和持續(xù)性培訓相互穿插進行。2.5堅持理論與實踐相結(jié)合、學習與總結(jié)相結(jié)合

17、。2.6堅持部門內(nèi)部培訓為重點、內(nèi)訓與外訓相結(jié)合。2.7堅持學歷性教育培訓和崗位培訓相結(jié)合。2.8 實現(xiàn)由點、線式培訓到全面系統(tǒng)性培訓轉(zhuǎn)變。3、培訓的實施3.1培訓內(nèi)容的決定部門所有成員對自己要培訓的需求提出建議，相關(guān)負責人收集并統(tǒng)計，根據(jù)統(tǒng)計結(jié)果，按需求量較大或需求的緊迫性來決定培訓的內(nèi)容。3.2 培訓方式分為正式培訓和技術(shù)交流。正式培訓需要講師準備PPT、有關(guān)課件，利用投影等設(shè)備進行講授，并進行培訓效果考核和學員成績考查。技術(shù)交流可不準備課件，直接采用即興口頭演講的方式進行。3.3培訓時間根據(jù)學習要求，不定期進行有關(guān)主題內(nèi)容的培訓。3.4 講師安排講師實行報名制。根據(jù)部門發(fā)布的員工培訓需求

18、統(tǒng)計結(jié)果，選擇自己熟悉或感興趣的培訓科目報名。部門經(jīng)理根據(jù)報名情況決定講師人選。3.4 培訓效果評估3.4.1 培訓后，參與人員對培訓的講師、培訓的內(nèi)容、總體效果等做出評價。3.4.2 講師準備10個以內(nèi)的培訓內(nèi)容相關(guān)的試題，受訓者根據(jù)培訓內(nèi)容來做答，經(jīng)講師批閱后整理到員工培訓考核成績表，并把成績表交由部門經(jīng)理審閱，最后相關(guān)負責人存入個人培訓檔案。3.5 獎懲方式對于正式培訓，培訓完后，參與培訓人員給講師打分，根據(jù)打分情況給予講師0、1、2、3分積分。對于技術(shù)交流，根據(jù)培訓內(nèi)容和效果，給予所有主要參與者0,1,2分不等的積分。參加培訓者考核合格后給予0.5、1分不等積分。年終累計積分，根據(jù)積分

19、情況給予獎勵。對于年終參加培訓積分不足年度部門總培訓積分的80%者，給予一定的懲罰。4、培訓材料4.1員工培訓簽到表4.2講師應提前準備好培訓的PPT，如果培訓項目開發(fā)知識應準備好實例。4.3 培訓內(nèi)容相關(guān)的試題 4.4內(nèi)部培訓效果評估表4.5員工培訓考核成績表5、相關(guān)附件附件一 員工培訓簽到表培訓內(nèi)容培訓時間培訓講師培訓地點培訓方式考核方式應到人數(shù)實到人數(shù)缺席人數(shù)出勤率序號姓 名出席時間(HH:MM)離席時間備注序號姓 名出席時間離席時間備注1. 12.3. 24.5. 36.7. 48.9. 510.11. 612.13. 114.15. 216.17. 318.19. 420.21. 5

20、22.23. 624.25. 126.27. 228.29. 330.31. 432.33. 534.35. 636.37. 138.39. 240.41. 342.43. 444.45. 546.47. 648.49.50.評估項目好一般差培訓總評課堂紀律學習態(tài)度講師表達課堂氛圍評估人/日期 附件二 員工培訓考核成績表培訓內(nèi)容培訓時間培訓講師培訓地點培訓方式考核方式序號姓 名理論得分應用得分序號姓 名理論得分應用得分1.2.3.4.5.6.7.8.9.10.11.12.13.14.15.16.17.18.19.20.21.22.23.24.25.26.27.28.29.30.31.32.33.34.35.36.37.38.39.40.41.42.43.