(數(shù)據(jù)倉)數(shù)據(jù)倉庫建設(shè)項目實施方案建議書V

1、（數(shù)據(jù)倉）數(shù)據(jù)倉庫建設(shè)項目實施方案建議書 V株洲南車時代電氣股份有限公司數(shù)據(jù)倉庫建設(shè)規(guī)劃項目 年 月目錄第1章 南車電氣數(shù)據(jù)倉庫建設(shè)項目介紹.3 3 南車電氣環(huán)境現(xiàn)狀及需求分析.41.2.1. 項目目標(biāo). 4第2章 南車電氣數(shù)據(jù)倉庫建設(shè)解決方案詳述.6 62.1.1. 方案概述. 62.1.2. 系統(tǒng)邏輯架構(gòu). 72.1.3. 系統(tǒng)硬件架構(gòu)建議方案. 82.1.4. 未來建設(shè)目標(biāo). 9 .132.2.1. 數(shù)據(jù)倉庫建設(shè)原則2.2.2. 數(shù)據(jù)倉庫規(guī)范體系設(shè)計2.2.3. BW數(shù)據(jù)倉庫結(jié)構(gòu)定義2.2.4. 數(shù)據(jù)倉庫管理標(biāo)準(zhǔn)及命名規(guī)范 .31 32 33第3章 南車電氣數(shù)據(jù)倉庫建設(shè)項目實施方案.35

2、 .353.1.1. 工作時間表（預(yù)計） 培訓(xùn)計劃.393.2.1. 培訓(xùn)類型3.2.2. 培訓(xùn)課程 容災(zāi)備份方案.423.3.1. 備份策略的定義3.3.2. 備份窗口的選擇3.3.3. 災(zāi)難恢復(fù)的策略第4章 項目實施和管理提升方法. 46 項目實施和管理提升方法.46 在南車電氣項目中提供的管理提升和服務(wù)內(nèi)容.46 實施相結(jié)合的指導(dǎo)原則.47 實施相結(jié)合的方法和步驟.484.4.1. 現(xiàn)狀調(diào)研和企業(yè)問題診斷4.4.2. 未來業(yè)務(wù)流程和管理提升初步討論4.4.3. 建立BI原型系統(tǒng)4.4.4. 結(jié)合BI進行未來業(yè)務(wù)流程和管理提升詳細(xì)討論和藍(lán)圖確認(rèn)4.4.5. 管理提升交付成果實例第5章 項目

3、管理和質(zhì)量保證. 51 工作計劃管理.51 溝通管理.51 .52 項目質(zhì)量控制.52 文檔管理.54 建議南車電氣提供的保障措施.55 驗收標(biāo)準(zhǔn)及方案.565.7.1. 系統(tǒng)符合性5.7.2. 系統(tǒng)質(zhì)量5.7.3. 交付文檔 南車電氣數(shù)據(jù)倉庫建設(shè)項目的背景南車時代電氣始終堅持核心技術(shù)向相關(guān)產(chǎn)業(yè)延伸的發(fā)展戰(zhàn)略，不斷鞏固在軌道交通領(lǐng)域的行業(yè)地位，著力提升在電氣傳動和控制系統(tǒng)領(lǐng)域的專業(yè)地位，正樹立起公司在電氣傳動和控制系統(tǒng)領(lǐng)域國際化專業(yè)供應(yīng)商的新形象。為挖掘信息化系統(tǒng)價值，提升內(nèi)部管理手段，公司于 20102011 年啟動并初步建立了南車時代電氣綜合分析系統(tǒng)。該系統(tǒng)采用了 SAP BW 和 EP

4、的技術(shù)平臺，實現(xiàn)了部分經(jīng)營指標(biāo)及報表需求，且于 2014 年從 V7.0 升級到 V7.4 版本。為優(yōu)化各類應(yīng)用系統(tǒng)間的借口，提高系統(tǒng)的安全性和可維護性，公司于 2014 年啟動了 ESB 技術(shù)平臺的預(yù)研工作，確立了以普元公司的 Primeton ESB 為技術(shù)平臺建設(shè)公司的數(shù)據(jù)總線，部分系統(tǒng)間接口已經(jīng)實現(xiàn)與ESB的集成。南車電氣環(huán)境現(xiàn)狀及需求分析公司為實現(xiàn)基于企業(yè)績效管理的信息化系列重大需求，準(zhǔn)備通過本項目做好數(shù)據(jù)倉庫技術(shù)平臺的規(guī)劃及優(yōu)化提升工作，確保數(shù)據(jù)倉庫平臺滿足全面啟動建設(shè)企業(yè)績效管理系統(tǒng)的要求。本項目的工作任務(wù)包括數(shù)據(jù)倉庫的建設(shè)規(guī)劃、數(shù)據(jù)倉庫的技術(shù)規(guī)范及性能優(yōu)化、數(shù)據(jù)倉庫與 BO、E

5、P 的集成應(yīng)用、數(shù)據(jù)倉庫與 ESB 集成實現(xiàn)重要主數(shù)據(jù)的信息共享等四個方面。公司為實現(xiàn)企業(yè)績效管理信息化的重大需求，籍由本項目做好數(shù)據(jù)倉庫平臺建設(shè)的規(guī)劃，搭建起商務(wù)智能體系的整體技術(shù)架構(gòu)并實現(xiàn)部分實例應(yīng)用，滿足全面啟動企業(yè)績效管理信息化的技術(shù)要求。同時，提出規(guī)范和優(yōu)化提升既有的 SAP BW 數(shù)據(jù)倉庫系統(tǒng)，使之成為企業(yè)商務(wù)智能平臺中運行良好的關(guān)鍵一環(huán)。為了解決本公司現(xiàn)有重要數(shù)據(jù)分布管理、交叉共享，無法保障數(shù)據(jù)及時性和準(zhǔn)確性的弊端，公司擬將SAP BW 建設(shè)成為未來的數(shù)據(jù)集成與共享中心，能夠滿足建設(shè)公司ESB平臺的數(shù)據(jù)服務(wù)要求，實現(xiàn)重要主數(shù)據(jù)的歸集與共享，提升數(shù)據(jù)交互性能和系統(tǒng)安全性。實現(xiàn) BW

6、 系統(tǒng)的規(guī)劃與優(yōu)化，搭建并應(yīng)用 BW+EP+BO 的技術(shù)平臺，建立重要主數(shù)據(jù)的集中存儲機制，與ESB集成實現(xiàn)與試點目標(biāo)系統(tǒng)主數(shù)據(jù)的同步。前瞻性，既體現(xiàn)在 BW 軟硬件平臺規(guī)劃和建設(shè)思路上要考慮未來五年的發(fā)展需求，也體現(xiàn)在BW的ETL、部署、處理連、聚集、模型等數(shù)據(jù)倉庫要素的設(shè)計規(guī)范上。1.2.1. 項目目標(biāo)本期項目定位為規(guī)劃奠基階段，需要全面系統(tǒng)的構(gòu)建南車電氣未來企業(yè)核心數(shù)據(jù)倉庫的基礎(chǔ)架構(gòu)，該基礎(chǔ)架構(gòu)要具有完整性，能滿足本期項目的需求，同時也要具有靈活性和可拓展性，能夠滿足未來企業(yè)發(fā)展而不斷變化的需求。綜上所述我們對于本次項目目標(biāo)概括如下:1. 以 BW 作為數(shù)據(jù)倉庫建設(shè)進行未來的整體規(guī)劃，使

7、之覆蓋 5 年內(nèi)（含 2015）企業(yè)級中心數(shù)據(jù)倉庫的技術(shù)框架、業(yè)務(wù)對象設(shè)計等需求，且至少滿足未來 2-3 年內(nèi)南車電氣核心數(shù)據(jù)倉庫的具體使用情況，滿足其建設(shè)標(biāo)準(zhǔn)及管理標(biāo)準(zhǔn)，提高可讀性、可擴展性、可維護性。規(guī)劃內(nèi)容包括數(shù)據(jù)整合（ETL）層、數(shù)據(jù)服務(wù)層、數(shù)據(jù)展現(xiàn)（應(yīng)用）層的軟硬件技術(shù)平臺和服務(wù)內(nèi)容，制定數(shù)據(jù)倉庫的設(shè)計規(guī)范。2. 優(yōu)化 SAP BW 的軟硬件環(huán)境，規(guī)范 BW 數(shù)據(jù)倉庫的技術(shù)架構(gòu)、對象設(shè)計和管理方式，重新梳理及構(gòu)建原 BW 系統(tǒng)中設(shè)計不合理的部分（比如 CUBE、Query 等），提升BW的操作性能、優(yōu)化Query 等待時間，使之具備滿足當(dāng)前作為企業(yè)級中心數(shù)據(jù)倉庫服務(wù)的條件。涉及的相關(guān)

8、 CUBE 主要有總帳行項目、應(yīng)收、應(yīng)付、成本、采購、庫存、銷售、考核指標(biāo)等。3. 部署 SAP BO 集成 EP 作為新的數(shù)據(jù)展現(xiàn)（應(yīng)用）層，將當(dāng)前 BW 中的部分報表展現(xiàn)重構(gòu)，以BO在原BW CUBE的基礎(chǔ)上重新開發(fā)，形成SAP BW+BO+EP的商務(wù)智能技術(shù)平臺結(jié)構(gòu)，完成重要歷史報表的遷移工作。4. 構(gòu)建主數(shù)據(jù)共享平臺，擴展數(shù)據(jù)倉庫實現(xiàn)重要主數(shù)據(jù)歸集和儲存的業(yè)務(wù)應(yīng)用，目前有物料、客戶、供應(yīng)商、人員、崗位、組織機構(gòu)、制造 BOM、訂單 BOM 七類核心業(yè)務(wù)系統(tǒng)中的主數(shù)據(jù)需要匯集到 BW 數(shù)據(jù)倉庫，通過 ETL 手段完成 SAP 和非 SAP系統(tǒng)的主數(shù)據(jù)抽取并且在 BW 中建模，最終實現(xiàn)將數(shù)

9、據(jù)倉庫作為 ESB 中核心業(yè)務(wù)系統(tǒng)重要主數(shù)據(jù)的存儲與共享中心，提供相關(guān)主數(shù)據(jù)的接口以供 ESB 系統(tǒng)調(diào)用，以此實現(xiàn)重要主數(shù)據(jù)的跨平臺同步。 南車電氣數(shù)據(jù)倉庫建設(shè)整體方案說明2.1.1. 方案概述本期項目的專業(yè)定位是集團企業(yè)級核心數(shù)據(jù)倉庫的建設(shè)，數(shù)據(jù)倉庫架構(gòu)的優(yōu)化及規(guī)范體系的建立。XX 軟件系統(tǒng)有限公司以 ROI(投資回報)為目標(biāo)，以科技為手段，為南車電氣未來的公司績效管控和決策支持服務(wù)構(gòu)建強壯的基礎(chǔ)。XX 公司通過結(jié)合中國本地的人力資源和地利之先，綜合國內(nèi)外的先進管理思想和應(yīng)用實踐，愿為南車電氣的事業(yè)錦上添花。針對上一章節(jié)中我們所理解歸納的南車電氣本期項目的需求，本期項目是南車電氣信息系統(tǒng)建設(shè)

10、的核心部分，整合后的數(shù)據(jù)倉庫將作為將來南車電氣整個 IT 環(huán)境中的數(shù)據(jù)基礎(chǔ)平臺，建設(shè)完成后將為未來的南車電氣企業(yè)績效管理信息化系統(tǒng)做準(zhǔn)備。數(shù)據(jù)倉庫系統(tǒng)的建設(shè)有其順序性，且需要大量時間。數(shù)據(jù)倉庫系統(tǒng)建設(shè)過程中，將發(fā)現(xiàn)原有的營運系統(tǒng)在作業(yè)流程、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)化的問題，基于此發(fā)現(xiàn)，將有助于對營運系統(tǒng)的缺陷進行修復(fù)。BI 系統(tǒng)的建設(shè)是循序漸進不斷完善的，是跟業(yè)務(wù)一起發(fā)展的。基于上述想法，數(shù)據(jù)倉庫項目的實施，當(dāng)一期建設(shè)完成后，二期、三期將建設(shè)更為詳細(xì)的企業(yè)各系統(tǒng)數(shù)據(jù)模型，增加新的源數(shù)據(jù)系統(tǒng)，擴展和完善數(shù)據(jù)主題域，新建更多主題數(shù)據(jù)集市，涵蓋整個南車電氣的業(yè)務(wù)范圍。以 SAP BW 數(shù)據(jù)倉庫平臺為基礎(chǔ)，

11、構(gòu)建未來企業(yè)級中心數(shù)據(jù)倉庫，通過 SAP BO 平臺重新進行報表前端展現(xiàn)層的開發(fā)，最后通過EP平臺發(fā)布，形成SAP BW+BO+EP 的商務(wù)智能技術(shù)平臺結(jié)構(gòu)。2.1.2. 系統(tǒng)邏輯架構(gòu)系統(tǒng)邏輯架構(gòu)示意圖 源系統(tǒng)說明本次項目的主要數(shù)據(jù)來源為 SAP 系統(tǒng)和非 SAP系統(tǒng) 數(shù)據(jù)處理層數(shù)據(jù)抽取層的目的是實現(xiàn)將數(shù)據(jù)源的數(shù)據(jù)經(jīng)過抽取，轉(zhuǎn)換后加載到數(shù)據(jù)管理層中，同時在這個過程中，需要進行任務(wù)的調(diào)度控制，任務(wù)出錯處理以及數(shù)據(jù)質(zhì)量的檢查。南車電氣的項目數(shù)據(jù)主要通過BW中的ETL技術(shù)手段來實現(xiàn)抽取和匯總：1）SAP數(shù)據(jù)源通過BW標(biāo)準(zhǔn)的數(shù)據(jù)抽取方式；2）非SAP系統(tǒng)建立數(shù)據(jù)庫連接數(shù)據(jù)源（oracle），同時考慮增

12、量抽取機制。 數(shù)據(jù)管理層數(shù)據(jù)管理層以業(yè)務(wù)需求為驅(qū)動，根據(jù)業(yè)務(wù)不同的主題，建立多個主題模型。建模以維度建模方法論為指導(dǎo)，結(jié)合實際需求，考慮模型的靈活性，擴展性以及性能，為前端展現(xiàn)提供一致、高效的數(shù)據(jù)。 報表平臺層報表平臺采用業(yè)界最為優(yōu)秀的SAP BO產(chǎn)品，可實現(xiàn)固定格式報表,動態(tài)報表,移動展現(xiàn)等多種報表。 報表展現(xiàn)層前端展現(xiàn)SAP EP門戶集成BO報表來實現(xiàn)。2.1.3. 系統(tǒng)硬件架構(gòu)建議方案本次項目至少需要有兩套環(huán)境：開發(fā)環(huán)境和生產(chǎn)環(huán)境，從邏輯上，兩套環(huán)境必須分開，權(quán)限上必須進行區(qū)分。每套環(huán)境配置相同數(shù)量的服務(wù)器，安裝相同的操作系統(tǒng)和應(yīng)用軟件，保證環(huán)境的一致性。開發(fā)的資源配置可低于生產(chǎn)環(huán)境。由

13、于未來 BW 將作為南車核心數(shù)據(jù)倉庫使用，眾多核心的業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)都需要抽取到BW數(shù)據(jù)庫中，我們調(diào)研了一部分業(yè)務(wù)系統(tǒng)的數(shù)據(jù)總量及增量如下表所示SAP ERP2.1TSAP CRMPLM2530G約0.8G約0.1G約40M1G1.5G供應(yīng)商門戶（電氣加國變）供應(yīng)商門戶（風(fēng)電）供應(yīng)商門戶（電動）費用管理系統(tǒng)投資管理系統(tǒng)預(yù)算系統(tǒng)46G5.88G0.1G上述系統(tǒng)只是部分核心業(yè)務(wù)系統(tǒng)，其當(dāng)前的數(shù)據(jù)總量為3個多T，未來5年的數(shù)據(jù)增量保守估計為 610 個 BW 系統(tǒng)的數(shù)據(jù)基本上為源系統(tǒng)數(shù)據(jù)量的 1.52 倍，也就是說在數(shù)據(jù)倉庫服務(wù)器的存儲設(shè)備上至少要準(zhǔn)備 20T 以上才能滿足未來 5 年內(nèi)的業(yè)務(wù)需求。

14、目前南車 BW 生產(chǎn)環(huán)境的數(shù)據(jù)庫服務(wù)器存儲空間較小，才不到 2 個 T，而且已經(jīng)使用了 80%左右，所以我們建議在服務(wù)器存儲空間上需要有較大的配置增加。VCPU性能問題簡述操作響應(yīng)慢C:50G;D:1500G4 20G12 30G12 30G12 30GC:80G;D:300GC:100G,D:300G操作響應(yīng)慢BW 生產(chǎn)服務(wù)器BW 生產(chǎn)數(shù)據(jù)庫服務(wù)器EP 生產(chǎn)服務(wù)器數(shù)據(jù)查詢等待時間長C:100G,D:1800G,D:400G 數(shù)據(jù)查詢等待時間長C:100G,D:1800G,D:400G 數(shù)據(jù)查詢等待時間長由上表中我們可以看到幾乎每一臺服務(wù)器都有不同程度的性能問題，但光看配置感覺在 CPU 和內(nèi)

15、存上并沒有太大問題，所以我們的做法是在項目啟動之后，將會派遣資深的SAP BASIS 顧問對于相關(guān)系統(tǒng)的內(nèi)存使用率、CPU 使用情況、服務(wù)器資源分配是否合理等等情況進行評估，找準(zhǔn)產(chǎn)生性能問題的原因之后，我們再進行相關(guān)的 BW 軟硬件配置調(diào)整。2.1.4. 未來建設(shè)目標(biāo)第一階段目標(biāo)：1.數(shù)據(jù)獲?。簩⑺性聪到y(tǒng)數(shù)據(jù)通過 ETL 工具和 BW 數(shù)據(jù)抽取匯總到數(shù)據(jù)倉庫；搭建智慧采集平臺以錄入的方式對業(yè)務(wù)系統(tǒng)中無法抽取的指標(biāo)數(shù)據(jù)進行統(tǒng)一上報，使其匯總到數(shù)據(jù)倉庫的接口表中存放（重大任務(wù)、重點工作的進度、數(shù)據(jù)調(diào)整也將通過智慧采集平臺來調(diào)整并保存到數(shù)據(jù)倉庫之中）。2.指標(biāo)管理：進行指標(biāo)管理系統(tǒng)的初步建設(shè)，該系

16、統(tǒng)主要功能為設(shè)置指標(biāo)閥值、指標(biāo)權(quán)重、指標(biāo)字典、梳理指標(biāo)歸口關(guān)系，是一個管理維護整個指標(biāo)體系的強大系統(tǒng)；由于涉及的功能較為復(fù)雜，我們會逐步完善充實該系統(tǒng)，本期的目標(biāo)是該系統(tǒng)的初步建設(shè)，主要開發(fā)指標(biāo)閥值、指標(biāo)權(quán)重維護功能。3.指標(biāo)展現(xiàn)：我們在 XX 智慧決策平臺上實現(xiàn)多個事業(yè)部和產(chǎn)業(yè)板塊的績效數(shù)據(jù)匯總和 BSC 指標(biāo)展現(xiàn)，同時還包括財務(wù)、運營、人事等方面的主題分析，主要內(nèi)容為各類日常使用報表、管理駕駛艙以及績效考核重大任務(wù)。階段性成果：這一階段的工作重點是 XX 智慧采集平臺、XX 智慧決策平臺的建立以及這兩個平臺同南車時代電氣原有的企業(yè)級數(shù)據(jù)倉庫、報表平臺相整合，同時做好數(shù)據(jù)倉庫的數(shù)據(jù)梳理工作。

17、當(dāng)?shù)谝浑A段順利完成之后，將會形成一套完整的績效管理系統(tǒng)和面向事業(yè)部及集團的 BI 系統(tǒng)，屆時所有相關(guān)績效考核的數(shù)據(jù)都可以順利的進入數(shù)據(jù)倉庫中，并進行正確的合并匯總。同時，對集團和事業(yè)部 BI 用戶實現(xiàn)嚴(yán)格的權(quán)限劃分，使不同管轄權(quán)限的用戶看到不同的數(shù)據(jù)，為今后系統(tǒng)建設(shè)及擴展打下堅實基礎(chǔ)。第二階段目標(biāo)：1.深化主題：對一期已經(jīng)開發(fā)的主題分析、績效指標(biāo)進行更深入分析和展現(xiàn)，指標(biāo)的監(jiān)控及考核從一期的二級對象深入到三級對象中，各個 BCS 戰(zhàn)略層面的進一步深化。2.提升指標(biāo)管理：完善指標(biāo)管理系統(tǒng)的功能，在第二階段中指標(biāo)字典、指標(biāo)歸口關(guān)系設(shè)定等功能將陸續(xù)開發(fā)，最終使得整個指標(biāo)管理平臺可以完全滿足整個系統(tǒng)指

18、標(biāo)管理維護的需要，使得未來的開發(fā)維護成本大大降低。3.完善 BI 平臺建設(shè)：將一期已經(jīng)得到的成果結(jié)合平衡計分卡的理念，將企業(yè)四個維度（財務(wù)成果、內(nèi)部管理、市場與客戶、學(xué)習(xí)與發(fā)展）的關(guān)鍵指標(biāo)進行多角度探索分析；同時從一期的指標(biāo)展現(xiàn)提升為數(shù)據(jù)分析，多維分析、預(yù)測分析等商務(wù)智能的王牌分析全面展開，為高層決策層與知識型管理者提供科學(xué)的決策依據(jù)。階段性成果：在這一階段中，主要是對一期已經(jīng)建設(shè)完成的較為全面的績效管理系統(tǒng)的全面深化，包括預(yù)測分析、多維分析、各個主題分析的深入和系統(tǒng)功能的完善。在第一階段，我們看到的是績效指標(biāo)的展現(xiàn)、監(jiān)控，現(xiàn)在我們將可以根據(jù)更全面的數(shù)據(jù)定義各個單位個性化的指標(biāo)，領(lǐng)導(dǎo)可以從指標(biāo)

19、的分析、預(yù)測，深入了解到每一個環(huán)節(jié)的問題，了解問題的原因，從好更好的幫助管理層了解如何讓企業(yè)運作的更好?？紤]到未來可能有的系統(tǒng)擴展和 SAP ERP 故障，XX 智慧采集平臺依舊在整個架構(gòu)中扮演重要的角色，但是手工上報數(shù)據(jù)和自動上報數(shù)據(jù)將通過數(shù)據(jù)標(biāo)簽嚴(yán)格區(qū)分，以便事業(yè)部和集團清楚數(shù)據(jù)來源。第三階段：隨著數(shù)據(jù)倉庫中越來越豐富的數(shù)據(jù)，南車電氣已經(jīng)完全具備了大數(shù)據(jù)分析的能力，此時可以引入先進的數(shù)據(jù)分析軟件（如 SAS）等為集團 BI 系統(tǒng)進行更多的挖掘和分析，屆時將實現(xiàn)一些高級別數(shù)據(jù)分析的需求和結(jié)果。例如，我們可以從風(fēng)機運行時各部件傳感器傳回的大量秒級數(shù)據(jù)之中分析得到為什么這個型號的風(fēng)機故障率會高？

20、故障主要集中在哪幾個點？當(dāng)出現(xiàn)怎么樣的數(shù)據(jù)參數(shù)波動時，風(fēng)機的哪個部件有可能將會出問題？從而做到設(shè)備的故障預(yù)測，減少設(shè)備的非計劃性停機維護，增加客戶的經(jīng)濟效益，提升客戶的滿意度。同時，隨著技術(shù)的發(fā)展和實時數(shù)據(jù)及性能的需求，可以把原先的數(shù)據(jù)倉庫替換成HANA 產(chǎn)品，HANA 強大的數(shù)據(jù)處理能力和系統(tǒng)實時性數(shù)據(jù)的展現(xiàn)可以通過關(guān)鍵指標(biāo)體系，展示企業(yè)實時的運營狀態(tài)，將采集到的數(shù)據(jù)形象化、直觀化、具體化、時效化。讓管理層隨時可以觀察到企業(yè)的運轉(zhuǎn)狀態(tài)，即使得到分析預(yù)測結(jié)果來輔助自己的決策，為戰(zhàn)略層和管理層提供“一站式”的決策支持。在這個階段中，我們要更強化 BI 系統(tǒng)數(shù)據(jù)倉庫架構(gòu)，通過從業(yè)務(wù)系統(tǒng)抽取更多的明

21、細(xì)數(shù)據(jù)以使集團 BI 系統(tǒng)可以分析到憑證級粒度，在這個基礎(chǔ)之上我們可以為各個產(chǎn)業(yè)板塊開發(fā)定制化的 DataMart。這一階段工作重點將會是如何做好 HANA 平臺的替換以及如何運用數(shù)據(jù)分析軟件做到 BI 系統(tǒng)的全面預(yù)測、深入的數(shù)據(jù)分析及多元化的報表展現(xiàn)。最終成果：南車時代電氣 BI 系統(tǒng)通過整合各個事業(yè)部、分子公司、產(chǎn)業(yè)板塊業(yè)務(wù)數(shù)據(jù)，將集團各層級管理人員關(guān)心的業(yè)務(wù)指標(biāo)以駕駛艙、分析報表等形式通過 XX 智慧決策平臺的個性化展現(xiàn)， BI 戰(zhàn)略管理層通過這個平臺可以一目了然地看清企業(yè)全貌和業(yè)務(wù)全貌，讓企業(yè)管理者從各個方面多個個維度來了解自己的企業(yè)，為集團層面、事業(yè)部層面和分子公司管理層提供高效數(shù)據(jù)

22、分析和決策支持。與此同時，通過大數(shù)據(jù)、數(shù)據(jù)分析等應(yīng)用，逐步形成針對各產(chǎn)業(yè)板塊的個性化的數(shù)據(jù)挖掘、數(shù)據(jù)預(yù)測，以提高對市場的洞察力、提升客戶滿意度、促進技術(shù)創(chuàng)新，最終達(dá)成提升企業(yè)市場競爭力，為企業(yè)創(chuàng)造更多的經(jīng)濟效益和社會效益。南車時代電氣數(shù)據(jù)倉庫平臺建設(shè)2.2.1. 數(shù)據(jù)倉庫建設(shè)原則數(shù)據(jù)倉庫系統(tǒng)的建設(shè)不是一蹴而就的，是一個漸進和長期的過程，所以，XX 公司在南車電氣數(shù)據(jù)倉庫建設(shè)項目方案規(guī)劃過程中，始終貫穿了下列原則： 先進性：采用業(yè)界領(lǐng)先的管理思想和技術(shù)手段構(gòu)建數(shù)據(jù)倉庫，保證信息化體系結(jié)構(gòu)和數(shù)據(jù)倉庫解決方案在業(yè)界處于領(lǐng)先地位； 開放性：數(shù)據(jù)倉庫系統(tǒng)模型采用國際統(tǒng)一標(biāo)準(zhǔn)進行建模，集成 SAP ECC

23、 各模塊數(shù)據(jù)，這些數(shù)據(jù)可供管理人員共同使用，支持多種數(shù)據(jù)源和第三方的分析與報告工具，支持?jǐn)?shù)據(jù)的抽取和數(shù)據(jù)的分析，如能夠提供對各種數(shù)據(jù)業(yè)務(wù)含義進行解釋和方便的查詢，為開發(fā)人員提供高效的外部接口。 靈活性：數(shù)據(jù)倉庫系統(tǒng)的模型需要能夠依業(yè)務(wù)變化而調(diào)整，南車電氣數(shù)據(jù)倉庫系統(tǒng)從不同的角度對整個南車電氣的生產(chǎn)情況和銷售情況進行多維度、多角度、多指標(biāo)的不同層次的分析，這樣就確保了隨著業(yè)務(wù)的發(fā)展，可以很方便的在此基礎(chǔ)上擴充更多的應(yīng)用、主題，用戶能夠靈活地根據(jù)實際需要定制不同層次的分析。 持續(xù)性：數(shù)據(jù)倉庫系統(tǒng)提供了一個完善的數(shù)據(jù)平臺，保存了大量的歷史數(shù)據(jù)，具備極佳的擴展性，可以為今后可能出現(xiàn)的管理、決策支持系統(tǒng)

24、提供數(shù)據(jù)支持。 容災(zāi)性：數(shù)據(jù)倉庫系統(tǒng)的 3 個重要元件，包括 ODS、EDW、DM 的系統(tǒng)平臺架設(shè)于不同的數(shù)據(jù)庫實例，此種設(shè)計確保系統(tǒng)因單個系統(tǒng)發(fā)生災(zāi)害時，減少系統(tǒng)恢復(fù)的時間，降低相應(yīng)的損失。2.2.2. 數(shù)據(jù)倉庫規(guī)范體系設(shè)計2.2.2.1 數(shù)據(jù)倉庫目標(biāo)分析數(shù)據(jù)的存儲和管理是企業(yè)級數(shù)據(jù)倉庫的核心內(nèi)容之一，企業(yè)級數(shù)據(jù)倉庫存儲詳細(xì)數(shù)據(jù)及必要的匯總數(shù)據(jù),支持整個企業(yè)的業(yè)務(wù)分析和決策?，F(xiàn)有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)被抽取、清理，并有效地集成到數(shù)據(jù)倉庫中，并按照主題進行重新組織。數(shù)據(jù)倉庫設(shè)計時應(yīng)全面考慮，實施時可以先按照需求的輕重緩急選擇部分業(yè)務(wù)主題，然后逐步擴展到涵蓋全部業(yè)務(wù)。數(shù)據(jù)倉庫管理的數(shù)據(jù)包含了集成之后的多

25、年歷史數(shù)據(jù)，數(shù)據(jù)量是巨大的。數(shù)據(jù)應(yīng)被合理的規(guī)劃、組織、存儲，分片和索引，保證數(shù)據(jù)的管理和使用的高效性。按照企業(yè)建立數(shù)據(jù)“唯一事實”的要求，數(shù)據(jù)倉庫應(yīng)為各級業(yè)務(wù)人員提供一致的信息視圖。因而，整個企業(yè)應(yīng)共享統(tǒng)一的數(shù)據(jù)存儲模型。與這樣的要求相匹配，企業(yè)數(shù)據(jù)倉庫采用滿足第三范式的規(guī)范化建模。規(guī)范化建模是一個剔除冗余并應(yīng)用業(yè)務(wù)規(guī)則的過程，它的目的是為了更好的理解和表達(dá)存在于數(shù)據(jù)元素之間的依賴性和參與性。規(guī)范化的關(guān)系型數(shù)據(jù)通常能夠給出精確和無歧異的回答。規(guī)范化建模的目的是建立企業(yè)級數(shù)據(jù)倉庫的邏輯數(shù)據(jù)模型。邏輯數(shù)據(jù)模型是把業(yè)務(wù)需求，特別是對數(shù)據(jù)的需求，用規(guī)范化的 ER 模型和文字進行描述。它反映的是業(yè)務(wù)邏輯

26、，因此它是數(shù)據(jù)庫中立、技術(shù)無關(guān)的；同時，它應(yīng)能涵蓋業(yè)務(wù)需求的各方面，回答有關(guān)業(yè)務(wù)的所有合理問題。邏輯數(shù)據(jù)模型標(biāo)識出業(yè)務(wù)管理領(lǐng)域中涉及的主題、實體、屬性，及它們之間的關(guān)系。主題集中反映某方面業(yè)務(wù)內(nèi)容，通常是同類或關(guān)聯(lián)關(guān)系較為緊密的實體的集合。實體是任何可以區(qū)分的人、地點、事情、事件或概念，信息圍繞它來保存。屬性是實體的特性或數(shù)據(jù)字段。對數(shù)據(jù)倉庫需求進行分解，按業(yè)務(wù)主題進行組織，將業(yè)務(wù)主題相關(guān)的數(shù)據(jù)組織成主題域，并對各指標(biāo)進行分析。數(shù)據(jù)倉庫目標(biāo)分析后形成數(shù)據(jù)倉庫目標(biāo)說明書，其中詳細(xì)說明包含的業(yè)務(wù)主題、業(yè)務(wù)主題域等內(nèi)容。數(shù)據(jù)模型是數(shù)據(jù)倉庫系統(tǒng)的關(guān)鍵部分，開發(fā)數(shù)據(jù)模型除了要描述企業(yè)現(xiàn)有的業(yè)務(wù)數(shù)據(jù)架構(gòu)，

27、還要滿足企業(yè)未來業(yè)務(wù)擴展的需要，通過整體數(shù)據(jù)架構(gòu)的搭建可以實現(xiàn)以下三個目標(biāo)： 數(shù)據(jù)整合，建立業(yè)務(wù)數(shù)據(jù)構(gòu)架，找出業(yè)務(wù)項目的相互關(guān)系，描繪企業(yè)的各個業(yè)務(wù)項目在現(xiàn)實中是如何被組合在一起的，創(chuàng)建出企業(yè)業(yè)務(wù)的整體性視圖，基于業(yè)務(wù)數(shù)據(jù)架構(gòu)創(chuàng)建企業(yè)數(shù)據(jù)模型，能夠較好地保證數(shù)據(jù)模型的穩(wěn)定性和有效性。 理解業(yè)務(wù)，不同部門用戶對數(shù)據(jù)有著不同的理解，作為企業(yè)級的決策支持系統(tǒng)必須通過一定的手段把這些不一致的理解定義出來，支持性元數(shù)據(jù)的使用就是解決這一問題的主要手段。 數(shù)據(jù)分析，業(yè)務(wù)上經(jīng)常遇到同一指標(biāo)在不同報表里得到的值不一致，有些不一致是為人所知的，有些不一致卻沒有人清楚，通過對數(shù)據(jù)的分析和了解，使不一致變得明顯而可

28、操作，是數(shù)據(jù)模型建立的主要目標(biāo)之一。通過元數(shù)據(jù)的使用，記錄數(shù)據(jù)的加工規(guī)則及使用環(huán)境，可以讓使用者清楚地知道差異的原因，從而正確使用這些數(shù)據(jù)?？刂坪媒７秶椭芷趯⒅苯雨P(guān)系到項目的進展，最好的方法是利用已有的各類業(yè)務(wù)需求、報表需求及查詢需求，借助建模人員本身的業(yè)務(wù)經(jīng)驗及與各部門業(yè)務(wù)人員的溝通，將獲得的需求片斷有機地組織成一個完整的目標(biāo)區(qū)域，在區(qū)域范圍內(nèi)開展建模工作。2.2.2.2 數(shù)據(jù)倉庫邏輯模型數(shù)據(jù)倉庫邏輯模型設(shè)計要進行的工作主要有： 分析主題域，確定當(dāng)前要裝載的主題； 確定粒度層次劃分； 確定數(shù)據(jù)分割策略； 關(guān)系模式定義； 記錄系統(tǒng)定義。邏輯模型設(shè)計的成果是，對每個當(dāng)前要裝載的主題的邏輯實現(xiàn)

29、進行定義，并將相關(guān)內(nèi)容記錄在數(shù)據(jù)倉庫的元數(shù)據(jù)中，包括：（1） 適當(dāng)?shù)牧６葎澐?；?） 合理的數(shù)據(jù)分割策略；（3） 適當(dāng)?shù)谋韯澐?；?） 定義合適的數(shù)據(jù)來源等。2.2.2.3 數(shù)據(jù)倉庫物理模型數(shù)據(jù)倉庫物理模型所做的工作是確定數(shù)據(jù)的存儲結(jié)構(gòu)，確定索引策略，確定數(shù)據(jù)存放位置，確定存儲分配。確定數(shù)據(jù)倉庫實現(xiàn)的物理模型，要求設(shè)計人員必須做到以下幾方面： 要全面了解所選用的數(shù)據(jù)庫管理系統(tǒng)，特別是存儲結(jié)構(gòu)和存取方法。 了解數(shù)據(jù)環(huán)境、數(shù)據(jù)的使用頻度、使用方式、數(shù)據(jù)規(guī)模以及響應(yīng)時間要求等，這些是對時間和空間效率進行平衡和優(yōu)化的重要依據(jù)。 了解外部存儲設(shè)備的特性，如分塊原則，塊大小的規(guī)定，設(shè)備的I/O特性等。2.

30、2.3. BW 數(shù)據(jù)倉庫結(jié)構(gòu)定義2.2.3.1 數(shù)據(jù)抽取層數(shù)據(jù)抽取層是面向業(yè)務(wù)主題劃分的一組數(shù)據(jù)模型，用于從每個源系統(tǒng)中抽取必需的數(shù)據(jù)。該層數(shù)據(jù)對接 BW 底層與其他業(yè)務(wù)系統(tǒng)數(shù)據(jù)，同時僅對該層數(shù)據(jù)進行基本的清理，以保留業(yè)務(wù)系統(tǒng)原始數(shù)據(jù)。BW系統(tǒng)使用信息包完成對業(yè)務(wù)源系統(tǒng)的抽取工作，主要抽取SAP ECC、PLM、報價系統(tǒng)、預(yù)算系統(tǒng)等核心系統(tǒng)以及外部文本的數(shù)據(jù)，根據(jù)的具體情況，可以將各業(yè)務(wù)系統(tǒng)數(shù)據(jù)源信息包分為以下幾類： 系統(tǒng)歷史交易數(shù)據(jù)初始化信息包； 系統(tǒng)增量交易數(shù)據(jù)抽取信息包； 系統(tǒng)全量交易數(shù)據(jù)抽取信息包。為了將數(shù)據(jù)從各源系統(tǒng)順利抽取至BW系統(tǒng)，需要進行以下工作： 配置BW與各源系統(tǒng)的接口連接

31、； 復(fù)制各業(yè)務(wù)源系統(tǒng)的數(shù)據(jù)源； 創(chuàng)建各數(shù)據(jù)源的初始化、全量、增量信息包； SAP ECC系統(tǒng)LO數(shù)據(jù)源的初始化，刪除，填充設(shè)置表； 執(zhí)行信息包，裝載數(shù)據(jù)至PSA； 創(chuàng)建信息包到數(shù)據(jù)抽取層 DSO轉(zhuǎn)換及 將數(shù)據(jù)從 PSA 加載至數(shù)據(jù)抽取層 DSO。2.2.3.2 數(shù)據(jù)邏輯層數(shù)據(jù)合并層是面向客戶業(yè)務(wù)操作將抽取層數(shù)據(jù)進行初步的清洗和整理，將數(shù)據(jù)抽取層中數(shù)據(jù)按照業(yè)務(wù)規(guī)則集成、整合的過程，在此模型上執(zhí)行粒度較細(xì)的查詢分析。該層模型的集成、整合工作主要分為以下兩大類： 不同業(yè)務(wù)系統(tǒng)間模型合并數(shù)據(jù)抽取層中來自不同業(yè)務(wù)系統(tǒng)的模型數(shù)據(jù)，按照業(yè)務(wù)規(guī)則創(chuàng)建模型轉(zhuǎn)換，進行數(shù)據(jù)合并。該過程要注意來自異構(gòu)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)格

32、式、關(guān)聯(lián)關(guān)系。根據(jù)實際需要新增數(shù)據(jù)映射關(guān)系表，以保證數(shù)據(jù)合并。 同一業(yè)務(wù)系統(tǒng)內(nèi)模型合并數(shù)據(jù)抽取層中來自同一業(yè)務(wù)系統(tǒng)的模型數(shù)據(jù)，按照業(yè)務(wù)內(nèi)容及邏輯規(guī)則創(chuàng)建模型轉(zhuǎn)換， 進行數(shù)據(jù)合并。以上合并過程，最終都通過數(shù)據(jù)傳輸流程（ DTP）進行數(shù)據(jù)加載，將數(shù)據(jù)抽取層轉(zhuǎn)換、加載至數(shù)據(jù)邏輯層，DTP默認(rèn)加載方式為增量加載。2.2.3.3 數(shù)據(jù)分析層數(shù)據(jù)分析層是面向高層戰(zhàn)略分析將數(shù)據(jù)合并層的業(yè)務(wù)數(shù)據(jù)統(tǒng)一匯總到數(shù)據(jù)分析層，提供綜合決策數(shù)據(jù)支撐。該層模型的設(shè)計原則是以最終分析為準(zhǔn)，根據(jù)分析規(guī)則創(chuàng)建轉(zhuǎn)換，將數(shù)據(jù)指標(biāo)按照多維度組織，同時衍生出計算后分析指標(biāo)，通過數(shù)據(jù)傳輸流程（ 數(shù)據(jù)加載至數(shù)據(jù)分析層。2.2.3.4 ETL

33、 過程BW 系統(tǒng)集成了對各種源系統(tǒng)進行數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換及加載到數(shù)據(jù)倉庫的各種功能，并提供簡單的圖形化操作界面，可以通過簡單的拖動實現(xiàn)數(shù)據(jù)源的建立、數(shù)據(jù)的抽取，可以定義數(shù)據(jù)轉(zhuǎn)換的規(guī)則及加載方式、時間等。上圖即為 BW 數(shù)據(jù)倉庫 ETL 的流程，使用信息包（InfoPackage）將數(shù)據(jù)從源系統(tǒng)抽取至 BW 底層 PSA，通過一系列的轉(zhuǎn)換（PSA 中數(shù)據(jù)逐層加載至數(shù)據(jù)抽取層、數(shù)據(jù)合并層及分析層相應(yīng)的模型中。2.2.3.5 數(shù)據(jù)存儲BW 數(shù)據(jù)倉庫中，數(shù)據(jù)存儲采用的分層設(shè)計方法，即上文所劃分的數(shù)據(jù)抽取層、數(shù)據(jù)合并層、數(shù)據(jù)分析層。在這樣的設(shè)計中，數(shù)據(jù)是真正物理存儲于各層模型中。數(shù)據(jù)在流經(jīng)各層時，從性能

34、與準(zhǔn)確性方面考慮，使用全量或增量。2.2.3.6 分析層數(shù)據(jù)分析層提供給商務(wù)用戶一個專業(yè)的數(shù)據(jù)視圖，提供多樣展示數(shù)據(jù)必需的功能。選擇分析工具集來滿足數(shù)據(jù)展示的需求信息。這個工具的具體信息在軟件和硬件層里詳細(xì)的描述。 2.2.3.7 主數(shù)據(jù)按照需求應(yīng)用的需要，主數(shù)據(jù)首先進入到抽取層 DSO 中。抽取層、合并層使用 DSO存放數(shù)據(jù)，分析層一般使用 DSO 存放數(shù)據(jù)，但亦有使用特性存放主數(shù)據(jù)，如與時間相關(guān)的主數(shù)據(jù)。2.2.3.8 交易數(shù)據(jù)交易數(shù)據(jù)的 DSO 中，必須記錄每筆業(yè)務(wù)數(shù)據(jù)的業(yè)務(wù)產(chǎn)生的時間戳或者日期，且需要明細(xì)到憑證級。Cube 中僅存放匯總后的業(yè)務(wù)數(shù)據(jù)且此類數(shù)據(jù)是已經(jīng)經(jīng)過邏輯處理的。2.2

35、.4. 數(shù)據(jù)倉庫管理標(biāo)準(zhǔn)及命名規(guī)范2.2.4.1命名規(guī)則設(shè)計原則層次 常用名作用4 3 2 1 0 2.2.4.2BW系統(tǒng)開發(fā)對象通用編碼 ，代表源系統(tǒng)，按以下規(guī)范編碼。全稱適用于信息區(qū)域的命名，縮寫適用于其他開發(fā)對象的命名。SAP系統(tǒng)按數(shù)字順序編碼：12非SAP系統(tǒng)按AZ字母順序編碼： ，根據(jù)南車管理現(xiàn)狀，代表經(jīng)營中心，按以下規(guī)范編碼：全稱為經(jīng)營中心全稱或者慣用稱呼的每個字的拼音首字母?？s寫為以下字母編碼。全稱適用于信息區(qū)域的命名，縮寫適用于其他開發(fā)對象的命名。BCDE ，代表模型層次，按以下規(guī)范編碼。全稱適用于信息區(qū)域的命名，縮寫適用于其他開發(fā)對象的命名。ICROB ，代表數(shù)據(jù)主題，按以下

36、規(guī)范編碼。無縮寫及全稱的區(qū)分。除了以下常用縮寫，其他的內(nèi)容可以根據(jù)縮寫決定，并及時更新到該規(guī)范中。2.2.4.3南車BW系統(tǒng)開發(fā)對象命名規(guī)范 以 及層 和層 和 8 以Z的Y 的的 見 8 以Z 8 以 以Z 25見 726 為 建立 時，命名為：ZCompany_H01_031121。也可縮寫為 726見 83243 見 3 8 T F 823 823 的 21見 2 見1 2.2.4.4BW系統(tǒng)權(quán)限命名規(guī)則角色 3見4 3見 4南車時代電氣BW數(shù)據(jù)倉庫優(yōu)化方案目前南車電氣的 BW 系統(tǒng)設(shè)計較不規(guī)范，很多可用標(biāo)準(zhǔn)方式進行 CUBE 開發(fā)的模塊也用了 ABAP 程序來進行實現(xiàn)，從中我們找出了很

37、多可以優(yōu)化的點，通過我們對于南車電梯BW 系統(tǒng)現(xiàn)狀的調(diào)研之后，我們給南車提供如下 BW 優(yōu)化建議方案：1. 現(xiàn)系統(tǒng)模型命名沒有明確的規(guī)范，考慮確定明確的命名規(guī)范以便于后續(xù)的系統(tǒng)管理，及后續(xù)開發(fā)項目對原有模型能有比較清楚的了解。涉及范圍包括（信息范圍、自定義數(shù)據(jù)源、信息源、信息對象、模型、處理鏈、OPEN HUB、APD、QUERY、程序、函數(shù)等等）2. 現(xiàn)系統(tǒng)區(qū)域劃分較亂，考慮劃分出比較規(guī)范明確的區(qū)域。比如分主數(shù)據(jù)區(qū)域、業(yè)務(wù)數(shù)據(jù)區(qū)域、業(yè)務(wù)數(shù)據(jù)區(qū)域還可分為數(shù)據(jù)抽取層、轉(zhuǎn)換層、合并層、展現(xiàn)層等等。3. 考慮系統(tǒng)資源的合理安排及日常數(shù)據(jù)加載的監(jiān)控，考慮處理鏈調(diào)度時間的安排、監(jiān)控、各環(huán)節(jié)數(shù)據(jù)加載順序及

38、方式的調(diào)整等等。4. 現(xiàn) BW 數(shù)據(jù)源大多為 3.5 數(shù)據(jù)源、信息源、傳輸規(guī)則、更新規(guī)則，考慮轉(zhuǎn)換為 7.0 數(shù)據(jù)源及轉(zhuǎn)換，方便以后的運維管理及系統(tǒng)新功能的應(yīng)用。5. CUBE 層面未做聚集、壓縮、分區(qū)等處理以及 CUBE 維度的設(shè)置比如“行項目維”“高基數(shù)”維等方面的考量。6. 系統(tǒng)里存在冗余模型及報表可考慮清理優(yōu)化系統(tǒng)空間；系統(tǒng)可規(guī)則清理機制，比如定期清理 PSA 數(shù)據(jù)、ChangLog 數(shù)據(jù)等等。7. 主要的庫存相關(guān)模型考慮優(yōu)化，現(xiàn)大多數(shù)通過 SE38 程序?qū)崿F(xiàn)，考慮是否可用標(biāo)準(zhǔn)模型替換重構(gòu)，（例如涉及的程序有： ZTBW001、ZTBW003、ZTBW004、ZTBW005、ZTBW0

39、06 、 ZTBW007 、 ZTBW008 、 ZTBW010 、 ZTBW031 、 ZTBW032 、ZTBW033 等），另外，以上程序里大部分功能是通過調(diào)用現(xiàn)有模型的 query 通過一定邏輯處理再存入到另一模型，此部分功能完全可以用 BW 的 APD 的標(biāo)準(zhǔn)功能替代實現(xiàn)，更方便后續(xù)的維護及管理。8. 經(jīng)落實系統(tǒng)中還存在抽取 HR 系統(tǒng)人員信息的程序 ZTBW016，此程序?qū)⑷藛T信息數(shù)據(jù)從 HR 系統(tǒng)抽取到 BW 系統(tǒng)中的二維表中，再按人員級別發(fā)郵件給相關(guān)用戶，現(xiàn)程序可能存在些問題，為方便以后的管理及操作，此程序可以用 BW 連接數(shù)據(jù)庫作為數(shù)據(jù)源的標(biāo)準(zhǔn)方式替換。數(shù)據(jù)展現(xiàn)層遷移方案當(dāng)完

40、成 BW 優(yōu)化升級的工作之后，我們即將著手部署 SAP BO 集成 EP 門戶作為新的數(shù)據(jù)展現(xiàn)（應(yīng)用）層。首先我們會對該 54 張報表的業(yè)務(wù)邏輯進行梳理，了解業(yè)務(wù)之后將進行面向未來的數(shù)據(jù)展現(xiàn)層報表結(jié)構(gòu)設(shè)計，使得遷移到 BO 設(shè)計環(huán)境的報表符合未來的報表設(shè)計規(guī)范，實現(xiàn)現(xiàn)階段報表查詢轉(zhuǎn)線的基本應(yīng)用。本期項目需做遷移的報表共54張。在優(yōu)化好BW 環(huán)境并且重構(gòu)部分CUBE 的基礎(chǔ)之上，我們將當(dāng)前BW中的相關(guān)Query的展現(xiàn)重構(gòu)，以 BO 為設(shè)計平臺，在原 BW CUBE 上重新開發(fā)，同時將開發(fā)好的新報表集成到 EP 門戶中，最終形成 SAP BW+BO+EP 的商務(wù)智能技術(shù)平臺結(jié)構(gòu)，完成重要歷史報表的

41、遷移工作。主數(shù)據(jù)共享平臺方案從上表中我們可以發(fā)現(xiàn)本期項目中需要進行系統(tǒng)主數(shù)據(jù)共享的一共分為 8 個主數(shù)據(jù)指標(biāo)、一個SAP系統(tǒng)和4套非SAP系統(tǒng)。首先BW的抽取方式可分為兩種：1. 對SAP ERP系統(tǒng)采用BW標(biāo)準(zhǔn)的抽取方式即可。2. 對非 SAP 系統(tǒng)如 PLM，我們將會建立數(shù)據(jù)庫連接數(shù)據(jù)源（oracle），并且考慮增量抽取機制。當(dāng)相關(guān)主數(shù)據(jù)全部進入數(shù)據(jù)邏輯層的時候，我們將在 BW 中進行建模，建立存儲主數(shù)據(jù)的模型，及對外準(zhǔn)備的接口數(shù)據(jù)表（二維表），以供 ESB 系統(tǒng)來 BW 數(shù)據(jù)倉庫中進行主數(shù)據(jù)的提取。具體分層結(jié)構(gòu)及ETL、數(shù)據(jù)存儲等的操作方式可參見3.2.3章節(jié)，這里不再做重復(fù)的贅述。 南

42、車電氣數(shù)據(jù)倉庫系統(tǒng)實施計劃3.1.1. 工作時間表（預(yù)計）比較寬泛的項目計劃如下圖所示，明細(xì)的項目計劃將在項目合同簽訂后,每個階段的需求分析期間制定，包括明細(xì)的項目任務(wù)、工作、交付物、資源、時間等都將體現(xiàn)在明細(xì)計劃中。最終的項目計劃將在需求收集完成后，項目主要成員充分理解項目需求，包括客戶的工作流程、標(biāo)準(zhǔn)、和執(zhí)行規(guī)范等基礎(chǔ)上制定。初步實施計劃實施內(nèi)容根據(jù)對招標(biāo)文件的解讀和客戶要求的實施周期的通盤考慮，建議此次南車電氣項目一期實施內(nèi)容如下所示： 調(diào)研用戶部門部分需求，同時借鑒以往經(jīng)驗，由架構(gòu)師規(guī)劃設(shè)計整個數(shù)據(jù)倉庫。 對BW數(shù)據(jù)倉庫的軟硬件進行調(diào)優(yōu)，以滿足后續(xù)開發(fā)任務(wù)。 調(diào)整BW中相關(guān)Query的

43、展示界面，把報表遷移到BO平臺上。 抽取相關(guān)源系統(tǒng)主數(shù)據(jù)到BW數(shù)據(jù)倉庫中，進行主數(shù)據(jù)模型開發(fā)并設(shè)計接口一共ESB系統(tǒng)調(diào)用。XX 公司將根據(jù)項目需要在各階段安排合適的資源，包括項目領(lǐng)導(dǎo)小組和質(zhì)量管理委員會定期聽取項目匯報，檢查項目工作，確認(rèn)項目按計劃，按質(zhì)量要求順利開展。以下是針對項目主要角色和責(zé)任的描述：XX 定期聽取項目小組匯報，了解項目的進展?fàn)顩r 確保必要的項目資源投入 管理項目的邊界，審批由于變更引起的項目成本和時間的變動 監(jiān)控項目風(fēng)險和制定風(fēng)險管理方法 根據(jù)項目方法論推動項目的實施并監(jiān)督項目的執(zhí)行工作，構(gòu)建項目過程質(zhì)量保證體系和質(zhì)量保證措施實施監(jiān)控 對項目經(jīng)理的工作給予支持，幫助項目經(jīng)

44、理協(xié)調(diào)項目重要資 參與項目時間、成本、范圍的控制，并對項目進行考核項目現(xiàn)場管理，主要的職責(zé)包括： 建立和維護系統(tǒng)架構(gòu)，包括技術(shù)架構(gòu)（硬件架構(gòu)、軟件架構(gòu)和網(wǎng)絡(luò)架構(gòu)）以及提供相關(guān)的技術(shù)支持 推薦項目相關(guān)技術(shù)和工具，并支持項目實施中實施技術(shù)支持 關(guān)注如硬件、軟件、網(wǎng)絡(luò)之類的基礎(chǔ)架構(gòu)，并且還要關(guān)注這 指導(dǎo)各技術(shù)小組完成設(shè)計，包括 ETL 設(shè)計、展示設(shè)計、集成SAP BW顧問 分析業(yè)務(wù)需求，設(shè)計快速原型 ETL工程師將負(fù)責(zé)根據(jù)ETL設(shè)計說明書，實現(xiàn)整個ETL過程。ETL工程師精通于ETL技術(shù)，深刻理解數(shù)據(jù)抽取、轉(zhuǎn)換和加載所涉及的技術(shù)和問題。 ETL工程師還負(fù)責(zé)對所開發(fā)的ETL模塊進行單元測試，以保證所開

45、發(fā)的模塊能夠滿足ETL設(shè)計說明書的要求。 對每個報表和分析模塊的單元測試負(fù)責(zé)，以確保這些模塊符培訓(xùn)師 負(fù)責(zé)相關(guān)軟件操作培訓(xùn)和相關(guān)產(chǎn)品培訓(xùn)南車電氣描述參與程度 定期聽取項目小組匯報，了解項目的進展項目領(lǐng)導(dǎo)小組 確保足夠的項目資源投入描述參與程度 管理項目的邊界，審批由于變更引起的項目成本和時間的變動 向項目領(lǐng)導(dǎo)小組匯報并接受項目領(lǐng)導(dǎo)小組 考核項目經(jīng)理，并與項目經(jīng)理共同考核項項目經(jīng)理從客戶的角度對整個項目的成功負(fù)責(zé)，項目經(jīng)理與實施方的項目經(jīng)理密切合作，確保項目按時、在預(yù)算的基礎(chǔ)上逐步實現(xiàn)項目的成功。項目經(jīng)理的職責(zé)還包括協(xié)調(diào)客戶方的內(nèi)部資源，根據(jù)項目的需要，推動相關(guān)資源支持項目，以確保項目的成功實施

46、。目成果中獲得收益最大的使用人員。業(yè)務(wù)人員深度理解本項目提供需求的業(yè)務(wù)含義，對提出的報表和分析等需求的細(xì)節(jié)有準(zhǔn)確的理解和認(rèn)識。參與項目的 IT 團隊，包括基礎(chǔ)設(shè)施負(fù)責(zé)人、DBA 專家等，需要參加解決方案培訓(xùn)、需求分描述參與程度析、系統(tǒng)設(shè)計和開發(fā)等階段，確保根據(jù)數(shù)據(jù)集市模型的需要，從數(shù)據(jù)源系統(tǒng)中抽取所需要的數(shù)據(jù)。 豐富的 RDBMS 工作背景，至少5年的DBA 或數(shù)據(jù)倉庫經(jīng)驗 豐富的 BI 工作經(jīng)歷，至少23年的 BI 報表進行數(shù)據(jù)抽取等 ETL任務(wù)業(yè)務(wù)系統(tǒng)管理員 能夠理解數(shù)據(jù)源數(shù)據(jù)量和數(shù)據(jù)質(zhì)量 能夠提供數(shù)據(jù)源的數(shù)據(jù)字典 在項目中，能夠擔(dān)任數(shù)據(jù)源分析的角色培訓(xùn)計劃培訓(xùn)是系統(tǒng)開發(fā)與推廣的重要組成部

47、分，系統(tǒng)上線正常運行后，系統(tǒng)管理人員不僅是簡單的運營和維護系統(tǒng)，隨著新業(yè)務(wù)的開展管理人員還需具備開發(fā)和擴展新報表的能力。同時，BI 系統(tǒng)的使用要求管理人員、業(yè)務(wù)用戶思維、行動的相應(yīng)轉(zhuǎn)變，必須進行相應(yīng)的培訓(xùn)，從而推動企業(yè)管理水平的提升。系統(tǒng)管理人員既是 BI 系統(tǒng)的使用者，又是 BI 系統(tǒng)正常運行的維護者，培養(yǎng)用戶自己的系統(tǒng)管理人員是很有必要的。XX 公司除了培訓(xùn) BI 系統(tǒng)的日常操作功能（即普通操作人員）外，還將向用戶提供全方位的培訓(xùn)，協(xié)助用戶建立一支業(yè)務(wù)精通、技術(shù)過硬的應(yīng)用系統(tǒng)使用和維護隊伍。通過培訓(xùn)，使各級相關(guān)人員對軟件系統(tǒng)有充分了解，熟悉系統(tǒng)的設(shè)計原理和工作方式，掌握系統(tǒng)的工作流程和操作

48、方法。3.2.1. 培訓(xùn)類型XX 公司向用戶的相關(guān)人員提供多種方式的用戶培訓(xùn)，充分滿足各個層次培訓(xùn)對象的需求，培訓(xùn)方式包括以下幾類： 初級培訓(xùn)：在用戶現(xiàn)場進行系統(tǒng)基本的使用方法的集中培訓(xùn)，使用戶掌握系統(tǒng)基本操作和所需功能的使用方法。適用于所有培訓(xùn)對象。 中級培訓(xùn)：在用戶現(xiàn)場的集中培訓(xùn)，在用戶掌握系統(tǒng)基本功能使用方法的前提下，為其提供高級功能的使用方法、多項功能組合使用、常見復(fù)雜業(yè)務(wù)的操作處理等中級水平的培訓(xùn)內(nèi)容。 高級培訓(xùn)：在用戶現(xiàn)場進行的關(guān)于系統(tǒng)內(nèi)核的高級培訓(xùn)。旨在使用戶完全徹底掌握系統(tǒng)，為整個系統(tǒng)的長期穩(wěn)定運行提供有力保證。 專項培訓(xùn)：根據(jù)用戶的需求，就系統(tǒng)中的某一子系統(tǒng)、某一功能、某一專

49、業(yè)技術(shù)工具進行的專門性培訓(xùn)。旨在使用戶對其工作領(lǐng)域具有深刻領(lǐng)悟。適用于領(lǐng)導(dǎo)層、高級維護層以上、專業(yè)人員的培訓(xùn)對象。XX 公司將向客戶提供包括初、中、高級的技術(shù)培訓(xùn)，對于培訓(xùn)時間、地點及培訓(xùn)人數(shù)，雙方按約定協(xié)商安排。在向用戶提供正常的售后技術(shù)和業(yè)務(wù)培訓(xùn)外，還將定期或不定期地舉辦各種新業(yè)務(wù)和新技術(shù)的培訓(xùn)研討班，屆時將由我公司的市場部發(fā)通知給新老客戶。3.2.2. 培訓(xùn)課程針對南車電氣項目，我們計劃將提供以下培訓(xùn)內(nèi)容，并在項目實施過程向南車電氣的IT部門提供技術(shù)指導(dǎo)與聯(lián)合開發(fā)，保證南車電氣工程師能夠接受BI系統(tǒng)相關(guān)知識技能，并熟練掌握操作、系統(tǒng)配置與維護、故障處理等技能，確保整個系統(tǒng)的正常運行及招標(biāo)

50、人的業(yè)務(wù)開展。在系統(tǒng)上線前，將針對系統(tǒng)使用用戶進行推廣培訓(xùn)，讓領(lǐng)導(dǎo)和業(yè)務(wù)部門能夠更好的使用系統(tǒng)。 時 間 /天 列1 回 護 容災(zāi)備份方案建立一個數(shù)據(jù)備份平臺；支持異構(gòu)的服務(wù)器平臺與存儲設(shè)備；支持主流的操作系統(tǒng)，例如HP-UX，IBM AIX，Sun Solaris和Windows2003系統(tǒng)等，支持主流的數(shù)據(jù)庫,例如Oracle, SQL SERVER，DB2，MYSQL等。1. 支持Oracle數(shù)據(jù)庫（包括其它主流數(shù)據(jù)庫如SQL SERVER，DB2，MYSQL等）的在線備份，支持全備份、增量備份以及累計增量備份等類型。可實現(xiàn)可靠、開放、自動、快速、實時、易擴展的數(shù)據(jù)備份。2. 具有充分的

51、擴展性，包括磁帶擴容、新客戶端添加、新帶庫添加。3. 支持多臺服務(wù)器的并行數(shù)據(jù)備份。4. 備份軟件應(yīng)能對備份系統(tǒng)集中管理，統(tǒng)一管理備份設(shè)備、備份介質(zhì)和備份或恢復(fù)任務(wù)，能統(tǒng)一定義管理備份策略和恢復(fù)策略。操作界面友善。備份軟件應(yīng)支持圖形操作界面和命令行操作界面兩種方式，且支持遠(yuǎn)程操作。應(yīng)能方便直觀地進行備份策略的定義、進行備份設(shè)備、備份任務(wù)的監(jiān)控、了解備份介質(zhì)的使用狀況等。系統(tǒng)安裝、操作簡單。根據(jù)南車電氣目前數(shù)據(jù)倉庫系統(tǒng)的技術(shù)架構(gòu)以及備份需求，我們需要備份的項目如下，在實際中根據(jù)用戶需求可能進一步調(diào)整：數(shù)據(jù)庫ODS數(shù)據(jù)庫數(shù)據(jù)每周一次全量，每天增量每周一次全量，每天增量每周一次全量，每天增量增加報表

52、等操作后全量備份增加報表等操作后全量備份安裝或調(diào)整配置后全量備份安裝或調(diào)整配置后全量備份軟件安裝或系統(tǒng)升級后全量備份所有服務(wù)器操作系統(tǒng)3.3.1. 備份策略的定義一個好的備份系統(tǒng)，除了需要配備有好的軟硬件產(chǎn)品之外，更需要有良好的備份策略和管理規(guī)劃來進行保證。備份策略的選擇，要統(tǒng)籌考慮需備份的總數(shù)據(jù)量，線路帶寬、數(shù)據(jù)吞吐量、時間窗口以及對恢復(fù)時間的要求等因素。目前的備份類型主要有全量備份、增量備份和差異備份： 全備份：每次備份定義的所有數(shù)據(jù)，優(yōu)點是恢復(fù)快，缺點是備份數(shù)據(jù)量大，數(shù)據(jù)多時可能做一次全備份需很長時間； 增量備份：備份自上一次備份以來更新的所有數(shù)據(jù)，其優(yōu)點是每次備份的數(shù)據(jù)量少，缺點是恢復(fù)

53、時需要全備份及多份增量備份； 差異備份：備份自上一次全備份以來更新的所有數(shù)據(jù)，其優(yōu)缺點介于上兩者之間。3.3.2. 備份窗口的選擇所謂備份窗口，是指每次備份的間隔時間，這主要取決于每次備份間隔能夠容忍丟失的數(shù)據(jù)量、每次備份的數(shù)據(jù)量和備份的速度。理論上，備份的間隔越短越好，但每次備份總需一定的時間，而且備份總會或多或少地影響系統(tǒng)的正常處理性能。因而，對一些關(guān)鍵數(shù)據(jù)，可預(yù)先定義備份窗口大小，再根據(jù)備份數(shù)據(jù)量計算所需的備份速度，若備份速度不能滿足要求，則可考慮使用更快速的帶庫或增加帶庫上的驅(qū)動器數(shù)量。3.3.3. 災(zāi)難恢復(fù)的策略備份的目的是為了防止在異常事故下的數(shù)據(jù)丟失，一旦運行數(shù)據(jù)發(fā)生問題，如何從

54、備份介質(zhì)中恢復(fù)出最當(dāng)前的數(shù)據(jù)，才是我們真正關(guān)心的問題。我們不希望災(zāi)難發(fā)生，也不希望任何故障出現(xiàn)。然而災(zāi)難的出現(xiàn)往往是突然的、預(yù)先不可知的。所以我們應(yīng)有一套應(yīng)付各種災(zāi)難情況下的災(zāi)難恢復(fù)解決方案，以備不時之需。經(jīng)過對系統(tǒng)的初步運行環(huán)境分析，歸納出以下有可能會出現(xiàn)的幾種情況，并提出了相應(yīng)的解決措施。情況一：主機數(shù)據(jù)磁盤故障（非系統(tǒng)盤）若數(shù)據(jù)盤使用了 RAID1、RAID5 等技術(shù)，則應(yīng)該可直接熱替換硬盤；若數(shù)據(jù)盤已不能訪問，則需先修好物理盤，然后從備份介質(zhì)恢復(fù)數(shù)據(jù)。情況二：主機物理損壞替換主機，使用原來的系統(tǒng)盤或數(shù)據(jù)盤；若不使用原來的系統(tǒng)盤或數(shù)據(jù)盤，則可以通過備份系統(tǒng)的災(zāi)難恢復(fù)功能恢復(fù)操作系統(tǒng)，然后

55、恢復(fù)數(shù)據(jù)。情況三：系統(tǒng)盤物理損壞替換系統(tǒng)盤，則可以通過備份系統(tǒng)的災(zāi)難恢復(fù)功能恢復(fù)操作系統(tǒng)。情況四：操作系統(tǒng)不能啟動直接通過備份系統(tǒng)的災(zāi)難恢復(fù)功能恢復(fù)操作系統(tǒng)。情況五：磁盤上數(shù)據(jù)損壞(如由于人為失誤、病毒或黑客攻擊)磁盤數(shù)據(jù)可能包括以下類型： BOE FILESTORE,DI 安裝配置文件， BW 安裝配置文件，BOE 安裝配置文件，ORACLE 安裝配置文件等，首先考慮通過相在產(chǎn)品的技術(shù)來恢復(fù)文件，如果不能解決，通過備份介質(zhì)上的數(shù)據(jù)備份恢復(fù)數(shù)據(jù)。情況六：數(shù)據(jù)庫數(shù)據(jù)丟失(如由于人為失誤、數(shù)據(jù)塊損壞等)本項目中數(shù)據(jù)庫有以下幾類：ODS 數(shù)據(jù)庫，數(shù)據(jù)集市數(shù)據(jù)據(jù)，數(shù)據(jù)倉庫數(shù)據(jù)庫，ETL資料庫，BOE

56、資料庫。如出現(xiàn)以上情況時，首先考慮通過 Oracle 數(shù)據(jù)庫本身的技術(shù)如flashback來恢復(fù)丟失的數(shù)據(jù)，如果不能解決，需要通過從備份介質(zhì)進行恢復(fù)處理。情況七：整個數(shù)據(jù)中心災(zāi)難所謂數(shù)據(jù)中心災(zāi)難，是指一些特殊情況發(fā)生時，數(shù)據(jù)中心的主機系統(tǒng)的存放在磁盤上的數(shù)據(jù)，以及備份帶庫中的備份介質(zhì)上的數(shù)據(jù)均遭損壞。此時，若沒有很好的容災(zāi)解決方法，就可能導(dǎo)致嚴(yán)重的后果。 項目實施和管理提升方法我們在南車電氣項目實施中將采取以 SAP 公司全球標(biāo)準(zhǔn)的 ASAP 實施方法，在南車電氣希望一次實施分階段上線運行的業(yè)務(wù)需求的基礎(chǔ)上，結(jié)合管理咨詢方法進行管理提升，因此，我們不是單純地進行 SAP 技術(shù)實施，而是結(jié)合 S

57、AP 系統(tǒng)的管理流程梳理和實施。ASAP 是 SAP 公司為使項目的實施更簡單、更有效的一套完整的快速實施方法。ASAP 優(yōu)化了在實施過程中對時間、質(zhì)量和資源的有效使用等方面的控制。它是一個包括了使得項目實施得以成功所有基本要素的完整的實施方法。所以我們采取的方法實質(zhì)上是一個 SAP支持的管理提升和咨詢方法。XX 在南車電氣項目中提供的管理提升和服務(wù)內(nèi)容單純的只懂管理流程或者單純的只懂 BI 技術(shù)的人員難以實施好一個 BI 項目，SAP BI項目實施實質(zhì)上是管理流程優(yōu)化和技術(shù)實現(xiàn)相結(jié)合的過程，并且是密不可分的。在 XX 過去實施的項目中一貫貫徹這個理念，體現(xiàn)了管理經(jīng)驗和 BI 技術(shù)的結(jié)合。在南車電氣 SAPBI 項目實施中我們主要提供如下服務(wù)內(nèi)容： 行業(yè)管理經(jīng)驗分享：我們的顧問