集團型企業(yè)數(shù)據(jù)中心建設方案分析報告

地址：廣州市新港西路135號海珠中大科技綜合樓1008郵編：510275電話：（86-20）84115029傳真：（86-20）84115031網(wǎng)址PAGE16中山供電局主營業(yè)務系統(tǒng)數(shù)據(jù)交換標準編制項目技術投標文件1中山大學計算科學與計算機應用研究所目錄TOC\o"1-2"\h\z\u第1章 引言 2第2章 調(diào)研情況分析 32.1 分子公司數(shù)據(jù)中心建設現(xiàn)狀 32.2 分子公司對數(shù)據(jù)中心建設的意見 32.3 專家意見 4第3章 數(shù)據(jù)中心建設方案 63.1 方案一：一級一個數(shù)據(jù)中心的建設方案 63.2 方案二：二級多個數(shù)據(jù)中心的建設方案 8第4章 數(shù)據(jù)中心建設方案分析 94.1 一級一個數(shù)據(jù)中心建設方案分析 94.2 二級多個數(shù)據(jù)中心建設方案分析 12第5章 結(jié)論 14附錄一：分子公司調(diào)研情況 15附錄二：典型案例 23引言XXXX公司“十一五”信息化規(guī)劃確立了建設公司總部與分子公司兩級數(shù)據(jù)中心的思路，在公司總部及各分子公司數(shù)據(jù)中心建設規(guī)劃中，都將ODS與數(shù)據(jù)倉庫建設列入其建設的內(nèi)容，這種做法將導致XXXX公司總部與各分子公司數(shù)據(jù)中心重復存貯大量數(shù)據(jù)，不僅造成硬件和軟件資源的浪費，而且還不利于保障數(shù)據(jù)的一致性和可靠性；此外，XXXX公司各分子公司（超高壓輸電公司與調(diào)峰調(diào)頻發(fā)電公司除外）企業(yè)性質(zhì)相同、經(jīng)營管理模式相近，據(jù)專家測算，大約有70%到80%的聯(lián)機分析處理（OLAP）和商業(yè)智能（BI）需求是相同或相近的，各分子公司分別建設數(shù)據(jù)中心的做法，必然會造成大量的OLAP模型和BI模型重復開發(fā)，帶來數(shù)據(jù)中心應用開發(fā)成本的巨大浪費。隨著信息技術的發(fā)展，數(shù)據(jù)中心建設呈現(xiàn)出整合與集中的趨勢。國際500強企業(yè)以及國內(nèi)的金融、電信等集團企業(yè)都已經(jīng)或正在實現(xiàn)只建一個或少數(shù)幾個企業(yè)級數(shù)據(jù)中心的目標。目前Oracle公司全球只建設3個數(shù)據(jù)中心；HP公司全球只建設2個數(shù)據(jù)中心；郵政儲蓄銀行全國只建設1個數(shù)據(jù)中心；中國聯(lián)通正在計劃全國只建一個數(shù)據(jù)中心；中國移動是總部與省公司具有兩級法人結(jié)構(gòu)的企業(yè)集團，也在規(guī)劃只建設南、北2個數(shù)據(jù)中心；國家電網(wǎng)公司也在規(guī)劃只建設3個區(qū)域數(shù)據(jù)中心。與上述國內(nèi)外知名的集團企業(yè)相比，XXXX公司的管理區(qū)域范圍相對較小，而通信網(wǎng)絡等基礎設施條件卻更好。為了緊跟數(shù)據(jù)中心建設和發(fā)展的步伐，特進行本次XXXX公司數(shù)據(jù)中心建設方案的分析與研究，以尋求適合XXXX公司現(xiàn)狀并符合發(fā)展趨勢的數(shù)據(jù)中心建設方案。調(diào)研情況分析為了解目前分子公司數(shù)據(jù)中心建設的思路與現(xiàn)狀，XXXX公司信息中心組織調(diào)研了系統(tǒng)內(nèi)的廣東電網(wǎng)公司、廣西電網(wǎng)公司、云南電網(wǎng)公司以及貴州電網(wǎng)公司。同時，還調(diào)研了國際、國內(nèi)知名的數(shù)據(jù)中心產(chǎn)品提供商和開發(fā)商，包括：ORACLE公司、SAP公司、SAS公司以及寶山鋼鐵企業(yè)下屬的寶信軟件公司、賽迪電子和廣州從興電子有限公司等。分子公司數(shù)據(jù)中心建設現(xiàn)狀目前各分子公司數(shù)據(jù)中心除廣東電網(wǎng)公司已在廣州供電局進行了數(shù)據(jù)倉庫的試點建設外，其它分子公司均還處在籌劃建設階段；廣西電網(wǎng)正在進行前期準備工作，計劃2009年底啟動；云南電網(wǎng)公司準備在2010年10月完成營銷數(shù)據(jù)倉庫建設；貴州電網(wǎng)通過綜合信息平臺實現(xiàn)對管理匯總數(shù)據(jù)的統(tǒng)計分析，還沒有建設包含業(yè)務明細數(shù)據(jù)的數(shù)據(jù)倉庫。各分子公司的主營業(yè)務系統(tǒng)己基本覆蓋，營銷、生產(chǎn)系統(tǒng)的歷史數(shù)據(jù)相對齊全。目前各分子公司數(shù)據(jù)中心建設提出的分析與輔助決策功能需求，大部分還停留在統(tǒng)計分析而不是挖掘分析的層面。分子公司對數(shù)據(jù)中心建設的意見在調(diào)研過程中，公司信息中心與分子公司對“XXXX公司應該建設一個企業(yè)級數(shù)據(jù)中心還是建設多個數(shù)據(jù)中心”的問題交換了意見。分子公司一致認為：XXXX公司只建設一個企業(yè)級數(shù)據(jù)中心在技術上是可行的，并且符合數(shù)據(jù)中心建設的發(fā)展趨勢。如果XXXX公司總部做出只建設一個企業(yè)級數(shù)據(jù)中心的決策，各分子公司均表示支持。同時，分子公司也提出一些擔心與疑問，可以總結(jié)為以下四個方面：在XXXX公司總部建設一個企業(yè)級的數(shù)據(jù)中心，能否及時滿足分子公司的個性化需求？目前XXXX公司綜合數(shù)據(jù)網(wǎng)能否滿足數(shù)據(jù)傳輸?shù)囊?？分子公司個性化需求會不會導致數(shù)據(jù)存貯與管理混亂？個別分子公司提出是否等全網(wǎng)業(yè)務應用系統(tǒng)集中統(tǒng)一以后，再去建一個數(shù)據(jù)中心比較合適？專家意見帶著上述各分子公司所擔心的問題，我們與ORACLE公司、SAP公司、SAS公司以及寶山鋼鐵企業(yè)下屬的寶信軟件公司、賽迪電子和廣州從興電子有限公司等專家進行了溝通交流。專家認為：1、電網(wǎng)企業(yè)性質(zhì)相同、經(jīng)營管理模式相近，大約有70%到80%的聯(lián)機分析處理（OLAP）和商業(yè)智能（BI）需求是相同或相近，集中建設一個企業(yè)級數(shù)據(jù)中心是合理的。各分子公司的個性化需求可以通過分區(qū)/分域存儲，開放部分數(shù)據(jù)資源權限，讓其自建邏輯數(shù)據(jù)集市的方法解決；2、國內(nèi)外很多跨國集團企業(yè)通過租用公網(wǎng)都能解決數(shù)據(jù)傳輸?shù)膯栴}，關鍵是要做好技術層面的調(diào)度工作。中國移動廣東分公司每天通信交換的數(shù)據(jù)量約為1個T，XXXX公司如果建設一個企業(yè)級數(shù)據(jù)中心每天的數(shù)據(jù)傳輸量經(jīng)估算約為幾百個G，而公司的綜合數(shù)據(jù)網(wǎng)帶寬達155M，通信應該不會有問題。3、數(shù)據(jù)存貯和管理混亂，與建一個還是建多個數(shù)據(jù)中心的做法沒有太大的關系，關鍵在于企業(yè)有沒有進行數(shù)據(jù)資源的規(guī)劃，有沒有一套數(shù)據(jù)編碼規(guī)范及數(shù)據(jù)質(zhì)量管理制度；共性的需求應該全網(wǎng)統(tǒng)一組織開發(fā)，剩余的少量個性化的需求可在企業(yè)規(guī)范的指導下進行開發(fā)。4、XXXX公司如果能夠在業(yè)務層面上統(tǒng)一應用系統(tǒng)對數(shù)據(jù)中心建設當然是最理想的，可以節(jié)省數(shù)據(jù)的清洗和轉(zhuǎn)換工作。但是國內(nèi)外企業(yè)集團建設數(shù)據(jù)中心的成功案例表明，即便是已經(jīng)在企業(yè)集團層面統(tǒng)一了業(yè)務應用系統(tǒng)，數(shù)據(jù)的清洗和轉(zhuǎn)換工作仍然是不可避免的，只是工作量的大小問題。最后，具有數(shù)據(jù)中心開發(fā)實施經(jīng)驗的一些廠家認為，XXXX公司建一個企業(yè)級數(shù)據(jù)中心是不以人的意志為轉(zhuǎn)移的必然趨勢，現(xiàn)在建或者未來建只是時間的問題。通過本次調(diào)研，我們對各分子公司數(shù)據(jù)中心建設的現(xiàn)狀和需求有了更深層次的了解，對數(shù)據(jù)中心建設的發(fā)展方向有了更明確的認識。數(shù)據(jù)中心建設方案方案一：一級一個數(shù)據(jù)中心的建設方案XXXX公司總部建一個企業(yè)級的數(shù)據(jù)中心，包括：ODS、數(shù)據(jù)倉庫，全網(wǎng)統(tǒng)一元數(shù)據(jù)管理。數(shù)據(jù)中心建設初期需求不會太多，暫不考慮建立數(shù)據(jù)集市；如果數(shù)據(jù)倉庫不斷膨脹、管理復雜度加大到一定程度后，可以考慮以開發(fā)權限或下發(fā)數(shù)據(jù)的形式，為總部的各部門和分子公司建立邏輯或物理的數(shù)據(jù)集市?？偛繑?shù)據(jù)中心按分子公司分區(qū)，再按業(yè)務職能分域，為各分子公司建立邏輯上的虛擬ODS、虛擬數(shù)據(jù)倉庫。各分子公司之間共性的應用統(tǒng)一在總部數(shù)據(jù)中心開發(fā)和維護，如果分子公司有個性化的需求，首先向網(wǎng)公司提出需求；網(wǎng)公司對需求進行評審并判斷是否已有其它分子公司做了相應的開發(fā)，如果有可直接拿來共享；否則，開放相應的數(shù)據(jù)權限給分子公司自主開發(fā)；開發(fā)完成后，確實有推廣價值的可以在全網(wǎng)范圍內(nèi)進行推廣。

方案二：二級多個數(shù)據(jù)中心的建設方案XXXX公司總部和分子公司分別建ODS、數(shù)據(jù)倉庫、數(shù)據(jù)集市，總部和分子公司各自實現(xiàn)自己的分析應用。數(shù)據(jù)中心建設方案分析一級一個數(shù)據(jù)中心建設方案分析一級一個數(shù)據(jù)中心的優(yōu)勢數(shù)據(jù)質(zhì)量最佳網(wǎng)公司總部與分子公司決策分析均為同一個唯一的數(shù)據(jù)源，采用統(tǒng)一的元數(shù)據(jù)管理，統(tǒng)計口徑一致，數(shù)據(jù)真實性最好。如果分子公司以后要建立數(shù)據(jù)集市，數(shù)據(jù)從集中到分散保證質(zhì)量容易；如果先建分子公司的數(shù)據(jù)集市（或倉庫），數(shù)據(jù)以后從分散到集中保證質(zhì)量困難。決策支持數(shù)據(jù)全面完整全網(wǎng)數(shù)據(jù)統(tǒng)一集中，網(wǎng)公司總部可以一次性獲得最全面，最完整的數(shù)據(jù)，對網(wǎng)公司總部決策分析支持最好。集中存儲，冗余度最低網(wǎng)公司總部與省公司的管理粒度不同，決策分析所需要的數(shù)據(jù)也不同。但是隨著網(wǎng)公司精細化管理的不斷深入，分析挖掘所需要的數(shù)據(jù)也會越來越明細，最終網(wǎng)公司總部數(shù)據(jù)中心將要管理到“每一個用戶、每一臺設備、每一張憑證、每一個員工”。如果分散存儲，網(wǎng)省兩級冗余的數(shù)據(jù)量將會越來越大。分析模型共享分子公司70%到80%的共性需求可以統(tǒng)一組織開發(fā)，全網(wǎng)共享；分子公司自主開發(fā)的個性化的需求，如果具有推廣價值也可以全網(wǎng)推廣。通過分析模型共享，可以實現(xiàn)先進帶動后進，促進各分子公司分析應用水平均衡發(fā)展。建設多個數(shù)據(jù)中心，表面上看可以充分滿足分子公司的個性化需求，但實際上為了滿足20%到30%的個性化需求，帶來的代價是70%到80%相同或相近的需求卻由于分散開發(fā)而沒有質(zhì)量保障。集中資源建設，風險控制能力強數(shù)據(jù)中心的建設是一個長期的過程，在建設初期網(wǎng)公司總部和各分子公司的需求不旺盛、不明確，完全有條件可以集中全網(wǎng)的人力、物理、財力進行項目建設，進行統(tǒng)一管理，具有較強的風險控制能力。軟硬件設備集中，節(jié)省投資統(tǒng)一購置硬件設施和軟件許可證，軟硬件投資最少，節(jié)省項目建設一次性成本。一級一個數(shù)據(jù)中心的劣勢與風險不能及時滿足分子公司的個性化需求一級一個數(shù)據(jù)中心對網(wǎng)公司總部的運維、管理能力要求更高。在分子公司調(diào)研過程中，各單位一致認為建設一級數(shù)據(jù)中心最大的風險就是不能及時滿足分子公司個性化的需求。隨著決策分析應用水平的提高，各省甚至各地市的個性化需求將會越來越多，如果網(wǎng)公司沒有足夠的技術人員就無法及時滿足這些個性化的需求。可以采取下述應對措施回避風險：1、數(shù)據(jù)集中到網(wǎng)公司總部后，首先按照分子公司邏輯上進行分區(qū)，分子公司內(nèi)部再按業(yè)務職能分域；2、允許分子公司提出個性化的需求，網(wǎng)公司對需求進行評審，如果網(wǎng)公司暫時沒有能力組織開發(fā)，就將相關的數(shù)據(jù)開放權限給分子公司，由其自行組織開發(fā)。3、網(wǎng)公司總部人力資源不夠，可以組織分子公司的專家組成一個虛擬的評審機構(gòu)負責對個性化的需求進行評審。網(wǎng)絡性能不能滿足要求一級一個數(shù)據(jù)中心對網(wǎng)絡的性能要求更高。一個數(shù)據(jù)中心無論是從下到上采集數(shù)據(jù)，還是從上到下分析數(shù)據(jù)，傳輸?shù)臄?shù)據(jù)量都比二級數(shù)據(jù)中心要大。如果沒有足夠的帶寬，將會影響應用的效果?？梢圆扇∠率鰬獙Υ胧┗乇茱L險：1、XXXX公司的綜合數(shù)據(jù)網(wǎng)帶寬155M，既然能滿足全網(wǎng)建設一個災備中心的數(shù)據(jù)傳輸要求，肯定也可以滿足一級一個數(shù)據(jù)中心數(shù)據(jù)傳輸?shù)囊蟆?、利用閑時傳輸、增量數(shù)據(jù)采集、數(shù)據(jù)壓縮等技術手段，降低對網(wǎng)絡帶寬的壓力。主機性能不能滿足要求一級一個數(shù)據(jù)中心數(shù)據(jù)存儲量大，并發(fā)分析請求數(shù)量多，對數(shù)據(jù)庫、分析服務器等主機性能要求較高，要求擴展能力強?？梢圆扇∠率鰬獙Υ胧┗乇茱L險：1、硬件設備擴容。2、通過負載均衡、虛擬化技術為分子公司邏輯上獨立、動態(tài)分配CPU和存儲資源，網(wǎng)格計算技術可以有效化解對單臺計算機性能的要求。個性化需求太多，導致管理復雜，數(shù)據(jù)組織混亂如果分區(qū)、分域開放給分子公司的數(shù)據(jù)太多，對其自主開發(fā)的過程又沒有規(guī)范性的要求，數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的組織形式可能會越來越混亂。可以采取下述應對措施回避風險：1、制定分析建模的原則與規(guī)范。由于分子公司在業(yè)務上是相近的，因此大部分決策分析需求是具有共性的，這部分由網(wǎng)公司統(tǒng)一建模。對于少部分個性化的需求，要求在規(guī)范的指導下建模。2、對分子公司的需求、設計方案、開發(fā)成果進行評審、驗收，只開放評審后認為必要的數(shù)據(jù)。二級多個數(shù)據(jù)中心建設方案分析二級多個數(shù)據(jù)中心的優(yōu)勢分子公司按各自需求建設，靈活性強各分子公司根據(jù)各自的需求建設，響應其個性化的需求最及時，靈活性最好。分子公司獨立建設，相互影響小各分子公司軟硬件平臺獨立分開，相互之間的性能影響最少，即使出現(xiàn)單點故障也只會影響到局部而不是整體。對網(wǎng)絡、主機壓力小各分子公司的決策分析應用在二級數(shù)據(jù)中心內(nèi)部完成，對網(wǎng)絡傳輸、中心主機分析處理壓力較小。二級多個數(shù)據(jù)中心的劣勢技術上可能面臨淘汰數(shù)據(jù)中心的建設是一個長期的過程，從建設初期到發(fā)揮作用可能需要3－5年的時間，二級數(shù)據(jù)中心可能隨著業(yè)務系統(tǒng)大集中而又要面臨淘汰推倒重建?？傮w投資大二級多個數(shù)據(jù)中心共需要建設XXXX公司總部和7個分子公司共8個數(shù)據(jù)中心，總體投資遠遠超過建設一級一個數(shù)據(jù)中心的總體投資。力量分散，項目風險更大分子公司信息化水平參差不齊，某些單位技術力量相對薄弱，在這種情況下如果還分散資源、獨立建設，項目失敗風險更大。資源共享程度差，數(shù)據(jù)質(zhì)量難以保障各分子公司的決策分析模型獨立運維，企業(yè)70%到80%共性需求重復開發(fā)，浪費資源，各分子公司分析應用水平參差不齊；分子公司與總部數(shù)據(jù)重復存儲，一致性差。結(jié)論綜上所述，從技術角度分析，企業(yè)信息化一直朝著數(shù)據(jù)集中，業(yè)務集中的趨勢發(fā)展。從管理角度分析，建設一級一個數(shù)據(jù)中心對總部的決策分析應用支持最佳，數(shù)據(jù)質(zhì)量最好；尤其是數(shù)據(jù)中心建設初期可以集中全網(wǎng)資源統(tǒng)一建設70%到80%具有共性需求的分析與決策應用，整體提升分子公司的信息化應用水平；從投資角度分析，一級一個數(shù)據(jù)中心能有效降低企業(yè)IT投資的總體成本。因此，建議XXXX公司采用一級一個數(shù)據(jù)中心的建設方案，同時加快網(wǎng)公司總部數(shù)據(jù)中心運維團隊的建設。附錄二：典型案例1、金融案例：國內(nèi)各大商業(yè)銀行已完成核心業(yè)務