數(shù)據(jù)倉(cāng)庫(kù)建設(shè)失敗的主要原因

一、 國(guó)內(nèi)信息化的現(xiàn)狀1、 信息化建設(shè)的發(fā)展歷史：在國(guó)內(nèi)信息化建設(shè)過(guò)程中，基本上是按照當(dāng)時(shí)業(yè)務(wù)系統(tǒng)的需求進(jìn)行建設(shè)，例如：在一個(gè)企業(yè)中，財(cái)務(wù)部門為了減少工資發(fā)放的差錯(cuò)，提高發(fā)放的效率，先建設(shè)一個(gè)工資發(fā)放和管理程序；為了報(bào)賬和核對(duì)的需求，建設(shè)一個(gè)財(cái)務(wù)管理程序；在銀行首先為了業(yè)務(wù)處理的方便，將最基本的手工記帳和處理的業(yè)務(wù)建成一個(gè)系統(tǒng)，過(guò)一段時(shí)間，如果有新的業(yè)務(wù)推出，就再建設(shè)一個(gè)新的系統(tǒng)，或在原系統(tǒng)的基礎(chǔ)上增加新的業(yè)務(wù)處理。這樣的結(jié)果使每個(gè)系統(tǒng)和系統(tǒng)之間缺少真正的信息溝通和信息交換。2、 為何要建立一數(shù)據(jù)倉(cāng)庫(kù)前面我們講過(guò)，業(yè)務(wù)系統(tǒng)各自為政，相互獨(dú)立。當(dāng)很多業(yè)務(wù)系統(tǒng)建立后，由于領(lǐng)導(dǎo)的要求和決策的需求，需要一些指標(biāo)的分析，在相應(yīng)的業(yè)務(wù)系統(tǒng)基礎(chǔ)上再增加分析和相應(yīng)的報(bào)表功能，這樣每個(gè)系統(tǒng)就增加了報(bào)表和分析功能。但是，由于數(shù)據(jù)源不統(tǒng)一導(dǎo)致了對(duì)同一個(gè)指標(biāo)分析的結(jié)果不相同。為了解決該問(wèn)題，BellInman提出了數(shù)據(jù)倉(cāng)庫(kù)的概念，其目的是為了分析和決策的需要，將相互分離的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源整合在一起，可以為領(lǐng)導(dǎo)和決策層提供分析和輔助決策。3、 國(guó)內(nèi)企業(yè)對(duì)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)認(rèn)識(shí)的誤區(qū)：大家對(duì)數(shù)據(jù)倉(cāng)庫(kù)的認(rèn)識(shí)是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行數(shù)據(jù)抽取、遷移和加載（_ETL），將這些數(shù)據(jù)進(jìn)行整合存放在一起，統(tǒng)一管理，需要什么樣的分析就可提供什么樣的分析，這就是數(shù)據(jù)倉(cāng)庫(kù)。這樣做的結(jié)果是花了一年到兩年的時(shí)間都無(wú)法將整個(gè)企業(yè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)整合在一起，花錢多、見效慢、風(fēng)險(xiǎn)大。一年后領(lǐng)導(dǎo)問(wèn)起數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目時(shí)，回答往往是資金不足，人力不夠，再投入一些資源、或者再延長(zhǎng)半年的時(shí)間就會(huì)見到效果，但是往往半年過(guò)后還是僅僅可以看到十幾張或者幾十張報(bào)表。領(lǐng)導(dǎo)不滿意，項(xiàng)目負(fù)責(zé)人壓力也很大，無(wú)法交待。這時(shí)，項(xiàng)目經(jīng)理或者項(xiàng)目負(fù)責(zé)人才意識(shí)到，項(xiàng)目有問(wèn)題，但是誰(shuí)也不敢說(shuō)項(xiàng)目有問(wèn)題，因?yàn)檫@樣顯然是自己當(dāng)時(shí)的決策失誤。怎么辦？尋找咨詢公司或者一些大的廠商，答案往往是數(shù)據(jù)倉(cāng)庫(kù)缺乏數(shù)據(jù)模型，應(yīng)該考慮數(shù)據(jù)模型。如果建設(shè)時(shí)考慮到整個(gè)企業(yè)的數(shù)據(jù)模型，就可以建設(shè)成企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)（EDW）。什么是數(shù)據(jù)模型，就是滿足整個(gè)企業(yè)分析要求的所有數(shù)據(jù)源。結(jié)果會(huì)如何，我個(gè)人認(rèn)為：這樣做企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)成功的可能性太小。什么是企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)，這是一個(gè)相對(duì)的概念，因?yàn)槠髽I(yè)的業(yè)務(wù)系統(tǒng)會(huì)在不斷的改善和升級(jí)，所以數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)也會(huì)不斷的完善和修改。數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)是一個(gè)過(guò)程，它一定伴隨著企業(yè)新的應(yīng)用和企業(yè)各種各樣新的需求而逐步完成。所以從數(shù)據(jù)整合入手、從企業(yè)級(jí)數(shù)據(jù)模型入手，均會(huì)給企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)帶來(lái)很大的風(fēng)險(xiǎn)。失敗的概率太大了。二、 以應(yīng)用驅(qū)動(dòng)，數(shù)據(jù)倉(cāng)庫(kù)建設(shè)應(yīng)由后向前規(guī)劃前面講了數(shù)據(jù)倉(cāng)庫(kù)建設(shè)從數(shù)據(jù)源入手，先進(jìn)行數(shù)據(jù)整合的方法會(huì)導(dǎo)致失敗，特別是對(duì)信息化建設(shè)比較快而且數(shù)據(jù)量特別大的企業(yè)。這是因?yàn)閿?shù)據(jù)倉(cāng)庫(kù)的理論均是講從企業(yè)級(jí)的數(shù)據(jù)整入手，建立數(shù)據(jù)倉(cāng)庫(kù)。要么是大家對(duì)BellInman的理論由誤解，要么就是數(shù)據(jù)倉(cāng)庫(kù)的祖師爺害了大家。數(shù)據(jù)倉(cāng)庫(kù)到底應(yīng)該怎么建設(shè)?我一貫的主張是應(yīng)用驅(qū)動(dòng)。什么樣的應(yīng)用呢？從企業(yè)績(jī)效管理的角度出發(fā)，一個(gè)企業(yè)最重要的四項(xiàng)關(guān)鍵指標(biāo)為：財(cái)務(wù)指標(biāo)、客戶指標(biāo)、企業(yè)內(nèi)部的流程指標(biāo)和學(xué)習(xí)創(chuàng)新的指標(biāo)。應(yīng)用從那個(gè)開始，應(yīng)考慮企業(yè)的現(xiàn)狀和決策層最關(guān)心的問(wèn)題入手。在一般情況下，老總和董事會(huì)最關(guān)心的問(wèn)題是企業(yè)的財(cái)務(wù)指標(biāo)。其次是內(nèi)部流程和員工績(jī)效考核，再下來(lái)是客戶的信息和決策支持。實(shí)際上在一個(gè)企業(yè)中最先上線的系統(tǒng)也是企業(yè)的財(cái)務(wù)管理和業(yè)務(wù)系統(tǒng)，這樣相對(duì)財(cái)務(wù)分析是最容易實(shí)現(xiàn)的。因?yàn)閿?shù)據(jù)較齊全，最完整，所以分析是較容易實(shí)現(xiàn)的，加之上市公司對(duì)財(cái)務(wù)報(bào)表的要求是最緊迫的。對(duì)財(cái)務(wù)分析從那入手，應(yīng)該分析那些指標(biāo)，這些指標(biāo)通過(guò)什么公式（數(shù)學(xué)模型）計(jì)算，這些模型需要那些數(shù)據(jù)，這些數(shù)據(jù)又來(lái)自于那些業(yè)務(wù)系統(tǒng)，這些數(shù)據(jù)是否在業(yè)務(wù)系統(tǒng)中存在，能否進(jìn)行分析，也就是這些主題的分析是否可行，應(yīng)該先進(jìn)行評(píng)估。這樣從應(yīng)用主題入手，就可以知道需要什么樣的數(shù)據(jù)，來(lái)自那些業(yè)務(wù)系統(tǒng)和數(shù)據(jù)源，這些數(shù)據(jù)的全體進(jìn)行一定的整合，按照分析的要求存儲(chǔ)就組成了一個(gè)數(shù)據(jù)集市（DataMart）。三、 "想大做小”（整體設(shè)計(jì)、分布實(shí)施）為了避免原有業(yè)務(wù)系統(tǒng)相對(duì)獨(dú)立而形成的一個(gè)個(gè)信息孤島，以應(yīng)用驅(qū)動(dòng)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)，往往會(huì)造成新的信息孤島。這是因?yàn)閼?yīng)用往往是部門級(jí)的或者是某一方面的應(yīng)用，不能完全覆蓋企業(yè)級(jí)的所有應(yīng)用。當(dāng)然我們這里不提倡一次建設(shè)企業(yè)級(jí)的應(yīng)用。如何避免這個(gè)問(wèn)題，是我這里著重要要強(qiáng)調(diào)的。這里分兩種情形進(jìn)行設(shè)計(jì)。1、 如果該公司的信息化建設(shè)相對(duì)較晚，或者才開始進(jìn)行信息化建設(shè)，或者原有的業(yè)務(wù)系統(tǒng)已經(jīng)無(wú)法支持現(xiàn)有的業(yè)務(wù)而需要重新改造原有業(yè)務(wù)系統(tǒng)，均應(yīng)該整體設(shè)計(jì)，將各個(gè)系統(tǒng)的數(shù)據(jù)源統(tǒng)一存放管理，有一個(gè)統(tǒng)一的入口和出口。這樣就避免了數(shù)據(jù)源的不統(tǒng)一而會(huì)導(dǎo)致信息孤島，這樣數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)也就無(wú)意義了。因?yàn)槠髽I(yè)級(jí)的數(shù)據(jù)本身就按照業(yè)務(wù)的需求和分析的需求進(jìn)行設(shè)計(jì)和存放管理。在這種情況下要特別注意業(yè)務(wù)系統(tǒng)的安全性和效率問(wèn)題。如何解決該問(wèn)題，最近的網(wǎng)格計(jì)算正是為解決該類問(wèn)題而設(shè)計(jì)的。除了統(tǒng)一數(shù)據(jù)源外，可以根據(jù)企業(yè)的需要，可利用一個(gè)個(gè)小型機(jī)進(jìn)行不同需求的應(yīng)用，OLTP和OLAP可以在不同的服務(wù)器上完成，同時(shí)可以將各個(gè)服務(wù)器的資源共享、時(shí)間任務(wù)優(yōu)化分配。這樣既解決了統(tǒng)一數(shù)據(jù)源的問(wèn)題，又解決了運(yùn)行安全和效率問(wèn)題（Oracle10g就是這種思想）。2、 如果該企業(yè)是一個(gè)信息化建設(shè)較早并且業(yè)務(wù)系統(tǒng)仍在應(yīng)用，現(xiàn)在還需要大量的分析和輔助決策，那么就應(yīng)該建設(shè)數(shù)據(jù)倉(cāng)庫(kù)，最少是數(shù)據(jù)集市。在設(shè)計(jì)時(shí)要考慮到企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)，但是在實(shí)施時(shí)應(yīng)該從企業(yè)最需求的數(shù)據(jù)集市入手，要考慮到該數(shù)據(jù)集市和將來(lái)慢慢一步一步建設(shè)的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)該共享一個(gè)數(shù)據(jù)源。方法步驟如下：第一步、確立好應(yīng)分析的主題（或項(xiàng)目），如客戶關(guān)系管理系統(tǒng)；第二步、設(shè)定研究分析的具體問(wèn)題，如客戶流失率分析，客戶貢獻(xiàn)度分析；第三部、從這些問(wèn)題出發(fā)，考察每個(gè)問(wèn)題應(yīng)使用的模型；第四步、所有模型所需要那些數(shù)據(jù)；將所有分析問(wèn)題所需要的數(shù)據(jù)按照分析的類型進(jìn)行分類存儲(chǔ)，建立數(shù)據(jù)集市。當(dāng)完成這個(gè)項(xiàng)目后，如果需要建設(shè)第二個(gè)應(yīng)用（系統(tǒng)），如資產(chǎn)負(fù)債系統(tǒng)；重復(fù)以上四步，但是在設(shè)計(jì)時(shí)一定要考慮已經(jīng)存在的客戶關(guān)系管理系統(tǒng)，將第二個(gè)應(yīng)用系統(tǒng)和第一個(gè)應(yīng)用系統(tǒng)共有的數(shù)據(jù)要共享，這時(shí)應(yīng)考慮兩個(gè)系統(tǒng)上了以后的效率問(wèn)題。如果存在著效率問(wèn)題，則將第一個(gè)數(shù)據(jù)集市保留，并且做一個(gè)備份作為數(shù)據(jù)倉(cāng)庫(kù)的一部分，將第二個(gè)數(shù)據(jù)集市的數(shù)據(jù)源和第一個(gè)備份的集市進(jìn)行整體合并作為現(xiàn)在企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)。將第二個(gè)數(shù)據(jù)集市單獨(dú)建立，但是數(shù)據(jù)源來(lái)自于共同的數(shù)據(jù)倉(cāng)庫(kù)，這樣既保證了數(shù)據(jù)倉(cāng)庫(kù)的效率，也保證了數(shù)據(jù)源的同一性。這樣一步一步將會(huì)建成企業(yè)級(jí)的數(shù)據(jù)倉(cāng)庫(kù)。四、 三分段的設(shè)計(jì)思想在數(shù)據(jù)倉(cāng)庫(kù)建設(shè)中，我們知道可以將整體的系統(tǒng)化分為三個(gè)大的部分：業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)、分析和展現(xiàn)。隨著時(shí)間的發(fā)展，這三個(gè)部分隨時(shí)都可能發(fā)生變化。比如：業(yè)務(wù)系統(tǒng)要進(jìn)行升級(jí)改造或者重新建立核心業(yè)務(wù)系統(tǒng)，像銀行的第三代；像電信的BOSS系統(tǒng)的改造等等。需求分析也會(huì)隨著時(shí)間的發(fā)展、新的需求會(huì)不斷提出，所以在數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目建設(shè)時(shí)一定要考慮三分段的設(shè)計(jì)思想。什么是三分段的設(shè)計(jì)思想：就是盡量將業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)和分析展現(xiàn)分離設(shè)計(jì)。當(dāng)業(yè)務(wù)系統(tǒng)發(fā)生變化時(shí)，盡量保證數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)不變。如何做到這一點(diǎn)呢，那就需要在數(shù)據(jù)遷移時(shí)使用公式體系，作為數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)計(jì)算的公式，所以當(dāng)業(yè)務(wù)系統(tǒng)發(fā)生變化時(shí)，可以通過(guò)對(duì)應(yīng)關(guān)系將對(duì)應(yīng)重新映射。關(guān)于業(yè)務(wù)系統(tǒng)變化，數(shù)據(jù)倉(cāng)庫(kù)的一些結(jié)構(gòu)必須變化的情形我們下面將討論。同樣，當(dāng)數(shù)據(jù)分析展現(xiàn)的要求發(fā)生變化時(shí)，數(shù)據(jù)倉(cāng)庫(kù)應(yīng)保持相對(duì)的獨(dú)立。這樣數(shù)據(jù)倉(cāng)庫(kù)才能保證有生命力。但是當(dāng)數(shù)據(jù)倉(cāng)庫(kù)不得不發(fā)生變化時(shí)，是否有先進(jìn)的工具可進(jìn)行多維立方體的可和性計(jì)算。也就是業(yè)務(wù)系統(tǒng)發(fā)生變化后，有先進(jìn)的工具保證數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)不發(fā)生變化，僅僅需要進(jìn)行新的立方體計(jì)算、以及和老的立方體合并，而不需要將原數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)全部重新刷新。這樣在大型企業(yè)中非常重要，因?yàn)橥淮螖?shù)據(jù)刷新需要幾天或幾十天的時(shí)間。五、最佳實(shí)施方案前面考慮了數(shù)據(jù)倉(cāng)庫(kù)建設(shè)應(yīng)該整體設(shè)計(jì)、分布實(shí)施；從應(yīng)用出發(fā)，建立數(shù)據(jù)集市；然后將數(shù)據(jù)集市擴(kuò)展為數(shù)據(jù)倉(cāng)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)應(yīng)該注意三分段的結(jié)構(gòu)。數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)是一個(gè)過(guò)程。那么，最重要的問(wèn)題和步驟就是：1、 如何定義主題：在這方面，可以有兩個(gè)辦法：一是企業(yè)急需解決的問(wèn)題，二是借助于同行或者國(guó)外的先進(jìn)經(jīng)驗(yàn)決定主題。對(duì)于第一種情況，也需要借鑒于國(guó)內(nèi)外成熟和先進(jìn)的經(jīng)驗(yàn)。需要了解成熟的主題了在國(guó)際先進(jìn)的企業(yè)內(nèi)成功使用的方案和工具。例如：資產(chǎn)負(fù)債系統(tǒng)、轉(zhuǎn)移定價(jià)、風(fēng)險(xiǎn)管理、客戶關(guān)系管理等。2、 主題設(shè)定后，應(yīng)該分析那些問(wèn)題：這些問(wèn)題也應(yīng)該借鑒于成熟的方案和工具，加上具體的本企業(yè)的需求，這就是客戶化。例如在客戶關(guān)系管理系統(tǒng)中分析：客戶的貢獻(xiàn)度、客戶的流失分析和預(yù)警、客戶的忠誠(chéng)度、前十位帶來(lái)效益的客戶和最后十位帶來(lái)最大損失的客戶等等;這些問(wèn)題應(yīng)該由企業(yè)和解決方案供應(yīng)商共同討論決定。3、 這些問(wèn)題應(yīng)該如何定義，也就是模型或者計(jì)算公式是什么：當(dāng)定義了這些問(wèn)題后，公式該如何定義，很多的公式是標(biāo)準(zhǔn)的，可以應(yīng)用公認(rèn)的標(biāo)準(zhǔn)公式，對(duì)于其他非標(biāo)準(zhǔn)的公式，應(yīng)該借鑒國(guó)際上先進(jìn)的企業(yè)使用的公式和模型。在方案供應(yīng)商是否有現(xiàn)成的工具和方案，不僅僅是方案，還應(yīng)該有現(xiàn)成的可以靈活客戶化的工具或產(chǎn)品。4、 當(dāng)定義完公式后，數(shù)據(jù)結(jié)構(gòu)應(yīng)如何設(shè)計(jì)：首先要考慮公式中的數(shù)據(jù)是否在業(yè)務(wù)系統(tǒng)或者其他的系統(tǒng)中存在，如果不存在，該如何解決？如果存在，在那個(gè)系統(tǒng)中，如何抽取、整理和加載。數(shù)據(jù)應(yīng)該以什么樣的結(jié)構(gòu)進(jìn)行存儲(chǔ)和管理。源數(shù)據(jù)該如何設(shè)計(jì)？在這方面如果有成熟的工具和產(chǎn)品，將對(duì)項(xiàng)目的成功帶來(lái)了多半的希望。數(shù)據(jù)的存儲(chǔ)一定要考慮到業(yè)務(wù)系統(tǒng)的變化帶來(lái)的數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)的變化，一般也要考慮到五年存儲(chǔ)的數(shù)據(jù)，當(dāng)?shù)诹甑臄?shù)據(jù)導(dǎo)入時(shí)，需要將五年前的一年數(shù)據(jù)遷移到磁盤陣列或其他的存儲(chǔ)設(shè)備時(shí)，如何將多維立方體分割。要考慮如何將新的業(yè)務(wù)數(shù)據(jù)增加到數(shù)據(jù)倉(cāng)庫(kù)時(shí)多維立方體的可和性。5、 當(dāng)解決了數(shù)據(jù)的存儲(chǔ)和管理后，數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用該如何展現(xiàn)：展現(xiàn)是使用者十分關(guān)注的問(wèn)題，展現(xiàn)的易用性、直觀性和靈活性是十分重要的，可以采用流覽器方式，報(bào)表、圖形和多維展現(xiàn)或動(dòng)畫。但是一定要注意速度和效率。6、 展現(xiàn)確定后，速度效率如何提高：對(duì)于一個(gè)非常重要的報(bào)表，例如：現(xiàn)金流、資產(chǎn)負(fù)債表和損益表，企業(yè)的三、四位老總可能非常關(guān)心，每天或者季度初的第一天早上上班先要察看該報(bào)表的結(jié)果，第一個(gè)老總很快看到了結(jié)果，但是第二個(gè)、第三個(gè)需要三十秒、一分鐘的時(shí)間哪就無(wú)法忍受。所以系統(tǒng)一定要考慮做壓力測(cè)試，采用好的解決方案。如將常用的報(bào)表做上幾個(gè)備份，或者多開上幾個(gè)監(jiān)聽器。為了提高效率，數(shù)據(jù)的存儲(chǔ)結(jié)構(gòu)是十分重要的，比如對(duì)離散數(shù)據(jù)可以進(jìn)行轉(zhuǎn)置存儲(chǔ)、對(duì)于一年都很少改變幾次的數(shù)據(jù)，如信貸數(shù)據(jù)，可以采取時(shí)間壓縮的方法等等。7、 硬件如何配置，才能保證安全性、效率問(wèn)題得到圓滿的解決：考