數(shù)據(jù)倉庫建模

1、背景介紹熟悉社保行業(yè)的讀者可以知道，目前我們國家的社保主要分為養(yǎng)老，失業(yè)，工傷，生育，醫(yī)療保險和勞動力市場這6大塊主要業(yè)務(wù)領(lǐng)域。在這6大業(yè)務(wù)領(lǐng)域中，目前的狀況養(yǎng)老和事業(yè)的系統(tǒng)已經(jīng)基本完善，已經(jīng)有一部分數(shù)據(jù)開始聯(lián)網(wǎng)檢測。而，對于工傷，生育，醫(yī)療和勞動力市場這一塊業(yè)務(wù)，有些地方發(fā)展的比較成熟，而有些地方還不夠成熟。業(yè)務(wù)建模階段基于以上的背景介紹，我們在業(yè)務(wù)建模階段，就很容易來劃分相應(yīng)的業(yè)務(wù)。因此，在業(yè)務(wù)建模階段，我們基本上確定我們本次數(shù)據(jù)倉庫建設(shè)的目標，建設(shè)的方法，以及長遠規(guī)劃等。如下圖：圖8.業(yè)務(wù)建模階段在這里，我們將整個業(yè)務(wù)很清楚地劃分成了幾個大的業(yè)務(wù)主線，例如：養(yǎng)老，失業(yè)，工傷，生育，醫(yī)療，

2、勞動力等著幾個大的部分，然后我們可以根據(jù)這些大的模塊，在每個業(yè)務(wù)主線內(nèi)，考慮具體的業(yè)務(wù)主線內(nèi)需要分析的業(yè)務(wù)主題。因此，業(yè)務(wù)建模階段其實是一次和業(yè)務(wù)人員梳理業(yè)務(wù)的過程，在這個過程中，不僅能幫助我們技術(shù)人員更好的理解業(yè)務(wù)，另一方面，也能夠發(fā)現(xiàn)業(yè)務(wù)流程中的一些不合理的環(huán)節(jié)，加以改善和改進。同時，業(yè)務(wù)建模階段的另一個重要工作就是確定我們數(shù)據(jù)建模的范圍，例如：在某些數(shù)據(jù)準備不夠充分的業(yè)務(wù)模塊內(nèi)，我們可以考慮先不建設(shè)相應(yīng)的數(shù)據(jù)模型。等到條件充分成熟的情況下，我們可以再來考慮數(shù)據(jù)建模的問題。領(lǐng)域概念建模階段領(lǐng)域概念建模階段是數(shù)據(jù)倉庫數(shù)據(jù)建模的一個重要階段，由于我們在業(yè)務(wù)建模階段已經(jīng)完全理清相應(yīng)的業(yè)務(wù)范圍和流

3、程，因此，我們在這個領(lǐng)域概念建模階段的最主要的工作就是進行概念的抽象，整個領(lǐng)域概念建模的工作層次如下圖所示：個人領(lǐng)域嘅念產(chǎn)品事件實依說明個人醫(yī)療保險征繳個人職業(yè)培訓計劃事殍業(yè)務(wù)主銭劃分拒辣方法具嫁業(yè)務(wù)模扳勞動力部門醫(yī)捉部門養(yǎng)老部門參與方說明公司一次征繳逢辦機構(gòu)養(yǎng)老保險1醫(yī)療慄險勞動者培訓時間圖9.領(lǐng)域概念建模階段從上圖我們可以清楚地看到，領(lǐng)域概念建模就是運用了實體建模法，從紛繁的業(yè)務(wù)表象背后通過實體建模法，抽象出實體，事件，說明等抽象的實體，從而找出業(yè)務(wù)表象后抽象實體間的相互的關(guān)聯(lián)性，保證了我們數(shù)據(jù)倉庫數(shù)據(jù)按照數(shù)據(jù)模型所能達到的一致性和關(guān)聯(lián)性。從圖上看，我們可以把整個抽象過程分為四個層次，分別

4、為：抽象方法層，整個數(shù)據(jù)模型的核心方法，領(lǐng)域概念建模的實體的劃分通過這種抽象方法來實現(xiàn)。領(lǐng)域概念層，這是我們整個數(shù)據(jù)模型的核心部分，因為不同程度的抽象方法，決定了我們領(lǐng)域概念的不同。例如：在這里，我們可以使用“參與方”這個概念，同時，你也可以把他分成三個概念：“個人”，“公司”，和“經(jīng)辦機構(gòu)”這三個概念。而我們在構(gòu)建自己的模型的時候，可以參考業(yè)務(wù)的狀況以及我們自己模型的需要，選擇抽象程度高的概念或者是抽象程度低的概念。相對來說，抽象程度高的概念，理解起來較為復雜，需要專業(yè)的建模專家才能理解，而抽象程度低的概念，較適合于一般業(yè)務(wù)人員的理解，使用起來比較方便。筆者在這里建議讀者可以選用抽象概念較低

5、的實體，以方便業(yè)務(wù)人員和技術(shù)人員之間的交流和溝通。具體業(yè)務(wù)層，主要是解決具體的業(yè)務(wù)問題，從這張圖我們可以看出，具體的業(yè)務(wù)層，其實只是領(lǐng)域概念模型中實體之間的一些不同組合而已。因此，完整的數(shù)據(jù)倉庫的數(shù)據(jù)模型應(yīng)該能夠相應(yīng)靈活多變的前端業(yè)務(wù)的需求，而其本身的模型架構(gòu)具有很強的靈活性。這也是數(shù)據(jù)倉庫模型所具備的功能之一。業(yè)務(wù)主線層，這個層次主要劃分大的業(yè)務(wù)領(lǐng)域，一般在業(yè)務(wù)建模階段即已經(jīng)完成這方面的劃分。我們一般通過這種大的業(yè)務(wù)主線來劃分整個業(yè)務(wù)模型大的框架。通過領(lǐng)域概念建模，數(shù)據(jù)倉庫的模型已經(jīng)被抽象成一個個的實體，模型的框架已經(jīng)搭建完畢，下面的工作就是給這些框架注入有效的肌體。邏輯建模階段通過領(lǐng)域概念

6、建模之后，雖然模型的框架已經(jīng)完成，但是還有很多細致的工作需要完成。一般在這個階段，我們還需要做非常多的工作，主要包括：實例話每一個抽象的實體，例如：在上面的概念模型之后，我們需要對“人”和“公司”等這些抽象實體進行實例化。主要是，我們需要考慮“人”的屬性包括那些，在業(yè)務(wù)模塊中，用到的所有跟“人”相關(guān)的屬性是哪些，我們都需要將這些屬性附著在我們數(shù)據(jù)模型的“人”這個實體上，例如“人”得年齡，性別，受教育程度等等。同理，我們對其他屬性同樣需要做這個工作。找出抽象實體間的聯(lián)系，并將其實例話。這里，我們主要考慮是“事件”這個抽象概念的實例話，例如：對于養(yǎng)老金征繳這個“事件”的屬性得考慮，對于失業(yè)勞動者培

7、訓這個“事件”的屬性得考找出抽象事件的關(guān)系，并對其進行說明。在這里我們主要是要針對“事件”進行完善的“說明”。例如：對于“事件”中的地域，事件等因素的考量等等?？偠灾?，在邏輯建模階段，我們主要考慮得是抽象實體的一些細致的屬性。通過邏輯建模階段，我們才能夠?qū)⒄麄€概念模型完整串聯(lián)成一個有機的實體，才能夠完整的表達出業(yè)務(wù)之間的關(guān)聯(lián)性。在這個階段，筆者建議大家可以參考3NF的建模方法，表達出實體的屬性，以及實體與實體之間的聯(lián)系。例如：在這個階段，我們可以通過采用ERWIN等建模工具等作出符合3NF的關(guān)系型數(shù)據(jù)模型來。物理建模階段物理建模階段是整個數(shù)據(jù)建模的最后一個過程，這個過程其實是將前面的邏輯數(shù)據(jù)模型落地的一個過程?？紤]到數(shù)據(jù)倉庫平臺的不同，因此，數(shù)據(jù)模型得物理建模過程可能會稍微有一些不同，在這個階段我們主要的工作是：生成創(chuàng)建表的腳本。不同的數(shù)據(jù)倉庫平臺可能生成不同的腳本。針對不同的數(shù)據(jù)倉庫平臺，進行一些相應(yīng)的優(yōu)化工作，例如對于DB2數(shù)據(jù)倉庫來說，創(chuàng)建一些MQT表，來加速報表的生成等等。針對數(shù)據(jù)集市的需要，按照維度建模