IBM數(shù)據(jù)倉庫解決方案(簡)

1、1.1技術架構設計成功地實施一個倉庫項目，通常需要很長的時間。如果僅僅著眼于短期成果，缺乏整體考慮， 采用一種不健全的體系結構，不僅會增加系統(tǒng)開發(fā)和維護成本，而且必將對發(fā)揮數(shù)據(jù)倉庫的作用造成不利的影響。因此一個綜合，清晰的遠景規(guī)劃及技術實施藍圖將在整個項目的實施過程中起到重要作用。技術架構必須具有高度先進性和可擴展性，以滿足業(yè)務需求的不斷變化。一個完整的數(shù)據(jù)倉庫系統(tǒng)包括數(shù)據(jù)源、數(shù)據(jù)轉換區(qū)、數(shù)據(jù)倉庫、數(shù)據(jù)集市、和數(shù)據(jù)展現(xiàn)層，通過數(shù)據(jù)倉庫不同層次之間的加工過程，實現(xiàn)財政從數(shù)據(jù)資產(chǎn)向信息資產(chǎn)的轉化過程。在不同層次之間的數(shù)據(jù)加工過程需要通過ETL 技術實現(xiàn)，并對整個過程進行有效的元數(shù)據(jù)管理?；趯π枨?/p>

2、的理解，基于財政部的信息系統(tǒng)框架模型基礎之上的財政決策支持系統(tǒng)技術架構如下圖所示：元數(shù)據(jù)管理交付件、建模工具源數(shù)據(jù)抽取、清理操作型數(shù)據(jù)轉換多維數(shù)據(jù)應用國地稅征收系統(tǒng)非稅征收管理系統(tǒng)農(nóng)稅征收管理系統(tǒng)人行國庫E 財預算編制系統(tǒng)預算管理系統(tǒng)ETL數(shù)據(jù)倉庫裝載數(shù)據(jù)集市裝載Cube 裝載預算執(zhí)行數(shù)據(jù)倉庫數(shù)據(jù)集市分析接口ROLAP文件區(qū)匯總數(shù)據(jù)支出績效SSASOR用來準備 Cube關系型文分析/inb（細節(jié)數(shù)據(jù)暫存）（ DW 細節(jié)數(shù)據(jù)）多維立方體件緩/arcMOLAP沖數(shù)據(jù)結構/log用來準備 SORCube區(qū)獨立于各數(shù)據(jù)源反饋數(shù)據(jù)收入統(tǒng)計多維立方體/wrk數(shù)據(jù)挖掘結果分析/outEUL(最終用戶層)資產(chǎn)

3、管理MDR報表 /KPI 存儲分析（元數(shù)據(jù)存儲）業(yè)務元數(shù)據(jù)、技術元數(shù)據(jù)迭代開發(fā) 需求變更、功能增長、數(shù)據(jù)增加系統(tǒng)管理和維護 安全、備份、災難恢復IT基礎設施 軟硬件平臺如上圖所示意， 通過搭建靈活的、可擴展技術架構，在保持數(shù)據(jù)集市穩(wěn)定性的同時，可以不斷增加數(shù)據(jù)源，增加應用數(shù)據(jù)層、增加應用層， 滿足不斷增加的業(yè)務分析應用需求。采用 DW+ODS的數(shù)據(jù)倉庫體系結構，使用全新的ETL 模式對 ODS進程每日數(shù)據(jù)更新，按周或月周期對數(shù)據(jù)倉庫執(zhí)行ETL 過程。使用COGNOSBI 做為前端的查詢分析和數(shù)據(jù)挖掘工具，可滿足各種日常數(shù)據(jù)處理操作，從即時簡單報表查詢到多維多級數(shù)據(jù)分析和挖掘，都能夠在統(tǒng)一COG

4、NOS BI平臺上完成。數(shù)據(jù)源和數(shù)據(jù)接口數(shù)據(jù)源指存儲于財政各個業(yè)務系統(tǒng)的業(yè)務數(shù)據(jù)，以及未來的財政監(jiān)管和外部數(shù)據(jù)。數(shù)據(jù)倉庫系統(tǒng)將整合來自于這些系統(tǒng)的數(shù)據(jù)，形成財政統(tǒng)一的、一致的基礎數(shù)據(jù)集，并提供給不同的應用主題形成數(shù)據(jù)集市。各個系統(tǒng)在體系架構、開發(fā)平臺、數(shù)據(jù)定義、接口標準都會存在不同程度的差異； 另外由于業(yè)務的不斷變化， 歷史數(shù)據(jù)與當前數(shù)據(jù)之間的含義也可能存在不同， 因此數(shù)據(jù)整合必須充分考慮源系統(tǒng)在技術和數(shù)據(jù)方面存在的差異。數(shù)據(jù)倉庫系統(tǒng)將采用文本文件的方式從源系統(tǒng)獲取數(shù)據(jù)。每個源系統(tǒng)會就與數(shù)據(jù)倉庫之間就傳輸數(shù)據(jù)接口文件（IFF ）的格式和方法制定標準，稱之為接口規(guī)范。每個數(shù)據(jù)源會首先通過各自的數(shù)

5、據(jù)導出程序（ Extractor ）生成接口文件存儲在各自的文件緩沖區(qū)內(nèi)。這個Extractor負責各自范圍內(nèi)導出數(shù)據(jù)的完備性和一致性，包括：1）依照各自的業(yè)務規(guī)則確定增量數(shù)據(jù)的導出方法2）保證導出文件的格式符合接口規(guī)范的要求3）保證導出文件的傳輸時間的及時性4）保證接口文件的數(shù)據(jù)質量，不錯數(shù)、不丟數(shù)、不多數(shù)財政數(shù)據(jù)倉庫財政數(shù)據(jù)倉庫（EDW ），存儲和管理來自源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)，按照數(shù)據(jù)模型分主題進行組織和存放，包括當期的和較長時間的歷史數(shù)據(jù)。數(shù)據(jù)倉庫的核心是企業(yè)級數(shù)據(jù)模型的規(guī)劃和設計，是所有應用的基礎。接下來我們分別對EDW每個數(shù)據(jù)區(qū)域做詳細介紹。1）接口文件區(qū)接口文件區(qū)是存儲和處理接口文件的

6、區(qū)域，如前面章節(jié)所述，接口文件區(qū)在系統(tǒng)下按照特定的目錄結構組織起來。用一些系統(tǒng)命令和工具來管理。對每個目錄按照其特定的用途設定對不同用戶的訪問權限，比如誰能讀，誰能寫，誰能改等。2）細節(jié)數(shù)據(jù)暫存區(qū)SSA（ SOR Staging Area）SSA 的主要目的是支持把接口文件的裝載到數(shù)據(jù)庫，對其進行驗證和處理，然后把數(shù)據(jù)整合到 SOR內(nèi)。驗證的方法主要是將新轉載的數(shù)據(jù)與 SOR內(nèi)已有的數(shù)據(jù)進行查找和比較。 SSA 內(nèi)數(shù)據(jù)結構的設計原則是最大限度的利用接口文件的數(shù)據(jù)結構，盡量降低實體的個數(shù)，同時很好的支持后續(xù)的 ETL 過程。3）細節(jié)數(shù)據(jù)SOR（ System Of Record）SOR 是基于模

7、型開發(fā)的一套符合3NF 范式規(guī)范的表結構。SOR 存儲了數(shù)據(jù)倉庫內(nèi)最細節(jié)層次的數(shù)據(jù)，按照不同的主題域進一步分分類組織。此模型是整個數(shù)據(jù)倉庫數(shù)據(jù)模型的核心，其設計為具有足夠的靈活性，以能夠應對添加更多的數(shù)據(jù)源，支持更多分析需求，同時也能夠支持進一步升級和更新。為了能夠在數(shù)據(jù)倉庫內(nèi)記錄數(shù)據(jù)的變化以支持歷史趨勢和變化分析，SOR 在一些 關鍵的屬性值上會跟蹤變化（比如客戶的信用度、狀態(tài)等）。跟蹤變化的常見方法就是利用漸變維的Type2 方法來處理記錄，在表內(nèi)增加一條記錄變化數(shù)據(jù)的新記錄。同時為了降低不必要的存儲空間的浪費（相同數(shù)據(jù)的重復存儲），我們可以把實體中動態(tài)變化的屬性與靜態(tài)不變或只需覆蓋不需跟

8、蹤變化的屬性分開。比如對用戶，我們可以用一張表存放不變化的用戶靜態(tài)屬性，用另一張表存放經(jīng)常變化的用戶行為屬性，當跟蹤用戶行為的變化時我們只需在用戶行為表內(nèi)添加記錄就行了，沒必要把沒有發(fā)生變化的用戶靜態(tài)表內(nèi)的數(shù)據(jù)也復制一份。4）匯總數(shù)據(jù)區(qū)Summary匯總數(shù)據(jù)區(qū)是為了方便查詢和后續(xù)多維數(shù)據(jù)的更新，創(chuàng)建一些常用的中間匯總表，以提高性能和降低后續(xù)ETL 工作的復雜性。由于SOR 是高度規(guī)范化的數(shù)據(jù)，因此要完成一個查詢需要大量的關聯(lián)操作；同時數(shù)據(jù)集市中的數(shù)據(jù)粒度往往要比SOR 高很多，對要成生數(shù)據(jù)集市所需數(shù)據(jù)也需要大量的匯總計算，因此如果我們把常用的數(shù)據(jù)預先關聯(lián)和匯總好，并讓其盡量多在多個數(shù)據(jù)集市的計

9、算中共享，就能大幅度的提高整個ETL 工作和數(shù)據(jù)倉庫查詢的性能。5）反饋數(shù)據(jù)區(qū)（Feedback Area ）反饋數(shù)據(jù)區(qū)主要記錄的是數(shù)據(jù)倉庫自身生成的結果。比如用戶對營銷活動的反饋等。數(shù)據(jù)倉庫的特性決定了用戶在原則上不能直接修改數(shù)據(jù)倉庫中的數(shù)據(jù)，因此用戶的修改數(shù)據(jù)和其它生成數(shù)據(jù)必須單獨記錄，以便于追蹤歷史和進行比較。6）元數(shù)據(jù)存儲MDR（ Meta Data Repository）元數(shù)據(jù)存儲用來保存關于數(shù)據(jù)倉庫中的過程、數(shù)據(jù)的信息（日志、數(shù)據(jù)詞典、配置信息等）。由于各個工具和系統(tǒng)都會生成自己的元數(shù)據(jù)，同時我們還利用元數(shù)據(jù)管理工具把這些元數(shù)據(jù)盡可能的集中存儲到數(shù)據(jù)倉庫中的MDR內(nèi)，因此 MDR

10、總的來說只是一個共享元數(shù)據(jù)供用戶集中訪問的地方，真正元數(shù)據(jù)的維護地還是在生成這些元數(shù)據(jù)的系統(tǒng)或工具內(nèi)。數(shù)據(jù)集市數(shù)據(jù)集市設計用途是要滿足特定的目的，同時具有查詢、多維分析、 報表和數(shù)據(jù)挖掘功能。這與企業(yè)數(shù)據(jù)倉庫截然不同，設計時企業(yè)數(shù)據(jù)倉庫在信息內(nèi)容與結構方面盡可能擁有開放性與靈活性。數(shù)據(jù)集市有以下特征：為特定用途而設計數(shù)據(jù)集市設計的目的，是支持特定用戶對數(shù)據(jù)子集的特定范圍的查詢。它以用戶所要求的方式提供企業(yè)數(shù)據(jù)倉庫的細節(jié)匯總。優(yōu)化 數(shù)據(jù)集市為了支持特定工具的訪問而優(yōu)化。根據(jù)工具、根據(jù)企業(yè)數(shù)據(jù)倉庫提供的信息子集來設計數(shù)據(jù)集市，而不是讓用戶直接訪問企業(yè)數(shù)據(jù)倉庫中的大型數(shù)據(jù)庫，這可以改善數(shù)據(jù)集市的性能

11、。虛擬或物理數(shù)據(jù)集市 數(shù)據(jù)集市可以是物理的實現(xiàn)，也可以是企業(yè)數(shù)據(jù)倉庫表的各種視圖。使用視圖（虛擬數(shù)據(jù)集市）可以避免存儲數(shù)據(jù)的多個副本，簡化了數(shù)據(jù)管理。數(shù)據(jù)集市，即Data Mart，指面向專項應用領域的分析主題。Data Mart即是通過OLAP技術或者數(shù)據(jù)挖掘技術，利用數(shù)據(jù)倉庫的數(shù)據(jù)根據(jù)用戶需求建立的數(shù)據(jù)集市模型，大大提高了前端查詢訪問的效率，用戶能方便地實現(xiàn)靈活、動態(tài)、快速、多角度、多層次地分析企業(yè)數(shù)據(jù)。同時，也可以通過定制靈活的OLTP查詢來了解明細數(shù)據(jù)。數(shù)據(jù)的抽取、轉換、加載（ETL ）數(shù)據(jù)倉庫的數(shù)據(jù)來源于業(yè)務處理系統(tǒng)，但是數(shù)據(jù)倉庫的數(shù)據(jù)并不是對源系統(tǒng)數(shù)據(jù)的簡單疊加，它需要按照數(shù)據(jù)倉庫

12、的邏輯模型和物理模型，在源系統(tǒng)數(shù)據(jù)分析的基礎上，按照源系統(tǒng)數(shù)據(jù)和數(shù)據(jù)倉庫數(shù)據(jù)之間的映射關系，經(jīng)過數(shù)據(jù)的抽取 (Extraction)、轉換(Transformation)和加載 (Loading) 等環(huán)節(jié)方可進入數(shù)據(jù)倉庫，這個過程簡稱為ETL 處理。數(shù)據(jù)經(jīng)過數(shù)據(jù)抽取、轉換和加載處理進入數(shù)據(jù)倉庫的整個過程可以簡稱為ETL 過程。 ETL 是搭建數(shù)據(jù)倉庫數(shù)據(jù)平臺的基礎，也是保證數(shù)據(jù)倉庫的數(shù)據(jù)質量的具體實現(xiàn)。根據(jù)基于數(shù)據(jù)倉庫項目開發(fā)的經(jīng)驗，在大多數(shù)據(jù)倉庫的實施過程當中，ETL 都是一個非常復雜、耗時的過程，其工作量約占整個數(shù)據(jù)倉庫項目的40-50%，占數(shù)據(jù)倉庫設計階段工作量的 70-80%，有許多原

13、因影響這一階段的時間和進度。比如對原有業(yè)務系統(tǒng)和舊的操作環(huán)境的了解有限，原系統(tǒng)文檔不全等。因為這些原因， 使 ETL 任務花了許多時間在了解舊的業(yè)務應用以及如何抽取數(shù)據(jù)上。ETL 實施困難另一個原因是原有的系統(tǒng)平臺沒有足夠的容量/ 系統(tǒng)資源來支持數(shù)據(jù)抽取處理，系統(tǒng)資源不足可能表現(xiàn)為：CPU、磁盤空間、 I/O 帶寬或沒有一個有效的窗口去運行抽取、轉換程序。ETL 過程不僅工作量大，而且還受到很多時間窗口的限制，它不僅需要在不同的特定（非確定） 的時間抽取數(shù)據(jù)，而且還必須要在特定的時間范圍內(nèi)把數(shù)據(jù)加載到數(shù)據(jù)倉庫。由于ETL 過程是數(shù)據(jù)倉庫應用系統(tǒng)每天都要進行的工作，ETL 設計的科學性和效率性是

14、非常重要的，關系到數(shù)據(jù)倉庫項目的成敗。ETL 遵循如下設計原則：靈活性：不同的時間段中能夠進行數(shù)據(jù)獲取、轉換、裝載?？芍貜托裕褐С质〉腅TL 任務行數(shù)據(jù)重新裝載。模塊化： ETL 過程分步實施，每個過程通過不同的模塊組件來完成。并盡可能復用這些組件；從而提高ETL 實施效率，增加數(shù)據(jù)倉庫的可維護性。迭代方法：滿足當前的業(yè)務需求，盡可能搭建滿足未來的業(yè)務需求的平臺上不斷開發(fā)實施。ETL 邏輯順序：依賴業(yè)務系統(tǒng)數(shù)據(jù)處理方式，來定義ETL 處理流程控制。例如：在銀行的ETL 過程中，交易記錄信息的數(shù)據(jù)裝載應該在賬戶信息進入數(shù)據(jù)倉庫之后進行。第一步：數(shù)據(jù)抽取在源系統(tǒng)上啟動數(shù)據(jù)抽取控制程序，完成以下工

15、作：1、數(shù)據(jù)采集考慮到數(shù)據(jù)來源的多樣性和復雜性，數(shù)據(jù)采集主要包括：對業(yè)務系統(tǒng)的數(shù)據(jù)采集：在日終結后，當日數(shù)據(jù)自動、增量地轉儲到數(shù)據(jù)備份機上，作為數(shù)據(jù)倉庫的數(shù)據(jù)源并成為數(shù)據(jù)備份策略的一部分。對于稅收計劃、外部數(shù)據(jù)、納稅人財務報表的數(shù)據(jù)采集?？筛鶕?jù)實際需要，采用多種途徑。2、數(shù)據(jù)發(fā)送在數(shù)據(jù)采集完成后，各系統(tǒng)上的抽取控制程序將數(shù)據(jù)文件和校驗文件通過局域網(wǎng)發(fā)送到數(shù)據(jù)轉換區(qū)。第二步：數(shù)據(jù)裝入轉換區(qū)1. 檢查數(shù)據(jù)是否到位根據(jù)校驗文件，檢查源系統(tǒng)數(shù)據(jù)是否到位、是否存在傳輸錯誤等異常情況。如果數(shù)據(jù)不全或傳輸出現(xiàn)錯誤，如果出錯，將出錯結果寫入錯誤日志，重新執(zhí)行第一步。2. 將外部數(shù)據(jù)文件裝入數(shù)據(jù)庫把來自外部源數(shù)

16、據(jù)源的格式化數(shù)據(jù)轉化成數(shù)據(jù)庫、表結構。3. 修改系統(tǒng)狀態(tài)：待該步驟工作完成后，將系統(tǒng)狀態(tài)改為抽取工作完成。注：若直接從業(yè)務系統(tǒng)數(shù)據(jù)庫中抽取數(shù)據(jù)，則無須數(shù)據(jù)轉換區(qū)步驟。第三步：數(shù)據(jù)質量檢查和出錯處理1. 狀態(tài)檢查：查詢參數(shù)表，如果數(shù)據(jù)抽取工作已經(jīng)完成，開始執(zhí)行該步驟工作。2. 數(shù)據(jù)質量檢查：根據(jù)檢查規(guī)則，數(shù)據(jù)質量檢查程序掃描源數(shù)據(jù)數(shù)據(jù)表，根據(jù)規(guī)則檢查數(shù)據(jù)是否合法，給出檢查報告和最終的數(shù)據(jù)質量報告并寫入數(shù)據(jù)庫，數(shù)據(jù)質量檢查結果寫入質量檢查報告。3. 出錯處理：如果出現(xiàn)嚴重出錯，停止 ETL 工作，需要系統(tǒng)維護人員現(xiàn)場做出相應的處理，修改正確后，重新執(zhí)行該步驟工作；對于警告級出錯，繼續(xù)進行下述步驟。

17、4. 修改系統(tǒng)狀態(tài)：待該步驟工作完成后，將系統(tǒng)狀態(tài)改為數(shù)據(jù)質量檢查工作完成。第四步：數(shù)據(jù)轉換1、狀態(tài)檢查查詢參數(shù)表，如果數(shù)據(jù)質量檢查工作已經(jīng)完成，開始執(zhí)行該步工作。2、數(shù)據(jù)轉換根據(jù)數(shù)據(jù)倉庫要求的數(shù)據(jù)源格式在Staging Area中進行并行轉換處理，并將轉換的結果數(shù)據(jù)存放在待裝載數(shù)據(jù)存放區(qū)。3、生成轉換報告記錄數(shù)據(jù)轉換情況，并寫入數(shù)據(jù)庫轉換日志中。4、修改系統(tǒng)狀態(tài)：待該步驟工作完成后，將系統(tǒng)狀態(tài)改為數(shù)據(jù)轉換工作完成。第五步：數(shù)據(jù)加載1、狀態(tài)檢查查詢參數(shù)表，如果數(shù)據(jù)質量檢查工作已經(jīng)完成，開始執(zhí)行該步驟工作。2、數(shù)據(jù)裝入數(shù)據(jù)倉庫采用非依賴數(shù)據(jù)并行加載的策略，將待裝載數(shù)據(jù)區(qū)的數(shù)據(jù)裝入中心數(shù)據(jù)倉庫，如

18、果標準代碼表發(fā)生變化，數(shù)據(jù)裝載程序將標準代碼的變化情況增量加載到數(shù)據(jù)倉庫代碼表中。3、數(shù)據(jù)加載情況報告記錄數(shù)據(jù)加載情況，并寫入數(shù)據(jù)倉庫數(shù)據(jù)庫的參數(shù)表中。4、修改系統(tǒng)狀態(tài)：待該步驟工作完成后，將系統(tǒng)狀態(tài)改為數(shù)據(jù)轉換工作完成。第六步：加載時間維1. 狀態(tài)檢查查詢參數(shù)表，如果數(shù)據(jù)加載工作已經(jīng)完成，開始執(zhí)行該步驟工作。2. 加載時間維根據(jù)當前的時間，依據(jù)數(shù)據(jù)集市多維模型，完成時間維的加載工作。3. 修改系統(tǒng)狀態(tài)：待該步驟工作完成后，將系統(tǒng)狀態(tài)改為時間維加載工作完成。第七步：加載事實表1. 狀態(tài)檢查查詢參數(shù)表，如果時間維加載工作已經(jīng)完成，開始執(zhí)行該步驟工作。2. 加載事實表以數(shù)據(jù)倉庫數(shù)據(jù)為數(shù)據(jù)源，依據(jù)數(shù)

19、據(jù)集市多維模型，完成事實表的加載工作。3. 修改系統(tǒng)狀態(tài)：待該步驟工作完成后，將系統(tǒng)狀態(tài)改為事實表加載工作完成。第八步：加載聚合表1. 狀態(tài)檢查查詢參數(shù)表，如果事實表加載工作已經(jīng)完成，開始執(zhí)行該步驟工作。2. 加載聚合表以事實表為數(shù)據(jù)源，依據(jù)數(shù)據(jù)集市多維模型，完成聚合表的加載工作。3. 修改系統(tǒng)狀態(tài)：待該步驟工作完成后，將系統(tǒng)狀態(tài)改為ETL 工作結束。數(shù)據(jù)展現(xiàn)數(shù)據(jù)訪問及展現(xiàn)是通過信息門戶，將各類數(shù)據(jù)集市應用通過統(tǒng)一的平臺展現(xiàn)給財政各類用戶。同時提供數(shù)據(jù)分析結果的表達、共享與傳遞的功能，是信息服務的主要界面，主要包括信息展現(xiàn)與人機交互、信息發(fā)布等。本次的展現(xiàn)選擇* 的報表分析平臺，詳細功能見附件

20、一。1.2數(shù)據(jù)架構設計數(shù)據(jù)倉庫的體系結構包括4 個層次的數(shù)據(jù)：數(shù)據(jù)源、數(shù)據(jù)倉庫層和數(shù)據(jù)集市層。1）數(shù)據(jù)源（業(yè)務系統(tǒng)）包含面向操作應用的原始數(shù)據(jù)以及外部錄入數(shù)據(jù)，主要服務于高性能的事務處理。2）數(shù)據(jù)倉庫層（包括 ODS和 DW ）存儲企業(yè)的歷史數(shù)據(jù)，其數(shù)據(jù)是規(guī)范的、穩(wěn)定的。i. 數(shù)據(jù)倉庫包含當前數(shù)據(jù)、綜合數(shù)據(jù)、歷史數(shù)據(jù)的組織和整理。通過數(shù)據(jù)抽取平臺獲取的各業(yè)務數(shù)據(jù)，從邏輯上和業(yè)務上是獨立的、分散的，要實現(xiàn)一體化的查詢功能，必須對分散的業(yè)務數(shù)據(jù)進行抽取和整合。如將分散的單位基礎信息、預算數(shù)據(jù)、支出數(shù)據(jù)通過一定的策略，整理形成一套編碼統(tǒng)一、業(yè)務連貫的數(shù)據(jù)體系，這是一體化查詢系統(tǒng)成功的關鍵。3）數(shù)據(jù)集

21、市層（包括 Relational Data Mart和 Star-Schema Data Mart和OLAP ）是面向部門的、滿足最終用戶需求的數(shù)據(jù)，數(shù)據(jù)集市中的數(shù)據(jù)是反規(guī)范的、匯總的。數(shù)據(jù)整理平臺基于各業(yè)務數(shù)據(jù)，可以根據(jù)不同的用戶查詢需求，定制數(shù)據(jù)整理策略。根據(jù)查詢角度的不同，按決策的主題要求形成當前的基本數(shù)據(jù)層，按綜合決策的要求構成綜合數(shù)據(jù)層，隨著時問的推移，由時間控制機制將當前基本數(shù)據(jù)層轉為歷史數(shù)據(jù)層。4）數(shù)據(jù)展現(xiàn)層（前端展現(xiàn)）是面向業(yè)務用戶的需求展現(xiàn)，包括使用報表、多維分析、即席查詢等基本功能，提供告警、統(tǒng)計算法等高級功能。第二章基于基礎資料系統(tǒng)的數(shù)據(jù)模型設計2.1基本緯度數(shù)據(jù)模型設計

22、“金財工程”一體化需以系統(tǒng)統(tǒng)一的數(shù)據(jù)字典和統(tǒng)一的編碼體系為基礎，以統(tǒng)一的應用支撐平臺作保障，通過本級財政業(yè)務流程的整合，實現(xiàn)對任一筆資金的跟蹤和回溯。為了實現(xiàn)對數(shù)據(jù)的集中使用，就要從需求出發(fā)，在充分考慮到數(shù)據(jù)的可共享性、系統(tǒng)未來的可擴展性等因素， 定義一套標準數(shù)據(jù)格式， 為系統(tǒng)的建設打下一個良好的基礎。它包括各種涉及的基礎編碼表：如預算科目表、經(jīng)濟科目表、預算單位編碼表、企業(yè)登記表、稅種表、預算級次表等。數(shù)據(jù)字典是財政業(yè)務系統(tǒng)間需要統(tǒng)一維護管理、支持同步和共享的數(shù)據(jù)元、基礎代碼集、基礎配置數(shù)據(jù)和相關命名規(guī)范的統(tǒng)稱。其中數(shù)據(jù)元又稱數(shù)據(jù)類型，包括定義、標識、表示以及允許值等一系列屬性描述的數(shù)據(jù)單元

23、。 通常所說的業(yè)務要素就是財政業(yè)務系統(tǒng)中構成業(yè)務數(shù)據(jù)的比較重要的數(shù)據(jù)元，該類數(shù)據(jù)元均有相應的基礎代碼集。數(shù)據(jù)字典中主要包括的內(nèi)容：財政業(yè)務管理涉及到的所有的數(shù)據(jù)元及共享的基礎代碼集；共用的用戶列表；相關配置數(shù)據(jù)及系統(tǒng)開發(fā)需遵循的命名規(guī)范。我們將按照省廳建設的基礎數(shù)據(jù)資料庫來進行基本緯度模型的建設。2.2基礎資料系統(tǒng)維護功能模塊功能模塊功能說明框架單點登錄多系統(tǒng)實現(xiàn)單點登錄權限控制統(tǒng)一的功能權限控制機制日志統(tǒng)一的系統(tǒng)級、功能級、數(shù)據(jù)級操作日志選擇年度選擇所需要操作的年度和帳套，設置默認的年度；修改密碼修改當前用戶的登錄系統(tǒng)密碼；注銷注銷當前用戶，退出系統(tǒng)，返回到登錄頁面；幫助隱藏隱藏和顯示頁面上

24、方軟件標題欄和左方菜單欄；基礎資料創(chuàng)建新年度系統(tǒng)設置應用設置設置應用的名稱以及一些基礎信息；選項表設置設置選項表以及下拉菜單信息；設置各個應用的所在服務器的IP 值以及一些其他的固參數(shù)設置定的參數(shù)；設置數(shù)據(jù)授權中的用戶和單位對應用中的要素的權限應用權限設置是否公有；設置用戶與賬本年度對應關系，也即用戶訪問賬本年度用戶對賬本年度的權限；緩存管理刷新緩存的功能；要素維護預算單位設置預算單位名稱以及基本信息；功能科目設置功能科目名稱以及基本信息；會計科目設置會計科目名稱以及基本信息；經(jīng)濟科目設置經(jīng)濟科目名稱以及基本信息；預算項目設置預算項目名稱以及基本信息；收費項目設置收費項目名稱以及基本信息；資金

25、來源設置資金來源名稱以及基本信息；指標類型設置指標類型名稱以及基本信息；資金性質設置資金性質名稱以及基本信息；財政歸口部門設置財政歸口部門名稱以及基本信息；數(shù)據(jù)授權用戶對預算單位設置用戶與預算單位對應關系；用戶對會計科目設置用戶與會計科目對應關系；用戶對功能科目設置用戶與功能科目對應關系；用戶對經(jīng)濟科目設置用戶與經(jīng)濟科目對應關系；用戶對預算項目設置用戶與預算項目對應關系；用戶對收費項目設置用戶與收費項目對應關系；用戶對指標類型設置用戶與指標類型對應關系；用戶對資金來源設置用戶與資金來源對應關系；單位對會計科目設置預算單位與會計科目對應關系；單位對功能科目設置預算單位與功能科目對應關系；單位對經(jīng)

26、濟科目設置預算單位與經(jīng)濟科目對應關系；單位對預算項目設置預算單位與預算項目對應關系；處室對單位設置財政歸口部門與預算單位之間的對應關系；用戶對歸口設置用戶與財政歸口部門之間的對應關系；設置用戶的基本信息以及用戶與財政歸口部門和預算功能授權用戶單位之間的對應關系；崗位設置崗位的基本信息；設置功能（也即各個應用的菜單和按鈕）的基本信息和功能鏈接地址等；功能轉授把當前用戶的功能轉授給其他用戶的設置；用戶對崗位設置用戶與崗位的對應關系；崗位對功能設置崗位與功能的對應關系；權限轉授用戶對會計科目把當前用戶會計科目的數(shù)據(jù)權限轉授給其他用戶；用戶對經(jīng)濟科目把當前用戶經(jīng)濟科目的數(shù)據(jù)權限轉授給其他用戶；用戶對指

27、標類型把當前用戶指標類型的數(shù)據(jù)權限轉授給其他用戶；用戶對收費項目把當前用戶收費項目的數(shù)據(jù)權限轉授給其他用戶；用戶對預算項目把當前用戶預算項目的數(shù)據(jù)權限轉授給其他用戶；用戶對資金來源把當前用戶資金來源的數(shù)據(jù)權限轉授給其他用戶；2.3數(shù)據(jù)邏輯建模邏輯建模是數(shù)據(jù)倉庫實施中的重要一環(huán),因為它能直接反映出決策者管理者的需求 ,同時對系統(tǒng)的物理實施有著重要的指導作用。目前較常用的兩種建模方法是所謂的第三范式 (3NF,即 Third Normal Form)和星型模式(Star-Schema)， 3NF 是數(shù)據(jù)庫設計的基礎理論，這里不再展開。星型模式是一種多維 的數(shù)據(jù)關系 , 它由 一 個事實表(Fact

28、 Table)和一 組維表(Dimension Table)組成。每個維表都有一個維作為主鍵，所有這些維的主鍵組合成事實表的主鍵。事實表的非主鍵屬性稱為事實(Fact),它們一般都是數(shù)值或其他可以進行計算的數(shù)據(jù);而維大都是文字、時間等類型的數(shù)據(jù)，按這種方式組織好數(shù)據(jù)我們就可以按照不同的維( 事實表的主鍵的部分或全部) 來對這些事實數(shù)據(jù)進行求和(summary) 、求平均 (average)、計數(shù) (count)、百分比 (percent)的聚集計算， 甚至可以做20-80分析。這樣就可以從不同的角度數(shù)字來分析業(yè)務主題的情況，下面給出一個直觀的例子。功能分類維功能分類標準碼類款項業(yè)務處室維業(yè)務處

29、室編碼業(yè)務處室名稱時間維時間代碼預算執(zhí)行情況分析年季度功能分類標準碼月業(yè)務處室編碼時間代碼單位編碼單位維指標金額計劃金額單位編碼支付金額一級單位編碼一級單位名稱二級單位編碼圖 8-3預算執(zhí)行情況星型模型圖三是一個典型的財政預算執(zhí)行情況分析的模型設計，其中加邊框的為主關鍵字(PK, Primary Key)，其中預算執(zhí)行情況分析表是一個事實表，其中的指標金額，計劃金額，支付金額是需要從各角度觀察的數(shù)據(jù)( 事實 ) ，而觀察的角度是有功能分類、業(yè)務處室、時間和單位這四個方面組合進行，這些分析角度的有機組合，可以對指標金額、計劃金額和支付金額進行多種組合的數(shù)據(jù)統(tǒng)計分析，以此實現(xiàn)對預算執(zhí)行情況的多角度

30、( 維 ) 多層次 ( 數(shù)據(jù)不同的匯總程度) 的分析，預算執(zhí)行情況分析人員既可以宏觀地看到財政業(yè)務的整體情況，又可以微觀地觀察到具體某預算單位某天支出的細節(jié)信息。多維分析的時候，維度選擇越多數(shù)據(jù)越細節(jié)( 劃分得更細了) ，維度選擇越少數(shù)據(jù)越匯總越宏觀。這樣一個中間一個大表形成主表，周圍一組小表與主表相關聯(lián)的結構，形態(tài)上呈星星和雪花的形狀， 星型模型是數(shù)據(jù)倉庫的數(shù)據(jù)模型與其他數(shù)據(jù)庫應用相區(qū)分的一個重要特征。星型雪花數(shù)據(jù)倉庫典型的邏輯模型形狀第三章數(shù)據(jù)抽取平臺建設數(shù)據(jù)轉換平臺是將分布式物理存儲的源數(shù)據(jù)，轉換到統(tǒng)一存儲的數(shù)據(jù)倉庫中。從分布式源數(shù)據(jù)庫中獲取對財政一體化查詢系統(tǒng)用戶有用的數(shù)據(jù)、過濾掉不需

31、要的內(nèi)容、驗證數(shù)據(jù)的質量、數(shù)據(jù)清理、數(shù)據(jù)融合、到最后數(shù)據(jù)裝載入數(shù)據(jù)倉庫中。數(shù)據(jù)抽取是數(shù)據(jù)進入倉庫的入口，財政一體化查詢系統(tǒng)涉及多個分布式數(shù)據(jù)源，需要通過抽取過程將數(shù)據(jù)從聯(lián)機事務處理系統(tǒng)、外部數(shù)據(jù)源、 脫機的數(shù)據(jù)存儲介質中導入到數(shù)據(jù)倉庫。根據(jù)源數(shù)據(jù)的不同性質，應選用不同的數(shù)據(jù)抽取方法。本系統(tǒng)中，對于Oracle 、 sybase 等關系數(shù)據(jù)庫中的數(shù)據(jù)，我們通過交易日志的方法進行數(shù)據(jù)抽取，而對于其它半結構化或非結構化數(shù)據(jù)，我們選用靜態(tài)數(shù)據(jù)、時間標記、文件比較等方法實現(xiàn)數(shù)據(jù)抽取。3.1設計原則高數(shù)據(jù)質量原則：保證進入數(shù)據(jù)倉庫數(shù)據(jù)的質量，將垃圾數(shù)據(jù)排除在數(shù)據(jù)倉庫之外。自動化原則：ETL 過程應盡量自動

32、完成，減少人為干預程度?？勺匪菰瓌t：ETL 的相關工作結果，應留有痕跡，給出相應的報告，以便跟蹤和分析。參數(shù)化設計原則：采用參數(shù)化的設計思想，減少編程的工作量，增強系統(tǒng)的靈活性和可維護性。效率性原則：采用并行處理等設計方法，減少ETL 時間，提高ETL 效率。源系統(tǒng)不修改原則：盡量不對源系統(tǒng)進行修改，將對源系統(tǒng)的影響降低到最低程度。方便性原則。設計應充分考慮系統(tǒng)運行后管理和維護的方便性和易用性。3.2ETL 抽取過程設計ETL 工具采用Cognos 產(chǎn)品本身的ETL 工具ETL 過程概述ETL流程是指源系統(tǒng)數(shù)據(jù)經(jīng)過數(shù)據(jù)抽取、轉換和加載處理進入數(shù)據(jù)倉庫的整個過程。ETL 流程主要包括以下主要步驟

33、：1. 數(shù)據(jù)抽?。簲?shù)據(jù)抽取就是將數(shù)據(jù)倉庫需要的業(yè)務數(shù)據(jù)抽取到數(shù)據(jù)轉換區(qū)的過程。（這里的數(shù)據(jù)轉換區(qū)也可以僅僅是一個邏輯的概念，即數(shù)據(jù)的抽取到轉換采取數(shù)據(jù)不落地的方式完成）2. 數(shù)據(jù)檢查和出錯處理：在數(shù)據(jù)轉換區(qū)中，對源系統(tǒng)數(shù)據(jù)質量進行檢查，形成檢查報告，并進行相應的出錯處理，對于嚴重錯誤，需要系統(tǒng)維護人員現(xiàn)場做出相應的處理。3. 數(shù)據(jù)轉換：數(shù)據(jù)轉換包括對源系統(tǒng)數(shù)據(jù)進行整理、剔除、合并、驗證等一系列轉換工作，最后形成數(shù)據(jù)倉庫物理數(shù)據(jù)結構所需的數(shù)據(jù)，存放在轉換區(qū)的數(shù)據(jù)表中。4. 數(shù)據(jù)加載：數(shù)據(jù)加載將數(shù)據(jù)轉換的結果數(shù)據(jù)加載到數(shù)據(jù)倉庫，并形成數(shù)據(jù)加載情況的報告。ETL 過程詳述本期項目ETL的過程具體描述

34、如下：第一步：數(shù)據(jù)抽取在源系統(tǒng)上啟動數(shù)據(jù)抽取控制程序，完成以下工作：1、數(shù)據(jù)采集考慮到數(shù)據(jù)來源的多樣性和復雜性，數(shù)據(jù)采集主要包括：對業(yè)務系統(tǒng)的數(shù)據(jù)采集：在日終結后，當日數(shù)據(jù)自動、增量地轉儲到數(shù)據(jù)備份機上，作為數(shù)據(jù)倉庫的數(shù)據(jù)源并成為數(shù)據(jù)備份策略的一部分。對于稅收計劃、外部數(shù)據(jù)、納稅人財務報表的數(shù)據(jù)采集?？筛鶕?jù)實際需要，采用多種途徑。2、數(shù)據(jù)發(fā)送在數(shù)據(jù)采集完成后，各系統(tǒng)上的抽取控制程序將數(shù)據(jù)文件和校驗文件通過局域網(wǎng)發(fā)送到數(shù)據(jù)轉換區(qū)。第二步：數(shù)據(jù)裝入轉換區(qū)1. 檢查數(shù)據(jù)是否到位根據(jù)校驗文件，檢查源系統(tǒng)數(shù)據(jù)是否到位、是否存在傳輸錯誤等異常情況。如果數(shù)據(jù)不全或傳輸出現(xiàn)錯誤，如果出錯，將出錯結果寫入錯誤日

35、志，重新執(zhí)行第一步。2.將外部數(shù)據(jù)文件裝入oracle數(shù)據(jù)庫把來自外部源數(shù)據(jù)源的格式化數(shù)據(jù)轉化成oracle數(shù)據(jù)庫、表結構。3. 修改系統(tǒng)狀態(tài)：待該步驟工作完成后，將系統(tǒng)狀態(tài)改為抽取工作完成。注：若直接從業(yè)務系統(tǒng)數(shù)據(jù)庫中抽取數(shù)據(jù)，則無須數(shù)據(jù)轉換區(qū)步驟。第三步：數(shù)據(jù)質量檢查和出錯處理1. 狀態(tài)檢查：查詢參數(shù)表，如果數(shù)據(jù)抽取工作已經(jīng)完成，開始執(zhí)行該步驟工作。2. 數(shù)據(jù)質量檢查：根據(jù)檢查規(guī)則，數(shù)據(jù)質量檢查程序掃描源數(shù)據(jù)數(shù)據(jù)表，根據(jù)規(guī)則檢查數(shù)據(jù)是否合法，給出檢查報告和最終的數(shù)據(jù)質量報告并寫入數(shù)據(jù)庫，數(shù)據(jù)質量檢查結果寫入質量檢查報告。3. 出錯處理：如果出現(xiàn)嚴重出錯，停止 ETL工作，需要系統(tǒng)維護人員現(xiàn)

36、場做出相應的處理，修改正確后，重新執(zhí)行該步驟工作；對于警告級出錯，繼續(xù)進行下述步驟。4. 修改系統(tǒng)狀態(tài)：待該步驟工作完成后，將系統(tǒng)狀態(tài)改為數(shù)據(jù)質量檢查工作完成。第四步：數(shù)據(jù)轉換1、狀態(tài)檢查查詢參數(shù)表，如果數(shù)據(jù)質量檢查工作已經(jīng)完成，開始執(zhí)行該步工作。2、數(shù)據(jù)轉換根據(jù)數(shù)據(jù)倉庫要求的數(shù)據(jù)源格式在Staging Area中進行并行轉換處理，并將轉換的結果數(shù)據(jù)存放在待裝載數(shù)據(jù)存放區(qū)。3、生成轉換報告記錄數(shù)據(jù)轉換情況，并寫入數(shù)據(jù)庫轉換日志中。4、修改系統(tǒng)狀態(tài)：待該步驟工作完成后，將系統(tǒng)狀態(tài)改為數(shù)據(jù)轉換工作完成。第五步：數(shù)據(jù)加載狀態(tài)檢查查詢參數(shù)表，如果數(shù)據(jù)質量檢查工作已經(jīng)完成，開始執(zhí)行該步驟工作。數(shù)據(jù)裝入數(shù)

37、據(jù)倉庫采用非依賴數(shù)據(jù)并行加載的策略，將待裝載數(shù)據(jù)區(qū)的數(shù)據(jù)裝入中心數(shù)據(jù)倉庫，如果標準代碼表發(fā)生變化，數(shù)據(jù)裝載程序將標準代碼的變化情況增量加載到數(shù)據(jù)倉庫代碼表中。數(shù)據(jù)加載情況報告記錄數(shù)據(jù)加載情況，并寫入數(shù)據(jù)倉庫數(shù)據(jù)庫的參數(shù)表中。修改系統(tǒng)狀態(tài)：待該步驟工作完成后，將系統(tǒng)狀態(tài)改為數(shù)據(jù)轉換工作完成。第六步：加載時間維1. 狀態(tài)檢查查詢參數(shù)表，如果數(shù)據(jù)加載工作已經(jīng)完成，開始執(zhí)行該步驟工作。2. 加載時間維根據(jù)當前的時間，依據(jù)數(shù)據(jù)集市多維模型，完成時間維的加載工作。3. 修改系統(tǒng)狀態(tài)：待該步驟工作完成后，將系統(tǒng)狀態(tài)改為時間維加載工作完成。第七步：加載事實表1. 狀態(tài)檢查查詢參數(shù)表，如果時間維加載工作已經(jīng)完成

38、，開始執(zhí)行該步驟工作。2. 加載事實表以數(shù)據(jù)倉庫數(shù)據(jù)為數(shù)據(jù)源，依據(jù)數(shù)據(jù)集市多維模型，完成事實表的加載工作。3. 修改系統(tǒng)狀態(tài)：待該步驟工作完成后，將系統(tǒng)狀態(tài)改為事實表加載工作完成。第八步：加載聚合表1. 狀態(tài)檢查查詢參數(shù)表，如果事實表加載工作已經(jīng)完成，開始執(zhí)行該步驟工作。2. 加載聚合表以事實表為數(shù)據(jù)源，依據(jù)數(shù)據(jù)集市多維模型，完成聚合表的加載工作。3. 修改系統(tǒng)狀態(tài)：待該步驟工作完成后，將系統(tǒng)狀態(tài)改為ETL工作結束。ETL 時間約束數(shù)據(jù)抽取的范圍涉及財政核心業(yè)務系統(tǒng)數(shù)據(jù)，主要是五大塊內(nèi)容：稅收收入數(shù)據(jù)、非稅收入數(shù)據(jù)、部門預算、支出數(shù)據(jù)、專項支出數(shù)據(jù)、其他系統(tǒng)數(shù)據(jù)。其中：其他系統(tǒng)數(shù)據(jù)包含固定資產(chǎn)

39、、統(tǒng)發(fā)工資等相關財政業(yè)務系統(tǒng)數(shù)據(jù)。平臺在數(shù)據(jù)抽取時根據(jù)用戶對數(shù)據(jù)的查詢需求，可以實時、按天、按月取數(shù)。是指對在每天的特定時間必須要完成的事件進行嚴格的控制。對時間的限制建議可以表示為下圖：0:01:002:003:004:005:006:008:000抽取轉換加載數(shù)據(jù)集市ETL圖4-2 ：ETL時間階段示意圖從上圖可以看出，為了保證每天業(yè)務人員及時使用數(shù)據(jù)倉庫系統(tǒng)，對ETL 時間通常有如下要求：3:30之前完成數(shù)據(jù)從源系統(tǒng)到數(shù)據(jù)轉換區(qū)的數(shù)據(jù)抽取工作。5:00之前完成數(shù)據(jù)轉換區(qū)內(nèi)的數(shù)據(jù)轉換工作。6:00之前完成轉換后數(shù)據(jù)到數(shù)據(jù)倉庫的數(shù)據(jù)加載工作。8:00之前完成數(shù)據(jù)倉庫到數(shù)據(jù)集市多維數(shù)據(jù)庫的ET

40、L 工作。ETL的時間窗口通常在4-6 小時，考慮到將來系統(tǒng)數(shù)據(jù)的增長，ETL工具的處理效率和擴展性是關鍵。3.3后臺對應規(guī)則的設置平臺中的數(shù)據(jù)由于來自不同的業(yè)務系統(tǒng)，各數(shù)據(jù)的編碼可能不一致，系統(tǒng)能與后臺設置各編碼的進行對應關系管理；用戶對預算單位設置用戶與預算單位對應關系；用戶對會計科目設置用戶與會計科目對應關系；用戶對功能科目設置用戶與功能科目對應關系；用戶對經(jīng)濟科目設置用戶與經(jīng)濟科目對應關系；用戶對預算項目設置用戶與預算項目對應關系；用戶對收費項目設置用戶與收費項目對應關系；用戶對指標類型設置用戶與指標類型對應關系；用戶對資金來源設置用戶與資金來源對應關系；單位對會計科目設置預算單位與會計科目對應關系；單位對功能科目設置預算單位與功能科目對應關系；單位對經(jīng)濟科目設置預算單位與經(jīng)濟科目對應關系；單位對預算項目設置預算單位與預算項目對應關系；處室對單位設置財政歸口部門與預算單位之間的對應關系；用戶對歸口設置用戶與財政歸口部門之間的對應關系；預算項目對執(zhí)行項目設置預算項目與執(zhí)行項目之間的對應關系 .數(shù)據(jù)抽取程序的設計原則數(shù)據(jù)倉庫需要的數(shù)據(jù)存在于不同種類、不同技術平臺的業(yè)務系統(tǒng)中，數(shù)據(jù)抽取就是從這些不同的數(shù)據(jù)源中抽取數(shù)據(jù)作為數(shù)據(jù)倉庫的原材料。本項目數(shù)據(jù)抽取設計時，采用以下方法：1. 直接從源業(yè)務系統(tǒng)抽取最原始的數(shù)據(jù)，不抽取派生數(shù)據(jù)。2.