數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目解決方案v1.0

1、數(shù)據(jù)倉(cāng)庫(kù)解決方案深圳太極云軟技術(shù)股份有限公司2016年1月目錄（一）概述4一. 國(guó)內(nèi)信息化的現(xiàn)狀 4.二. 以應(yīng)用驅(qū)動(dòng)，數(shù)據(jù)倉(cāng)庫(kù)建設(shè)應(yīng)由后向前規(guī)劃 4三. 想大做小”整體設(shè)計(jì)、分布實(shí)施）5（二）系統(tǒng)架構(gòu)6數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)7系統(tǒng)功能架構(gòu)8（三）數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方法911數(shù)據(jù)倉(cāng)庫(kù)建設(shè)8大步驟1. 系統(tǒng)分析，確定主題 112. 選擇滿足數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)要求的軟件平臺(tái) 1.13. 建立數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型 1.24. 邏輯數(shù)據(jù)模型轉(zhuǎn)化為數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型 .12.5. 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型優(yōu)化 1.36. 數(shù)據(jù)清洗轉(zhuǎn)換和傳輸 14.7. 開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)的分析應(yīng)用 1.5.8. 數(shù)據(jù)倉(cāng)庫(kù)的管理1618（四）系統(tǒng)功能詳細(xì)介紹企

2、業(yè)數(shù)據(jù)門戶1.8主題分析1.9即席查詢1.9多維分析工具20ETL 工具21報(bào)表工具22（一）概述一. 國(guó)內(nèi)信息化的現(xiàn)狀1信息化建設(shè)的發(fā)展歷史：在國(guó)內(nèi)信息化建設(shè)過(guò)程中，基本上是按照當(dāng)時(shí)業(yè)務(wù)系統(tǒng)的需求 進(jìn)行建設(shè)，過(guò)一段時(shí)間，如果有新的業(yè)務(wù)推出，就再建設(shè)一個(gè)新的 系統(tǒng)，或在原系統(tǒng)的基礎(chǔ)上增加新的業(yè)務(wù)處理 。這樣的結(jié)果使每個(gè) 系統(tǒng)和系統(tǒng)之間缺少真正的信息溝通和信息交換。2. 為何要建立數(shù)據(jù)倉(cāng)庫(kù)：根據(jù)現(xiàn)狀業(yè)務(wù)系統(tǒng)各自為政，相互獨(dú)立。當(dāng)很多業(yè)務(wù)系統(tǒng)建立 后，由于領(lǐng)導(dǎo)的要求和決策的需求，需要一些指標(biāo)的分析，在相應(yīng) 的業(yè)務(wù)系統(tǒng)基礎(chǔ)上再增加分析和相應(yīng)的報(bào)表功能，這樣每個(gè)系統(tǒng)就增加了報(bào)表和分析功能。但是，由于數(shù)

3、據(jù)源不統(tǒng)一導(dǎo)致了對(duì)同一個(gè) 指標(biāo)分析的結(jié)果不相同。為了解決該問(wèn)題，為了分析和決策的需 要，將相互分離的業(yè)務(wù)系統(tǒng)的數(shù)據(jù)源整合在一起，可以為領(lǐng)導(dǎo)和決 策層提供分析和輔助決策。二. 以應(yīng)用驅(qū)動(dòng)，數(shù)據(jù)倉(cāng)庫(kù)建設(shè)應(yīng)由后向前規(guī)劃數(shù)據(jù)倉(cāng)庫(kù)到底應(yīng)該怎么建設(shè)？我一貫的主張是應(yīng)用驅(qū)動(dòng)。什么樣 的應(yīng)用呢？應(yīng)用是應(yīng)考慮政府管理的現(xiàn)狀和決策層最關(guān)心的問(wèn)題入 手。分利用現(xiàn)有信息系統(tǒng)資源，進(jìn)一步細(xì)化、量化權(quán)力清單，固化 權(quán)力運(yùn)行流程和辦理環(huán)節(jié)，達(dá)到規(guī)范業(yè)務(wù)流程、監(jiān)督個(gè)體行為、記 錄執(zhí)法誠(chéng)信、科學(xué)考核評(píng)價(jià)和提升管理精度，最終使群眾的合法權(quán) 益得到保護(hù)，實(shí)現(xiàn)權(quán)力有效監(jiān)督和提升政府效能。通過(guò)分析經(jīng)濟(jì)發(fā) 展、衛(wèi)生健康、教育科技、道路交

4、通、機(jī)構(gòu)團(tuán)體、生活服務(wù)、文體 娛樂(lè)、安全避險(xiǎn)、資源環(huán)境、社保就業(yè)、財(cái)稅金融、法律服務(wù)等這 些主題的分析是否可行，應(yīng)該先進(jìn)行評(píng)估。這樣從應(yīng)用主題入手， 就可以知道需要什么樣的數(shù)據(jù)，來(lái)自那些業(yè)務(wù)系統(tǒng)和數(shù)據(jù)源，這些 數(shù)據(jù)的全體進(jìn)行一定的整合，按照分析的要求存儲(chǔ)就組成了一個(gè)個(gè) 數(shù)據(jù)集市(Data Mart )。三. 想大做小”整體設(shè)計(jì)、分布實(shí)施)為了避免原有業(yè)務(wù)系統(tǒng)相對(duì)獨(dú)立而形成的一個(gè)個(gè)信息孤島，以應(yīng)用驅(qū)動(dòng)建設(shè)數(shù)據(jù)倉(cāng)庫(kù)，往往會(huì)造成新的信息孤島。這是因?yàn)閼?yīng)用 往往是部門級(jí)的或者是某一方面的應(yīng)用，不能完全覆蓋企業(yè)級(jí)的所有應(yīng)用。當(dāng)然我們這里不提倡一次建設(shè)的應(yīng)用。如何避免這個(gè)問(wèn)題，是我這里著重要要強(qiáng)調(diào)的。這里

5、分兩種情形進(jìn)行設(shè)計(jì)，系統(tǒng)作 用1. 整合業(yè)務(wù)數(shù)據(jù)在各業(yè)務(wù)系統(tǒng)中，數(shù)據(jù)不流通，形成信息孤島，商業(yè)智能解決方 案建立統(tǒng)一數(shù)據(jù)倉(cāng)庫(kù)，整合業(yè)務(wù)數(shù)據(jù)，給管理者提供統(tǒng)一視圖，統(tǒng) 一決策界面。2. 支撐決策從數(shù)據(jù)中分析企業(yè)發(fā)展趨勢(shì)，挖掘新的機(jī)會(huì)方法，根據(jù)數(shù)據(jù)決 策，提高決策的及時(shí)性及準(zhǔn)確率。3. 提供管理效能，量化辦事效率基于系統(tǒng)分析內(nèi)容，管理者能了解細(xì)化、量化權(quán)力清單，固化權(quán) 力運(yùn)行流程和辦理環(huán)節(jié)，達(dá)到規(guī)范業(yè)務(wù)流程、監(jiān)督個(gè)體行為、記錄 執(zhí)法誠(chéng)信、科學(xué)考核評(píng)價(jià)和提升管理精度，最終使群眾的合法權(quán)益 得到保護(hù)，實(shí)現(xiàn)權(quán)力有效監(jiān)督和提升政府效能。（二）系統(tǒng)架構(gòu)數(shù)據(jù)管理層元 數(shù) 據(jù) 管 理數(shù)據(jù)清洗、轉(zhuǎn)換、加載數(shù)據(jù)交換

6、I相關(guān)業(yè)務(wù)單位系統(tǒng)架構(gòu)圖在建立數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)按主題域存儲(chǔ)各業(yè)務(wù)數(shù)據(jù)。數(shù)據(jù)來(lái)源主要是政 府管理結(jié)構(gòu)的不同業(yè)務(wù)管理系統(tǒng)。通過(guò)數(shù)據(jù)交換平臺(tái)定期采集各管理機(jī)構(gòu)的業(yè) 務(wù)數(shù)據(jù)，后臺(tái)數(shù)據(jù)處理工具ETL抽取、清洗數(shù)據(jù)，并加載入數(shù)據(jù)倉(cāng)庫(kù)中。架構(gòu)于數(shù)據(jù)倉(cāng)庫(kù)上的系統(tǒng)功能主要包括大數(shù)據(jù)門戶、專題主題分析、即系查詢、多維分析、自助報(bào)表的功能模塊，通過(guò)這些功能模塊為管理者獲取數(shù)據(jù) 和分析數(shù)據(jù)提供簡(jiǎn)單易用、功能強(qiáng)大的方法，為管理者決策及提升管理精度， 最終實(shí)現(xiàn)權(quán)力有效監(jiān)督和提升政府效能。數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)建設(shè)過(guò)程，而不是產(chǎn)品。數(shù)據(jù)倉(cāng)庫(kù)是通過(guò)對(duì)來(lái)自 不同的數(shù)據(jù)源進(jìn)行統(tǒng)一的處理及管理 ，通過(guò)靈活的展示方法來(lái)幫助 決

7、策支持。數(shù)據(jù)獲取層實(shí)現(xiàn)如何從所有源系統(tǒng)中獲得原始的業(yè)務(wù)數(shù)據(jù)，并對(duì)其進(jìn)行一定 的數(shù)據(jù)處理，按主題進(jìn)行數(shù)據(jù)重組和格式轉(zhuǎn)換，然后傳送并裝載到 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)需要從多個(gè)源數(shù)據(jù)系統(tǒng)中抽取和匯總各個(gè)業(yè)務(wù)數(shù)據(jù)，這些數(shù)據(jù)源系統(tǒng)是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)來(lái)源。把上述數(shù)據(jù)源系統(tǒng)中的數(shù)據(jù)按照主題進(jìn)行劃分和組織，然后抽取 并裝載到數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中。數(shù)據(jù)需要經(jīng)過(guò)三個(gè)過(guò)程：數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)裝載。這三 個(gè)過(guò)程是在保證各個(gè)數(shù)據(jù)源系統(tǒng)與數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)能夠成功連接（包括網(wǎng)絡(luò)協(xié)議標(biāo)準(zhǔn)的轉(zhuǎn)換、不同平臺(tái)之間的接口 ）的前提下實(shí)現(xiàn)的。 保證把來(lái)自不同的源數(shù)據(jù)系統(tǒng)的同類數(shù)據(jù)的一致性和完整性，轉(zhuǎn)換 完成的數(shù)據(jù)裝載到數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中

8、。數(shù)據(jù)管理層把數(shù)據(jù)存儲(chǔ)到企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中進(jìn)行集中管理。在數(shù)據(jù)存儲(chǔ)層，數(shù)據(jù)是存放在兩類數(shù)據(jù)庫(kù)中：關(guān)系型數(shù)據(jù)庫(kù)和多維數(shù)據(jù)庫(kù)。 數(shù)據(jù)存儲(chǔ)是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的中心。取自多個(gè)數(shù)據(jù)源系統(tǒng)的明細(xì)數(shù)據(jù)，以及用于分析的集成匯總數(shù)據(jù)都存儲(chǔ)在這個(gè)中心。它在邏輯上是一個(gè)完整的庫(kù)。數(shù)據(jù)使用層把數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中的數(shù)據(jù)和分析結(jié)果提供給最終用戶。按照用戶的分析需求、使用報(bào)表、隨即查詢、多維度分析和數(shù)據(jù)挖掘進(jìn)行 數(shù)據(jù)展現(xiàn)。數(shù)據(jù)輸出層的功能是使最終用戶通過(guò)報(bào)表、圖形和其他分析工具 的方式簡(jiǎn)便、快捷地訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中的各種數(shù)據(jù)，得到分析結(jié) 果。提供多種數(shù)據(jù)分析方法，包括標(biāo)準(zhǔn)報(bào)表、即席查詢報(bào)表、動(dòng)態(tài) 分析報(bào)表、多維分析、趨勢(shì)預(yù)測(cè)、假

9、設(shè)分析和數(shù)據(jù)挖掘等。 系統(tǒng)功能架構(gòu)多維分析OLDP多角度、立體化、靈活動(dòng)態(tài)的分析業(yè)務(wù)數(shù)據(jù)。產(chǎn) 品簡(jiǎn)單易用，無(wú)需編寫任何的代碼，用戶只需要通過(guò)語(yǔ)義層的定義 就可以輕松搭建自己的多維數(shù)據(jù)模型。即席查詢統(tǒng)計(jì)報(bào)表、指標(biāo)的快速檢索，幫助業(yè)務(wù)分析人員快速 獲得所需要的數(shù)據(jù)和統(tǒng)計(jì)信息。數(shù)據(jù)門戶Data Portal進(jìn)行統(tǒng)一展現(xiàn)，展現(xiàn)方式包括儀表盤、表 格、報(bào)表、日歷等內(nèi)容，并支持用戶個(gè)性化定制內(nèi)容、指標(biāo)等功 能，實(shí)現(xiàn)真正的個(gè)性化服務(wù)。數(shù)據(jù)門戶中展現(xiàn)的內(nèi)容是管理者及業(yè) 務(wù)人員最關(guān)注的指標(biāo)，通過(guò)門戶為他們獲取數(shù)據(jù)提供最簡(jiǎn)單容易的 方式。主題分析根據(jù)資源的組織，支持?jǐn)?shù)據(jù)的深入挖掘和分析應(yīng)用，跟 蹤、監(jiān)控政策的執(zhí)行

10、情況及實(shí)施效果，讓管理層了解細(xì)化、量化權(quán) 力清單，固化權(quán)力運(yùn)行流程和辦理環(huán)節(jié)，達(dá)到規(guī)范業(yè)務(wù)流程、監(jiān)督 個(gè)體行為、記錄執(zhí)法誠(chéng)信、科學(xué)考核評(píng)價(jià)和提升管理精度，最終使 群眾的合法權(quán)益得到保護(hù)，實(shí)現(xiàn)權(quán)力有效監(jiān)督和提升政府效能。報(bào)表業(yè)商業(yè)智能系統(tǒng)建設(shè)的重要組成部分，主要對(duì)企業(yè)數(shù)據(jù)倉(cāng)庫(kù) 中整合的各主題域業(yè)務(wù)數(shù)據(jù)，按照監(jiān)督管理要求，面向各級(jí)部門， 快速提供準(zhǔn)確、全面、靈活的體現(xiàn)政府管理效能等方面實(shí)際的數(shù)據(jù) 信息，為決策支持、業(yè)務(wù)管理提供有效的數(shù)據(jù)信息支撐。ETL工具：ETL是數(shù)據(jù)倉(cāng)庫(kù)最核心的后臺(tái)組件，通過(guò)對(duì)及匯總來(lái) 的不同來(lái)源數(shù)據(jù)的抽取、清洗、加載實(shí)現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的更新及 流轉(zhuǎn)。ETL工具（橋接器），實(shí)現(xiàn)

11、了圖形化及自動(dòng)化的方式來(lái)配置 ETL流程，極大的減輕了數(shù)據(jù)加工的工作量，提高了數(shù)據(jù)準(zhǔn)確性及處 理效率。（三）數(shù)據(jù)倉(cāng)庫(kù)建設(shè)方法數(shù)據(jù)倉(cāng)庫(kù)決策分析的業(yè)務(wù)處理流程主要分為四個(gè)階段1）數(shù)據(jù)集中：各級(jí)政府部門業(yè)務(wù)數(shù)據(jù)統(tǒng)一匯總數(shù)據(jù)中心臨時(shí)數(shù) 據(jù)存儲(chǔ)；2）數(shù)據(jù)整理和轉(zhuǎn)換：匯總后的業(yè)務(wù)數(shù)據(jù)經(jīng)過(guò)ETL抽取、轉(zhuǎn)換、 加載到數(shù)據(jù)倉(cāng)庫(kù)中；3）數(shù)據(jù)存儲(chǔ)和管理：對(duì)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)進(jìn)行集中存儲(chǔ)和管理、備 份和維護(hù)；4）數(shù)據(jù)挖掘和展現(xiàn)：用戶通過(guò)前端的展現(xiàn)工具對(duì)數(shù)據(jù)倉(cāng)庫(kù)中數(shù) 據(jù)進(jìn)行挖掘、鉆取和分析，在數(shù)據(jù)門戶展現(xiàn)；交換平臺(tái)臨時(shí)存儲(chǔ)數(shù)據(jù)政府?dāng)?shù)據(jù)中心抽取轉(zhuǎn)換加載數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)集市決策數(shù)據(jù)門戶趨勢(shì)趨勢(shì)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)8大步驟1. 系統(tǒng)分析,確定

12、主題確定一下幾個(gè)因素：操作出現(xiàn)的頻率，即業(yè)務(wù)部門每隔多長(zhǎng)時(shí)間做一次查詢分析。 在系統(tǒng)中需要保存多久的數(shù)據(jù)，是一年、兩年還是五年、十年。 用戶查詢數(shù)據(jù)的主要方式，如在時(shí)間維度上是按照自然年，還是財(cái) 政年。用戶所能接受的響應(yīng)時(shí)間是多長(zhǎng)、是幾秒鐘，還是幾小時(shí)。2. 選擇滿足數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)要求的軟件平臺(tái)選擇合適的軟件平臺(tái)，包括數(shù)據(jù)庫(kù)、建模工具、分析工具等。有許 多因素要考慮，如系統(tǒng)對(duì)數(shù)據(jù)量、響應(yīng)時(shí)間、分析功能的要求等， 以下是一些公認(rèn)的選擇標(biāo)準(zhǔn)：廠商的背景和支持能力，能否提供全方位的技術(shù)支持和咨詢服務(wù)。 數(shù)據(jù)庫(kù)對(duì)大數(shù)據(jù)量（TB級(jí)）的支持能力。數(shù)據(jù)庫(kù)是否支持并行操作。能否提供數(shù)據(jù)倉(cāng)庫(kù)的建模工具，是否支持對(duì)

13、元數(shù)據(jù)的管理。 能否提供支持大數(shù)據(jù)量的數(shù)據(jù)加載、轉(zhuǎn)換、傳輸工具（ETT）。 能否提供完整的決策支持工具集，滿足數(shù)據(jù)倉(cāng)庫(kù)中各類用戶的需3.建立數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型具體步驟如下：（1）確定建立數(shù)據(jù)倉(cāng)庫(kù)邏輯模型的基本方法。（2）基于主題視圖，把主題視圖中的數(shù)據(jù)定義轉(zhuǎn)到邏輯數(shù)據(jù)模型 中。（3）識(shí)別主題之間的關(guān)系。（4）分解多對(duì)多的關(guān)系。日時(shí)總DateTimeNumber(10.2)堀導(dǎo) 5i Intuuer姓名ChirflCtCft(10)由址ChJMCtef*(iQ)電匾Charadters(15)積分Number (BVIPBoolean主標(biāo)示？5 t 次標(biāo)識(shí)符討款 Land Inteasr 日曬擱

14、Dale & Time預(yù)付重頂Decimal (6.2)Decimal (B.2)1C錄濡號(hào)Nu：mber (10)生標(biāo)識(shí)苻兩侶如百Lonq InWgrTeictLong charactBW (2Q) 日期Date TimeNumber (6,2)（5）用范式理論檢驗(yàn)邏輯數(shù)據(jù)模型。（6）由用戶審核邏輯數(shù)據(jù)模型。4. 邏輯數(shù)據(jù)模型轉(zhuǎn)化為數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型具體步驟如下：（1）刪除非戰(zhàn)略性數(shù)據(jù)：數(shù)據(jù)倉(cāng)庫(kù)模型中不需要包含邏輯數(shù)據(jù)模型 中的全部數(shù)據(jù)項(xiàng)，某些用于操作處理的數(shù)據(jù)項(xiàng)要?jiǎng)h除。（2）增加時(shí)間主鍵：數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一定是時(shí)間的快照，因此必 須增加時(shí)間主鍵。（3） 增加派生數(shù)據(jù)：對(duì)于用戶經(jīng)常需要分析的數(shù)

15、據(jù)，或者為了提高 性能，可以增加派生數(shù)據(jù)。（4）加入不同級(jí)別粒度的匯總數(shù)據(jù)：數(shù)據(jù)粒度代表數(shù)據(jù)細(xì)化程度， 粒度越大，數(shù)據(jù)的匯總程度越高。粒度是數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的一個(gè)重要 因素，它直接影響到駐留在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量和可以執(zhí)行的查詢 類型。顯然，粒度級(jí)別越低，則支持的查詢?cè)蕉啵环粗?，能支持?查詢就有限。5. 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型優(yōu)化數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)時(shí)，性能是一項(xiàng)主要考慮因素。在數(shù)據(jù)倉(cāng)庫(kù)建成后，也需要經(jīng)常對(duì)其性能進(jìn)行監(jiān)控，并隨著需求和數(shù)據(jù)量的變更進(jìn)行調(diào)整。優(yōu)化數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)的主要方法是：合并不同的數(shù)據(jù)表。通過(guò)增加匯總表避免數(shù)據(jù)的動(dòng)態(tài)匯總。通過(guò)冗余字段減少表連接的數(shù)量，不要超過(guò)35個(gè)。用ID代碼而不是描述信息作為鍵

16、值。對(duì)數(shù)據(jù)表做分區(qū)。、 I / 麺摒潔理T1A12杠干停數(shù)握=0. 02 0- 32 U 0059 48Al A2 A3Al AS：Al 15T1T3.|T1456TSOOO lit6. 數(shù)據(jù)清洗轉(zhuǎn)換和傳輸由于業(yè)務(wù)系統(tǒng)所使用的軟硬件平臺(tái)不同，編碼方法不同，業(yè)務(wù)系統(tǒng) 中的數(shù)據(jù)在加載到數(shù)據(jù)倉(cāng)庫(kù)之前，必須進(jìn)行數(shù)據(jù)的清洗和轉(zhuǎn)換，保 證數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的一致性。在設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)加載方案時(shí)，必須考慮以下幾項(xiàng)要求：加載方案必須能夠支持訪問(wèn)不同的數(shù)據(jù)庫(kù)和文件系統(tǒng) 。數(shù)據(jù)的清洗、轉(zhuǎn)換和傳輸必須滿足時(shí)間要求，能夠在規(guī)定的時(shí)間范圍內(nèi)完成 支持各種轉(zhuǎn)換方法，各種轉(zhuǎn)換方法可以構(gòu)成一個(gè)工作流。支持增量加載，只把自上一次

17、加載以來(lái)變化的數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)。7. 開(kāi)發(fā)數(shù)據(jù)倉(cāng)庫(kù)的分析應(yīng)用建立數(shù)據(jù)倉(cāng)庫(kù)的最終目的是為業(yè)務(wù)部門提供決策支持能力，必須為業(yè)務(wù)部門選擇合適的工具實(shí)現(xiàn)其對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)進(jìn)行分析的要 求。信息部門所選擇的開(kāi)發(fā)工具必須能夠：滿足用戶的全部分析功能要求。數(shù)據(jù)倉(cāng)庫(kù)中的用戶包括了企業(yè)中各 個(gè)業(yè)務(wù)部門，他們的業(yè)務(wù)不同，要求的分析功能也不同。如有的用 戶只是簡(jiǎn)單的分析報(bào)表，有些用戶則要求做預(yù)測(cè)和趨勢(shì)分析。提供靈活的表現(xiàn)方式。分析的結(jié)果必須能夠以直觀、靈活的方式表 現(xiàn)，支持復(fù)雜的圖表。使用方式上，可以是客戶機(jī)/服務(wù)器方式，也 可以是瀏覽器方式。事實(shí)上，沒(méi)有一種工具能夠滿足數(shù)據(jù)倉(cāng)庫(kù)的全部分析功能需求 ，一 個(gè)完整

18、的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的功能可能是由多種工具來(lái)實(shí)現(xiàn)，因此必須 考慮多個(gè)工具之間的接口和集成性問(wèn)題，對(duì)于用戶來(lái)說(shuō)，希望看到 的是一致的界面。8. 數(shù)據(jù)倉(cāng)庫(kù)的管理只重視數(shù)據(jù)倉(cāng)庫(kù)的建立，而忽視數(shù)據(jù)倉(cāng)庫(kù)的管理必然導(dǎo)致數(shù)據(jù)倉(cāng)庫(kù) 項(xiàng)目的失敗。數(shù)據(jù)倉(cāng)庫(kù)管理主要包括數(shù)據(jù)庫(kù)管理和元數(shù)據(jù)管理 。 數(shù)據(jù)庫(kù)管理需要考以下幾個(gè)方面：安全性管理。數(shù)據(jù)倉(cāng)庫(kù)中的用戶只能訪問(wèn)到他的授權(quán)范圍內(nèi)的數(shù) 據(jù)，數(shù)據(jù)在傳輸過(guò)程中的加密策略。數(shù)據(jù)倉(cāng)庫(kù)的備份和恢復(fù)。數(shù)據(jù)倉(cāng)庫(kù)的大小和備份的頻率直接影響到備份策略。如何保證數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的可用性，硬件還是軟件方法。數(shù)據(jù)老化。設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的存放時(shí)間周期和對(duì)過(guò)期數(shù)據(jù)的老 化方法，如歷史數(shù)據(jù)只保存匯總數(shù)據(jù)，

19、當(dāng)年數(shù)據(jù)保存詳細(xì)記錄。 然而，元數(shù)據(jù)管理貫穿于整個(gè)系統(tǒng)的建設(shè)過(guò)程中，元數(shù)據(jù)是描述數(shù) 據(jù)的數(shù)據(jù)。在數(shù)據(jù)采集階段，元數(shù)據(jù)主要包括下列信息： 源數(shù)據(jù)的描述定義：類型、位置、結(jié)構(gòu)。數(shù)據(jù)轉(zhuǎn)換規(guī)則：編碼規(guī)則、行業(yè)標(biāo)準(zhǔn)。目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的模型描述：星型/雪花模型定義，維/事實(shí)結(jié)構(gòu)定義。源數(shù)據(jù)到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的映射關(guān)系：函數(shù)/表達(dá)式定義。代碼：生成轉(zhuǎn)換程序、自動(dòng)加載程序等。在數(shù)據(jù)管理階段，元數(shù)據(jù)主要包括下列信息：匯總數(shù)據(jù)的描述：匯總/聚合層次、物化視圖結(jié)構(gòu)定義。歷史數(shù)據(jù)存儲(chǔ)規(guī)則：位置、存儲(chǔ)粒度。多維數(shù)據(jù)結(jié)構(gòu)描述：立方體定義、維結(jié)構(gòu)、度量值、鉆取層次定義 等。在數(shù)據(jù)展現(xiàn)階段，元數(shù)據(jù)主要包括以下信息：報(bào)表的描述：報(bào)表結(jié)

20、構(gòu)的定義。統(tǒng)計(jì)函數(shù)的描述：各類統(tǒng)計(jì)分析函數(shù)的定義。結(jié)果輸出的描述：圖、表輸出的定義。元數(shù)據(jù)不但是獨(dú)立存放，而且對(duì)用戶是透明的，標(biāo)準(zhǔn)元數(shù)據(jù)之間可 以互相轉(zhuǎn)換（四）系統(tǒng)功能詳細(xì)介紹企業(yè)數(shù)據(jù)門戶企業(yè)實(shí)施商業(yè)智能、數(shù)據(jù)倉(cāng)庫(kù)的目的之一為整合各系統(tǒng)的業(yè)務(wù)數(shù) 據(jù)，統(tǒng)一指標(biāo)口徑，實(shí)現(xiàn)統(tǒng)一視圖、統(tǒng)一決策界面。企業(yè)數(shù)據(jù)門戶 功能主要對(duì)整合的業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)一展現(xiàn)，展現(xiàn)方式包括儀表盤、 表格、日歷等內(nèi)容。數(shù)據(jù)門戶中展現(xiàn)的內(nèi)容是管理者及業(yè)務(wù)人員最 關(guān)注的指標(biāo)，通過(guò)門戶為他們獲取數(shù)據(jù)提供最簡(jiǎn)單容易的方式。數(shù)據(jù)門戶中展現(xiàn)的內(nèi)容根據(jù)用戶角色不同而有所差異，每個(gè)用戶都可以定制自己關(guān)注的內(nèi)容，實(shí)現(xiàn)真正的個(gè)性化服務(wù)。系統(tǒng)截圖：3O

21、邛比網(wǎng)tilflim* 扎At7i4itm4 920-*0MU9垃1ZikM2M4im -122*2ii mnhft-J T?*丹出牯屮u 1134-UflA12K14d4-4 M%i Mt博 m日歷外折*旳也的月gikiteA白歷乳帝甘業(yè)收人縱向?qū)t2M33JQ34MM5W5WGTJilLi1MWB翊I5*P紺tw10的吊J1112IS157141G1?18忖曲如20212223242526272930Oi訓(xùn)I日i 月層計(jì)fftt：睪拿盍H主題分析數(shù)據(jù)倉(cāng)庫(kù)中的業(yè)務(wù)數(shù)據(jù)通常是面向主題進(jìn)行組織的 。主題分析是 在較高層次上將企業(yè)信息系統(tǒng)的數(shù)據(jù)進(jìn)行歸并 、抽象，形成對(duì)分析 對(duì)象的一個(gè)完整的描述，

22、體現(xiàn)分析數(shù)據(jù)之間的相互關(guān)系，揭示數(shù)據(jù) 規(guī)律和問(wèn)題。主題分析模塊從主題域的角度入手，支撐數(shù)據(jù)資源的組織，支持 數(shù)據(jù)的深入挖掘和分析應(yīng)用，跟蹤、監(jiān)控政策的執(zhí)行情況及實(shí)施效 果，倒逼行政權(quán)力部門認(rèn)真履職、規(guī)范執(zhí)法、優(yōu)化服務(wù)，努力提高政 府效能?？紤]到國(guó)情特點(diǎn)和現(xiàn)狀，主題分析涵蓋了經(jīng)濟(jì)發(fā)展、衛(wèi)生健康、 教育科技、道路交通、機(jī)構(gòu)團(tuán)體、生活服務(wù)、文體娛樂(lè)、安全避 險(xiǎn)、資源環(huán)境、社保就業(yè)、財(cái)稅金融、法律服務(wù)量等八個(gè)主題域相 關(guān)的主題分析功能。即席查詢即席查詢針對(duì)數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的各主題數(shù)據(jù)、統(tǒng)計(jì)報(bào)表、指標(biāo)的 快速檢索，幫助分析人員快速獲得所需要的數(shù)據(jù)和統(tǒng)計(jì)信息。即席 查詢工具通過(guò)提供各種向?qū)浇缑妗D形查詢生成器

23、、聯(lián)機(jī)幫助等 功能，為系統(tǒng)使用人員提供細(xì)粒度數(shù)據(jù)。即席查詢是分析人員的重要的輔助工具，它是在數(shù)據(jù)倉(cāng)庫(kù)的信息 組織基礎(chǔ)上，盡可能多的在后臺(tái)按照分析人員關(guān)心的分析角度沉淀 業(yè)務(wù)知識(shí)，在前端功能上屏蔽后臺(tái)查詢技術(shù)細(xì)節(jié)，為分析人員提供 靈活的業(yè)務(wù)分析查詢角度定制和結(jié)果定制功能，使分析人員在分析 匯總數(shù)據(jù)的同時(shí)能夠通過(guò)即席查詢進(jìn)一步深入到自己感興趣的細(xì)節(jié) 數(shù)據(jù)中，以便更全面地反映情況，做出正確決策。多維分析工具多維分析是商業(yè)智能的核心技術(shù)，可以幫助用戶進(jìn)行多角度、立 體化、靈活動(dòng)態(tài)的分析。多維分析報(bào)表由 維”影響因素）和 指 標(biāo)”衡量因素）組成，能夠真正為用戶所理解、并真實(shí)的反映國(guó)情 特性信息。BI-多

24、維分析工具簡(jiǎn)單易用，無(wú)需編寫任何的代碼，用戶只 需要通過(guò)語(yǔ)義層的定義就可以輕松搭建自己的多維數(shù)據(jù)模型。同時(shí)具有靈活的分析功能、直觀的數(shù)據(jù)操作和分析結(jié)果可視化表示等突 出優(yōu)點(diǎn)，從而使用戶對(duì)基于大量復(fù)雜數(shù)據(jù)的分析變得輕松而高效，以利于迅速做出正確判斷。它可用于證實(shí)人們提出的復(fù)雜的假設(shè)， 以圖形或者表格的形式來(lái)表示的對(duì)信息的總結(jié)。多維分析工具專門設(shè)計(jì)用于支持復(fù)雜的分析操作，側(cè)重對(duì)決策人 員和高層管理人員的決策支持，可以根據(jù)分析人員的要求快速、靈 活地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢處理，并且以一種直觀而易懂的形式 將查詢結(jié)果提供給決策人員，以便他們準(zhǔn)確掌握企業(yè)（公司）的經(jīng) 營(yíng)狀況，了解對(duì)象的需求，制定正確的方

25、案。ETL工具ETL負(fù)責(zé)將分散的、異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù) 文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到數(shù) 據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。ETL是 數(shù)據(jù)倉(cāng)庫(kù)中的非常重要的一環(huán)，它是承前啟后的必要的一步。ETL工具純java編寫，可以在 Window、Linux、Unix上運(yùn)行，綠色無(wú)需安裝，數(shù)據(jù)抽取高效穩(wěn)定。功能強(qiáng)大、靈活，使用簡(jiǎn)單。潼褲進(jìn)理（ETL平臺(tái)架構(gòu)）數(shù)據(jù)抽取就是從數(shù)據(jù)源抽取出所需的數(shù)據(jù)的過(guò)程。數(shù)據(jù)抽取后，再經(jīng)過(guò)數(shù)據(jù)清洗、轉(zhuǎn)換，最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型，將 數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中去。數(shù)據(jù)轉(zhuǎn)換主要用于解決數(shù)據(jù)不一致性問(wèn) 題，數(shù)據(jù)加載

26、就是將從數(shù)據(jù)源系統(tǒng)中抽取、轉(zhuǎn)換后的數(shù)據(jù)加載到數(shù) 據(jù)倉(cāng)庫(kù)系統(tǒng)中。ETL流程管理調(diào)度是ETL過(guò)程中的統(tǒng)一調(diào)度者和指揮 者，它把復(fù)雜的數(shù)據(jù)處理過(guò)程中各個(gè)步驟整合成一個(gè)整體。異常數(shù)據(jù)處理機(jī)制指源數(shù)據(jù)系統(tǒng)中的數(shù)據(jù)本身出錯(cuò)并發(fā)生變更后，對(duì)于正 在抽取、已經(jīng)抽取、已經(jīng)處理、已經(jīng)匯總等各個(gè)環(huán)節(jié)，如何進(jìn)行回退處理的一套機(jī)制。系統(tǒng)截圖:E那斤ftMN爭(zhēng)舌（ETL界面切圖）產(chǎn)品特色：（1）支持 MYSQL/ORACLE/MSSQLSERVER/DB2/ACCESS/達(dá) 夢(mèng)等多種數(shù)據(jù)庫(kù)；（2）支持 Windows/Linux/Solaris/AIX 等多種操作系統(tǒng)；（3）支持txt/csv/xls/xml等多種輸入輸出格式；（4）圖形化ETL操作配置，ETL