倉庫管理_數(shù)據(jù)倉庫的建設(shè)實施

數(shù)據(jù)中心 數(shù)據(jù)倉庫 的建設(shè)實施 深圳海聯(lián)訊科技股份公司張千福 一體化平臺總體拓撲圖 身份管理 認證代理 人員目錄 認證目錄 人力資源 安全生產(chǎn) 物資管理 協(xié)同辦公 營銷管理 財務管理 項目管理 綜合管理 操作型數(shù)據(jù)存儲 ODS 數(shù)據(jù)倉庫 商務智能 全局數(shù)據(jù)字典 公共信息模型 業(yè)務流程集成 業(yè)務數(shù)據(jù)集成 身份認證登錄 數(shù)據(jù)中心 業(yè)務系統(tǒng) 數(shù)據(jù)交換 網(wǎng)省公司 網(wǎng)省公司 安全管理 企業(yè)資源管理平臺 ETL1 運維管理 企業(yè)門戶 單點登錄 基礎(chǔ)支撐功能 個性化定制 多渠道接入 Portlet框架 虛擬門戶 門戶管理與維護 基本應用 擴展應用 展現(xiàn)層的應用集成 Web內(nèi)容管理 搜索 協(xié)同工作 待辦事宜 BI展現(xiàn) 對8大系統(tǒng)中協(xié)同辦公的規(guī)范要求 對應用集成項目的規(guī)范要求 對BI接入的規(guī)范要求 ETL2 基本概念 廣義數(shù)據(jù)中心 數(shù)據(jù)中心是提供所有應用系統(tǒng)的運營場所 數(shù)據(jù)中心也是容納用以支持應用系統(tǒng)運行的基礎(chǔ)設(shè)施 包括服務器 網(wǎng)絡(luò) 存儲設(shè)備 的物理地點 數(shù)據(jù)中心本身的ODS 數(shù)據(jù)倉庫及建立在其上的決策分析應用 數(shù)據(jù)中心需要有一套成熟的運行 維護體系支持其日常運行 保證應用系統(tǒng)高效地不間斷運行 數(shù)據(jù)被正確的訪問狹義數(shù)據(jù)中心 狹義的數(shù)據(jù)中心是指數(shù)據(jù)倉庫和建立在數(shù)據(jù)倉庫之上的決策分析應用 具體包括 數(shù)據(jù)源 數(shù)據(jù)的ETL ODS數(shù)據(jù)庫 數(shù)據(jù)倉庫 數(shù)據(jù)集市 商務智能應用和元數(shù)據(jù)管理等 在此作業(yè)指導書中 除非特別說明數(shù)據(jù)中心都是指俠義的數(shù)據(jù)中心 即數(shù)據(jù)倉庫及建立在數(shù)據(jù)倉庫之上的商務智能和決策分析應用 作業(yè)指導書概述 數(shù)據(jù)倉庫概念 數(shù)據(jù)倉庫是一個面向主題的 集成的 相對穩(wěn)定的 反映歷史變化的數(shù)據(jù)集合 用于支持管理決策 數(shù)據(jù)倉庫可以幫助用戶更好地理解信息 從新的角度看待這些信息 以便獲得更好的洞察力 看到模式和趨勢 并更好地進行商業(yè)決策 數(shù)據(jù)倉庫為整個企業(yè)的需要服務 數(shù)據(jù)倉庫需要訪問不同的數(shù)據(jù)源 需要存儲海量的數(shù)據(jù) 需要對企業(yè)數(shù)據(jù)進行分析 并用適當?shù)姆绞秸宫F(xiàn)給出來 數(shù)據(jù)倉庫的建設(shè)不僅涉及到許多先進的技術(shù) 更涉及到企業(yè)所有的業(yè)務知識 所以說數(shù)據(jù)倉庫不是一個產(chǎn)品 而是一個具體的解決方案 數(shù)據(jù)中心概念 數(shù)據(jù)倉庫概念 背景與目的 建設(shè)步驟建議 迭代關(guān)系 實例說明 整體架構(gòu)圖 O x 數(shù)據(jù)橫向移動V x 數(shù)據(jù)縱向移動 數(shù)據(jù)中心建設(shè)過程 需求分析 邏輯分析 ODS建模 數(shù)據(jù)倉庫建模 源數(shù)據(jù)分析 數(shù)據(jù)的獲取與整合 應用設(shè)計 性能調(diào)優(yōu) 數(shù)據(jù)展現(xiàn) 元數(shù)據(jù)管理 系統(tǒng)建設(shè)過程 迭代式開發(fā) 國網(wǎng)典設(shè)建議的甲方項目組織 海聯(lián)訊的項目組織 實施過程 需求分析 調(diào)研計劃 實際調(diào)研 需求規(guī)格說明書 需求分析 調(diào)研計劃 實際調(diào)研 需求規(guī)格說明書 調(diào)研方式 當面訪談 問卷調(diào)查 訪談及問卷提綱模板請參見附錄2 需求分析 調(diào)研計劃 實際調(diào)研 需求規(guī)格說明書 實例 調(diào)研內(nèi)容 針對不同層面的人員 調(diào)研內(nèi)容不同對企業(yè)領(lǐng)導層領(lǐng)導層目前的工作重點有哪些和此主題相關(guān) 和哪幾個指標相關(guān) 領(lǐng)導層最關(guān)心哪幾個指標 針對這些指標 領(lǐng)導層目前采用何種獲取方式 針對這些指標 領(lǐng)導層目前都進行哪些分析 采用何種分析手段 采用何種分析方法 目前狀況下 針對這些指標都有哪些展現(xiàn)方式 領(lǐng)導層對數(shù)據(jù)倉庫的期望是什么 領(lǐng)導層希望決策分析系統(tǒng)能提供哪些分析功能 領(lǐng)導層希望以何種方式來看這些指標 領(lǐng)導層希望對這些指標進行哪些方面的比較 需求分析 調(diào)研計劃 實際調(diào)研 需求規(guī)格說明書 調(diào)研內(nèi)容 針對不同層面的人員 調(diào)研內(nèi)容不同對中間管理層中間管理層通常需要上報哪些指標 和此分析主題相關(guān)的有哪些指標 平時領(lǐng)導層通常詢問哪些指標 在這些指標中哪幾個和此分析主題有關(guān) 中間管理層目前的工作重點有哪些和此主題相關(guān) 和哪幾個指標相關(guān) 中間管理層本身最關(guān)心哪幾個指標 中間管理層對下屬的工作人員都考核哪些指標 哪幾個指標與此分析主題有關(guān) 針對這些指標 中間管理層目前采用何種獲取方式 針對這些指標 中間管理層目前都進行哪些分析 采用何種分析手段 采用何種分析方法 目前狀況下 針對這些指標都有哪些展現(xiàn)方式 中間管理層對數(shù)據(jù)倉庫的期望是什么 中間管理層希望決策分析系統(tǒng)能提供哪些分析功能 中間管理層希望以何種方式來看這些指標 中間管理層希望對這些指標進行哪些方面的比較 需求分析 調(diào)研計劃 實際調(diào)研 需求規(guī)格說明書 調(diào)研內(nèi)容 針對不同層面的人員 調(diào)研內(nèi)容不同對業(yè)務人員平時工作中最關(guān)心的是哪些指標 有哪幾個指標與此分析主題有關(guān) 平時直屬領(lǐng)導通常詢問哪些指標 在這些指標中哪幾個和此分析主題有關(guān) 業(yè)務人員目前的工作重點有哪些和此主題相關(guān) 和哪幾個指標相關(guān) 業(yè)務人員對數(shù)據(jù)倉庫的期望是什么 業(yè)務人員希望系統(tǒng)能提供哪些分析功能 業(yè)務人員希望以何種方式來看這些指標 業(yè)務人員希望對這些指標進行哪些方面的比較 需求分析 調(diào)研計劃 實際調(diào)研 需求規(guī)格說明書 調(diào)研內(nèi)容 針對不同層面的人員 調(diào)研內(nèi)容不同對IT人員此主題所需要的數(shù)據(jù)源都取自哪些業(yè)務系統(tǒng) 與本主題有關(guān)的現(xiàn)有的業(yè)務系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)怎樣 與本主題有關(guān)的現(xiàn)有的業(yè)務系統(tǒng)的數(shù)據(jù)更新頻率如何 IT人員對數(shù)據(jù)倉庫的期望是什么 IT人員在平時的工作中最關(guān)心的哪些指標 需求分析 調(diào)研計劃 實際調(diào)研 需求規(guī)格說明書 需求規(guī)格說明書需求規(guī)格說明書模板詳見附錄4 實施過程 邏輯分析 單一主題處理邏輯分析從業(yè)務邏輯入手 分析各指標的組成關(guān)系 多主題處理邏輯分析綜合考慮各分析主題間的邏輯關(guān)系 處理邏輯分析 支撐數(shù)據(jù)分析 業(yè)務元數(shù)據(jù)建立 邏輯分析 單一主題支撐數(shù)據(jù)分析單個主題分析所需要的原始支撐數(shù)據(jù)分析多主題支撐數(shù)據(jù)分析所有主題統(tǒng)一考慮做需要的支撐數(shù)據(jù)分析 處理邏輯分析 支撐數(shù)據(jù)分析 業(yè)務元數(shù)據(jù)建立 邏輯分析 業(yè)務元數(shù)據(jù)包括以下信息 使用者的業(yè)務術(shù)語所表達的數(shù)據(jù)模型 對象名和屬性名 訪問數(shù)據(jù)的原則和數(shù)據(jù)來源 系統(tǒng)所提供的分析方法及公式 報表信息 處理邏輯分析 支撐數(shù)據(jù)分析 業(yè)務元數(shù)據(jù)建立 實施過程 ODS建模 ODS邏輯模型邏輯結(jié)構(gòu) 完成實體的定義 各實體間的關(guān)系等存儲周期 立即刪除 過一段時間刪除或者是備份到其它介質(zhì)上 存儲粒度 與源系統(tǒng)基本保持一致 ODS物理模型數(shù)據(jù)的存儲結(jié)構(gòu)索引策略數(shù)據(jù)存放位置 硬盤或磁帶等 存儲分配分區(qū)設(shè)計 邏輯模型 物理模型 驗證實例 ODS建模 邏輯模型 物理模型 驗證實例 實施過程 需求分析 邏輯分析 ODS建模 數(shù)據(jù)倉庫建模 源數(shù)據(jù)分析 數(shù)據(jù)的獲取與整合 應用設(shè)計 性能調(diào)優(yōu) 數(shù)據(jù)展現(xiàn) 元數(shù)據(jù)管理 系統(tǒng)建設(shè)過程 數(shù)據(jù)倉庫建模 數(shù)據(jù)倉庫邏輯模型劃分粒度層次確定數(shù)據(jù)分割策略確定存儲周期定義關(guān)系模式數(shù)據(jù)倉庫物理模型數(shù)據(jù)的存儲結(jié)構(gòu)索引策略數(shù)據(jù)存放位置 硬盤或磁帶等 存儲分配分區(qū)設(shè)計 邏輯模型 物理模型 驗證實例 數(shù)據(jù)倉庫建模 邏輯模型 物理模型 驗證實例 實施過程 數(shù)據(jù)源分析 數(shù)據(jù)源范圍包括數(shù)據(jù)源邏輯范圍和物理范圍數(shù)據(jù)源格式理解各數(shù)據(jù)源的格式 確定統(tǒng)一的格式 制定相應的轉(zhuǎn)換規(guī)則 數(shù)據(jù)源范圍 數(shù)據(jù)源格式 數(shù)據(jù)量 數(shù)據(jù)質(zhì)量 數(shù)據(jù)更新頻率 數(shù)據(jù)源分析 ORACLE數(shù)據(jù)源 數(shù)據(jù)源范圍 數(shù)據(jù)源格式 數(shù)據(jù)量 數(shù)據(jù)質(zhì)量 數(shù)據(jù)更新頻率 數(shù)據(jù)源分析 SYBASE數(shù)據(jù)源 數(shù)據(jù)源范圍 數(shù)據(jù)源格式 數(shù)據(jù)量 數(shù)據(jù)質(zhì)量 數(shù)據(jù)更新頻率 數(shù)據(jù)源分析 數(shù)據(jù)源范圍 數(shù)據(jù)源格式 數(shù)據(jù)量 數(shù)據(jù)質(zhì)量 數(shù)據(jù)更新頻率 數(shù)據(jù)源分析 數(shù)據(jù)源范圍 數(shù)據(jù)源格式 數(shù)據(jù)量 數(shù)據(jù)質(zhì)量 數(shù)據(jù)更新頻率 數(shù)據(jù)源分析 數(shù)據(jù)源范圍 數(shù)據(jù)源格式 數(shù)據(jù)量 數(shù)據(jù)質(zhì)量 數(shù)據(jù)更新頻率 實施過程 數(shù)據(jù)的獲取與整合 直接抽取ETL服務器直接連接到應用系統(tǒng)后臺數(shù)據(jù)庫中 直接抽取所需數(shù)據(jù) 采用這種抽取方式時 必須注意安全控制和抽取時間窗口兩個問題 WEB服務通過WEB服務獲取系統(tǒng)需要的數(shù)據(jù)的抽取方式 文件交換文件交換是指應用系統(tǒng)將需要抽取的業(yè)務數(shù)據(jù)保存為有格式的文本文件 然后ETL服務器通過讀此文件內(nèi)容來獲取業(yè)務數(shù)據(jù)的數(shù)據(jù)抽取方式 數(shù)據(jù)獲取方式 數(shù)據(jù)轉(zhuǎn)換方式 數(shù)據(jù)裝載方式 數(shù)據(jù)的獲取與整合 字段映射代碼轉(zhuǎn)換字段拆分字段合并字段運算字段補充行列轉(zhuǎn)換 數(shù)據(jù)獲取方式 數(shù)據(jù)轉(zhuǎn)換方式 數(shù)據(jù)裝載方式 數(shù)據(jù)的獲取與整合 全部覆蓋記錄追加記錄更新 數(shù)據(jù)獲取方式 數(shù)據(jù)轉(zhuǎn)換方式 數(shù)據(jù)裝載方式 實施過程 應用設(shè)計 OLAP分析方法ROLAPMOLAPHOLAP OLAP分析 預定義報表 即席查詢 數(shù)據(jù)挖掘 應用設(shè)計 OLAP分析 預定義報表 即席查詢 數(shù)據(jù)挖掘 應用設(shè)計 預定義報表對單報表可以直接從數(shù)據(jù)庫中取出數(shù)據(jù)進行分析展現(xiàn) 同一主題的多個報表間有較強的關(guān)聯(lián) 有些數(shù)據(jù)會在多個報表中以不同方式出現(xiàn) 因此 可以對多個報表進行整合 OLAP分析 預定義報表 即席查詢 數(shù)據(jù)挖掘 應用設(shè)計 即席查詢基于單個事實表的即席查詢基于多個事實表關(guān)聯(lián)的即席查詢 OLAP分析 預定義報表 即席查詢 數(shù)據(jù)挖掘 應用設(shè)計 數(shù)據(jù)挖掘定義問題 清晰地定義出業(yè)務問題 確定數(shù)據(jù)挖掘的目的 數(shù)據(jù)準備 包括 選擇數(shù)據(jù) 在大型數(shù)據(jù)庫和數(shù)據(jù)倉庫目標中提取數(shù)據(jù)挖掘的目標數(shù)據(jù)集 數(shù)據(jù)預處理 進行數(shù)據(jù)再加工 包括檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性 去噪聲 填補丟失的域 刪除無效數(shù)據(jù)等 數(shù)據(jù)挖掘 根據(jù)數(shù)據(jù)功能的類型和和數(shù)據(jù)的特點選擇相應的算法 在凈化和轉(zhuǎn)換過的數(shù)據(jù)集上進行數(shù)據(jù)挖掘 結(jié)果分析 對數(shù)據(jù)挖掘的結(jié)果進行解釋和評價 轉(zhuǎn)換成為能夠最終被用戶理解的知識 知識運用 將分析所得到的知識集成到業(yè)務信息系統(tǒng)的組織結(jié)構(gòu)中去 OLAP分析 預定義報表 即席查詢 數(shù)據(jù)挖掘 實施過程 性能調(diào)優(yōu) 優(yōu)化指標對系統(tǒng)性能進行評估 得出相關(guān)性能指標綜合各種相關(guān)因素 得出各項指標的期望值優(yōu)化步驟根據(jù)經(jīng)驗調(diào)整 無固定的步驟 匯報內(nèi)容 數(shù)據(jù)展示 展現(xiàn)內(nèi)容展現(xiàn)數(shù)據(jù)以及展現(xiàn)格式展現(xiàn)方式報表圖形圖標展現(xiàn)方法打印報表電子報表WEB發(fā)布 展現(xiàn)界面設(shè)計 前端展現(xiàn) 實施過程 元數(shù)據(jù)管理流程 元數(shù)據(jù)管理 元數(shù)據(jù)模型采用公共倉庫元模型 CommonWarehouseMetamodel 簡稱CWM CWM的主要目的是在異構(gòu)環(huán)境下 幫助不同的數(shù)據(jù)中心工具 平臺和元數(shù)據(jù)知識庫進行元數(shù)據(jù)交換 CWM為數(shù)據(jù)倉庫和商業(yè)智能 BI 工具之間共享元數(shù)據(jù) 制定了一整套關(guān)于語法和語義的規(guī)范 元數(shù)據(jù)管理涉及到數(shù)據(jù)倉庫構(gòu)造 運行 維護的整個生命周期 是數(shù)據(jù)倉庫構(gòu)建過程中十分重要的一環(huán) 元數(shù)據(jù)以數(shù)據(jù)庫存儲 集中管理控制 元數(shù)據(jù)模型 元數(shù)據(jù)管理 元數(shù)據(jù)報告 元數(shù)據(jù)導入導出 元數(shù)據(jù)管理 元數(shù)據(jù)的存儲 元數(shù)據(jù)應以數(shù)據(jù)庫存儲 便于管理 維護和擴展 數(shù)據(jù)交換 支持以XML等標準進行數(shù)據(jù)交換 應用編程接口 API 通過API接入為元數(shù)據(jù)管理提供所需的靈活性 元數(shù)據(jù)集中控制 元數(shù)據(jù)為整個經(jīng)營分析系統(tǒng)的信息資源提供了記錄 應對元數(shù)據(jù)集中管理控制 以確保信息的一致性和準確性 影響分析 從元數(shù)據(jù)中發(fā)現(xiàn)任何變化給全局帶來的影響 確定某個實體的用途和與其它實體的關(guān)聯(lián) 版本控制 指測試和生產(chǎn)過程中的版本控制 應按部門進行 允許多個開發(fā)人員同時開發(fā)項目 并且開發(fā)人員可以根據(jù)要求修改對象 而不影響其他開發(fā)人員 元數(shù)據(jù)模型 元數(shù)據(jù)管理 元數(shù)據(jù)報告 元數(shù)據(jù)導入導出 元數(shù)據(jù)管理 邏輯模型報告實體 實體屬性 數(shù)據(jù)類型關(guān)系 實體之間的關(guān)系維度 維度定義 層次 屬性 度量 維度 計算公式物理模型報告表 視圖匯總表立方體存儲模式ETL報告數(shù)據(jù)映射關(guān)系數(shù)據(jù)裝載過程 元數(shù)據(jù)模型 元數(shù)據(jù)管理 元數(shù)據(jù)報告 元數(shù)據(jù)導入導出 元數(shù)據(jù)管理 元數(shù)據(jù)管理需要遵循OMG CWM元數(shù)據(jù)標準 元數(shù)據(jù)庫中的內(nèi)容可以按CWM的標準導出 提供給其它軟件 也可以從其它工具中導入元數(shù)據(jù) 元數(shù)據(jù)模型 元數(shù)據(jù)管理 元數(shù)據(jù)報告 元數(shù)據(jù)導入導出 以數(shù)據(jù)為驅(qū)動的快速實施 我們有什么可供分析的數(shù)據(jù) 收集數(shù)據(jù)樣本 快速開發(fā)界面原型并確認 對有價值的原型進行深入數(shù)據(jù)分析 確定數(shù)據(jù)提供策略和方式 模型固化 數(shù)據(jù)貫通 在省公司數(shù)據(jù)中心架構(gòu)已經(jīng)實現(xiàn)的基礎(chǔ)上 以集中式的數(shù)據(jù)中心建設(shè) 可以采用快速實施的方法 調(diào)整與性能優(yōu)化 多年數(shù)據(jù)倉庫的建設(shè)體會 1 數(shù)據(jù)展現(xiàn)的開發(fā)和準確數(shù)據(jù)的數(shù)據(jù) 是能否做好倉庫的基礎(chǔ) 形式很重要 2 只要有好的數(shù)據(jù)就可以開展一定的工作 不一定要等應用系統(tǒng)建設(shè)成功才開展 3 數(shù)據(jù)模型并不是最重要的事情 分析模型的建立往往取決于分析的要求 對于大家追求的數(shù)據(jù)共享和分析的通用模型 取決于數(shù)據(jù)源 這個工作應該在業(yè)務系統(tǒng)層面去實現(xiàn) 通用的共享視圖模型可以是虛擬存在的 比如采用數(shù)據(jù)庫視圖來實現(xiàn) 4 數(shù)據(jù)集中很重要 沒有數(shù)據(jù)的集中 就會失去動力和基礎(chǔ) 數(shù)據(jù)有了量的積庫累 一定是有文章做的 分析模型的抽象一定是在大量數(shù)據(jù)的基礎(chǔ)上的 對于每個業(yè)務系統(tǒng) 我們一定要廠家提供數(shù)據(jù)庫設(shè)計文檔 最好安排