數(shù)據(jù)倉(cāng)庫(kù)BI實(shí)施方法論.ppt

1、主講人：黃侃 湖北電信數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目組 2006年12月,湖北電信經(jīng)營(yíng)分析與決策支持系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法論,2,實(shí)現(xiàn)功能,實(shí)施計(jì)劃,總體目標(biāo),成功因素,組織架構(gòu),議程,3,基本情況,項(xiàng)目名稱：湖北電信經(jīng)營(yíng)分析與決策支持系統(tǒng) 項(xiàng)目周期： 啟動(dòng)時(shí)間2007年01月08日（暫定） 初驗(yàn)時(shí)間2008年02月29日 終驗(yàn)時(shí)間2008年08月29日 項(xiàng)目范圍： 地域跨度省公司17個(gè)本地網(wǎng) 時(shí)間跨度06年本地網(wǎng)老系統(tǒng)數(shù)據(jù)BOSS上線后所有數(shù)據(jù) 數(shù)據(jù)跨度 省公司：BOSS、結(jié)算、渠道、財(cái)務(wù)、綜合統(tǒng)計(jì) 本地網(wǎng)：97、計(jì)費(fèi)、10000號(hào),HOT,4,NCR數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法論,5,數(shù)據(jù)倉(cāng)庫(kù)管理,物理數(shù)據(jù)模型,數(shù)據(jù)轉(zhuǎn)換

2、,應(yīng)用開發(fā),數(shù)據(jù)挖掘 服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,項(xiàng)目具體實(shí)施步驟,項(xiàng)目前期準(zhǔn)備,業(yè)務(wù)探索,信息探索,邏輯數(shù)據(jù) 模型,1. 項(xiàng)目前期準(zhǔn)備 2. 業(yè)務(wù)探索（Business Discovery) 3. 信息探索（Information Discovery) 4. 邏輯數(shù)據(jù)模型設(shè)計(jì) 5. 系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì) 6. 物理數(shù)據(jù)庫(kù)設(shè)計(jì) 7. 數(shù)據(jù)轉(zhuǎn)換加載ETL 8. 前端應(yīng)用開發(fā) 9. 數(shù)據(jù)挖掘服務(wù) 10.元數(shù)據(jù)管理 11.數(shù)據(jù)倉(cāng)庫(kù)管理（處理流程與操作） 12.解決方案集成（測(cè)試驗(yàn)收與試運(yùn)行）,項(xiàng)目具體實(shí)施步驟,6,主要任務(wù)： 項(xiàng)目啟動(dòng)會(huì)議(Kick-off Meeting) 確認(rèn)項(xiàng)

3、目范圍和主要目標(biāo) 確認(rèn)項(xiàng)目階段性驗(yàn)收及總體驗(yàn)收標(biāo)準(zhǔn) 確認(rèn)項(xiàng)目實(shí)施計(jì)劃 成立項(xiàng)目組 確定各項(xiàng)目小組的成員及各自的工作職責(zé) 確定各項(xiàng)目小組的階段性工作目標(biāo) 確定教育訓(xùn)練計(jì)劃 確定服務(wù)流程及方式 交付項(xiàng)目： 項(xiàng)目組織機(jī)構(gòu) 項(xiàng)目人員組成,項(xiàng)目前期準(zhǔn)備,業(yè)務(wù)探索,信息探索,邏輯數(shù)據(jù) 模型,1. 項(xiàng)目前期準(zhǔn)備,7,主要任務(wù)： 確定重點(diǎn)用戶與數(shù)據(jù)源 用戶需求調(diào)研與確認(rèn) 數(shù)據(jù)源確認(rèn) 用戶需求和數(shù)據(jù)源的篩選和分析 交付項(xiàng)目： 業(yè)務(wù)需求說(shuō)明書 BRL ( Business Requirement List ),項(xiàng)目前期準(zhǔn)備,業(yè)務(wù)探索,信息探索,邏輯數(shù)據(jù) 模型,2. 業(yè)務(wù)探索,8,主要任務(wù)： 分析用戶需求 數(shù)據(jù)源分

4、析 進(jìn)行工具評(píng)估 系統(tǒng)安全性設(shè)計(jì) 系統(tǒng)命名規(guī)范設(shè)計(jì) 交付項(xiàng)目： 系統(tǒng)安全性設(shè)計(jì)說(shuō)明書 系統(tǒng)命名規(guī)范說(shuō)明書 數(shù)據(jù)質(zhì)量分析,項(xiàng)目前期準(zhǔn)備,業(yè)務(wù)探索,信息探索,邏輯數(shù)據(jù) 模型,3. 信息探索,9,主要任務(wù)： 進(jìn)行原始數(shù)據(jù)分析 建立實(shí)體模型 建立實(shí)體間依賴關(guān)系 完善并填入所有屬性 建立數(shù)據(jù)庫(kù)邏輯模型 利用工具： ERWin 交付項(xiàng)目： 功能需求列表FRL ( Functional Requirement List ) 數(shù)據(jù)倉(cāng)庫(kù)邏輯數(shù)據(jù)模型LDM 邏輯數(shù)據(jù)模型說(shuō)明書,項(xiàng)目前期準(zhǔn)備,業(yè)務(wù)探索,信息探索,邏輯數(shù)據(jù) 模型,建模方法： 第三范式 3NF,4. 邏輯數(shù)據(jù)模型設(shè)計(jì),10,4. 邏輯數(shù)據(jù)模型設(shè)計(jì)實(shí)例,

5、11,主要任務(wù)： 源系統(tǒng)現(xiàn)況 NCR可擴(kuò)展數(shù)據(jù)倉(cāng)庫(kù)框架結(jié)構(gòu) 定義數(shù)據(jù)倉(cāng)庫(kù)成功的關(guān)鍵因素 定義數(shù)據(jù)倉(cāng)庫(kù)的實(shí)施原則 對(duì)系統(tǒng)體系結(jié)構(gòu)各個(gè)組件進(jìn)行詳細(xì)設(shè)計(jì) 交付項(xiàng)目： 系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì)說(shuō)明書,數(shù)據(jù)倉(cāng)庫(kù)管理,物理數(shù)據(jù) 模型,數(shù)據(jù)轉(zhuǎn)換,應(yīng)用開發(fā),數(shù)據(jù)挖掘 服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,5. 系統(tǒng)體系架構(gòu)設(shè)計(jì),12,用戶類型 拓?fù)浣Y(jié)構(gòu) 網(wǎng)絡(luò)存取與互連 組織機(jī)構(gòu) 安全性 數(shù)據(jù)體系結(jié)構(gòu) 邏輯數(shù)據(jù)模型 元數(shù)據(jù) 數(shù)據(jù)質(zhì)量 命名規(guī)范 數(shù)據(jù)采集與轉(zhuǎn)換 用戶存取及工具 備份系統(tǒng) 操作管理,5. 系統(tǒng)體系架構(gòu)設(shè)計(jì)內(nèi)容,13,主要任務(wù)： 轉(zhuǎn)換邏輯數(shù)據(jù)模型（LDM）為物理數(shù)據(jù)模型 定義主索引、次索引 非正規(guī)

6、化處理（demoralizations） 數(shù)據(jù)庫(kù)建立 設(shè)計(jì)優(yōu)化 數(shù)據(jù)庫(kù)功能測(cè)試 使用工具： ERWin 交付項(xiàng)目： 物理數(shù)據(jù)模型（PDM） 物理數(shù)據(jù)模型說(shuō)明書 數(shù)據(jù)庫(kù)描述語(yǔ)言DDL,數(shù)據(jù)倉(cāng)庫(kù)管理,物理數(shù)據(jù) 模型,數(shù)據(jù)轉(zhuǎn)換,應(yīng)用開發(fā),數(shù)據(jù)挖掘 服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,6. 物理數(shù)據(jù)模型設(shè)計(jì),14,6. 物理數(shù)據(jù)模型設(shè)計(jì)實(shí)例,15,主要任務(wù)： 數(shù)據(jù)源及其特性定義 數(shù)據(jù)析取、轉(zhuǎn)換和加載策略設(shè)計(jì) 構(gòu)建和測(cè)試初始加載的程序和處理流程 構(gòu)建和測(cè)試日常加載的程序和處理流程 60%70 %的工作量在數(shù)據(jù)轉(zhuǎn)換與加載上 使用工具： Teradata數(shù)據(jù)加載實(shí)用程序、C、Ksh、Perl

7、交付項(xiàng)目： 數(shù)據(jù)轉(zhuǎn)換加載設(shè)計(jì)說(shuō)明書 數(shù)據(jù)映射 （Data Mapping）說(shuō)明書 數(shù)據(jù)轉(zhuǎn)換加載腳本 （ ETL Scripts) 加載流程控制（ ETL Process Control),數(shù)據(jù)倉(cāng)庫(kù)管理,物理數(shù)據(jù) 模型,數(shù)據(jù)轉(zhuǎn)換,應(yīng)用開發(fā),數(shù)據(jù)挖掘 服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,7. 數(shù)據(jù)抽取轉(zhuǎn)換與加載（ETL）,16,主要任務(wù)： 前端應(yīng)用體系結(jié)構(gòu)設(shè)計(jì) OLAP應(yīng)用設(shè)計(jì)(Summary/Fact表及Cube的產(chǎn)生） 前端應(yīng)用開發(fā)（隨機(jī)查詢、預(yù)定義報(bào)表、 OLAP應(yīng)用） 撰寫用戶使用手冊(cè) 用戶測(cè)試驗(yàn)收 使用工具： 查詢報(bào)表工具 OLAP工具（Brio,Cognos,MicroS

8、trategy) 基于Web的開發(fā)工具(InterDev,ColdFusion) 其他開發(fā)工具 交付項(xiàng)目： 前端應(yīng)用體系結(jié)構(gòu)設(shè)計(jì)說(shuō)明書 應(yīng)用模塊設(shè)計(jì)說(shuō)明書 用戶使用手冊(cè) ,數(shù)據(jù)倉(cāng)庫(kù)管理,物理數(shù)據(jù) 模型,數(shù)據(jù)轉(zhuǎn)換,應(yīng)用開發(fā),數(shù)據(jù)挖掘 服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,8. 前端應(yīng)用開發(fā),17,知識(shí)發(fā)現(xiàn)和知識(shí)應(yīng)用 - 找到隱藏在數(shù)據(jù)背后的信息，并將發(fā)現(xiàn)的 知識(shí)應(yīng)用于某種目標(biāo),主要任務(wù)： 業(yè)務(wù)理解和需求理解 數(shù)據(jù)挖掘體系結(jié)構(gòu)設(shè)計(jì)和技術(shù)準(zhǔn)備 數(shù)據(jù)理解和數(shù)據(jù)準(zhǔn)備 分析建模和模型評(píng)估 知識(shí)應(yīng)用和知識(shí)轉(zhuǎn)移 使用工具： Teradata Warehouse Miner SAS Clementi

9、ne 交付項(xiàng)目： 數(shù)據(jù)挖掘需求說(shuō)明書 分析模型設(shè)計(jì)說(shuō)明書 分析模型及分析過(guò)程,數(shù)據(jù)倉(cāng)庫(kù)管理,物理數(shù)據(jù) 模型,數(shù)據(jù)轉(zhuǎn)換,應(yīng)用開發(fā),數(shù)據(jù)挖掘 服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,9. 數(shù)據(jù)挖掘服務(wù),18,Teradata數(shù)據(jù)挖掘方法論,19,元數(shù)據(jù)(Metadata) 是指關(guān)于數(shù)據(jù)的數(shù)據(jù)，即用來(lái)描述數(shù)據(jù)的類型、來(lái)源、定義、存儲(chǔ)位置，使得業(yè)務(wù)用戶可以正確地使用數(shù)據(jù)倉(cāng)庫(kù)。,主要任務(wù)： 定義元數(shù)據(jù)使用功能 設(shè)計(jì)元數(shù)據(jù)環(huán)境邏輯結(jié)構(gòu) 設(shè)計(jì)元數(shù)據(jù)環(huán)境物理結(jié)構(gòu) 選擇合適的元數(shù)據(jù)管理工具 建立元數(shù)據(jù)倉(cāng)庫(kù)（Metadata Repository) 建立和測(cè)試元數(shù)據(jù)接口 使用工具： Teradata M

10、etadata Service 交付項(xiàng)目： 元數(shù)據(jù)管理說(shuō)明書,數(shù)據(jù)倉(cāng)庫(kù)管理,物理數(shù)據(jù) 模型,數(shù)據(jù)轉(zhuǎn)換,應(yīng)用開發(fā),數(shù)據(jù)挖掘 服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,10. 元數(shù)據(jù)管理,20,主要任務(wù)： 設(shè)計(jì)和開發(fā)數(shù)據(jù)倉(cāng)庫(kù)支持體系結(jié)構(gòu) 開發(fā)和測(cè)試數(shù)據(jù)倉(cāng)庫(kù)日常運(yùn)作流程 開發(fā)和測(cè)試性能監(jiān)視程序 開發(fā)和測(cè)試數(shù)據(jù)備份與恢復(fù)程序 開發(fā)和測(cè)試安全系統(tǒng) 設(shè)計(jì)和開發(fā)操作人員/最終用戶培訓(xùn)計(jì)劃 建立用戶支持和培訓(xùn)材料 使用工具： 系統(tǒng)監(jiān)控工具和管理工具 交付項(xiàng)目： 數(shù)據(jù)倉(cāng)庫(kù)管理過(guò)程說(shuō)明書 數(shù)據(jù)備份過(guò)程設(shè)計(jì)說(shuō)明書 安全管理模塊設(shè)計(jì)說(shuō)明書 用戶培訓(xùn)計(jì)劃及用戶使用手冊(cè),數(shù)據(jù)倉(cāng)庫(kù)管理,物理數(shù)據(jù) 模型,數(shù)據(jù)轉(zhuǎn)換,應(yīng)

11、用開發(fā),數(shù)據(jù)挖掘 服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,11. 數(shù)據(jù)倉(cāng)庫(kù)管理,21,主要任務(wù)： 建立并執(zhí)行集成測(cè)試計(jì)劃 建立并執(zhí)行數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)測(cè)試計(jì)劃 建立并執(zhí)行系統(tǒng)驗(yàn)收測(cè)試計(jì)劃 移植開發(fā)系統(tǒng)到生產(chǎn)系統(tǒng) 執(zhí)行用戶培訓(xùn)計(jì)劃 實(shí)施數(shù)據(jù)倉(cāng)庫(kù)管理基礎(chǔ)設(shè)施 項(xiàng)目實(shí)施完成 回顧項(xiàng)目狀態(tài) 交付項(xiàng)目： 數(shù)據(jù)轉(zhuǎn)換管理系統(tǒng)測(cè)試報(bào)告 數(shù)據(jù)訪問(wèn)和信息發(fā)布系統(tǒng)測(cè)試報(bào)告 數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)測(cè)試報(bào)告 數(shù)據(jù)倉(cāng)庫(kù)管理過(guò)程測(cè)試報(bào)告,數(shù)據(jù)倉(cāng)庫(kù)管理,物理數(shù)據(jù) 模型,數(shù)據(jù)轉(zhuǎn)換,應(yīng)用開發(fā),數(shù)據(jù)挖掘 服務(wù),系統(tǒng)體系結(jié)構(gòu)設(shè)計(jì),元數(shù)據(jù)管理,解決方案集成,12. 解決方案集成（驗(yàn)收與運(yùn)行）,22,Methodology,進(jìn)度,需求,成本,風(fēng)險(xiǎn),風(fēng)險(xiǎn),項(xiàng)目,客戶期望,NCR 業(yè)務(wù)目標(biāo),項(xiàng)目管理環(huán)境 在客戶的期望值和NCR所要達(dá)成的業(yè)務(wù)目標(biāo)中之間持續(xù)進(jìn)行平衡 在需求、進(jìn)度和成本三者同時(shí)制約條件下交付項(xiàng)目成果。,數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目管理,23,方