煙草行業(yè)數(shù)據(jù)中心基本介紹

數(shù)據(jù)中心基本介紹中軟國際·2008.06中國煙草CHINATOBACCO數(shù)據(jù)中心在煙草什么是數(shù)據(jù)中心？在線聯(lián)機分析OLAP數(shù)據(jù)挖掘數(shù)據(jù)展現(xiàn)數(shù)據(jù)倉庫商業(yè)智能系統(tǒng)管理決策電子商務電子政務ERP市場信息……信息系統(tǒng)層

數(shù)據(jù)中心（datacenter簡稱DC）是商業(yè)智能應用在煙草行業(yè)發(fā)展應用的特定叫法，從商業(yè)智能的角度理解數(shù)據(jù)中心，煙草行業(yè)信息化建設發(fā)展到一定程度，具有一定的數(shù)據(jù)積累，并以數(shù)據(jù)倉庫（DataWarehousing）、聯(lián)機分析處理（OLAP）、數(shù)據(jù)挖掘（DataMining）等技術為基礎，以數(shù)據(jù)集中、查詢、分析、知識發(fā)現(xiàn)為手段，采用的一系列方法、技術和軟件的總和

。數(shù)據(jù)數(shù)據(jù)統(tǒng)計、挖掘、智能信息與知識E抽取T轉(zhuǎn)換C清洗L裝載數(shù)據(jù)存放層數(shù)據(jù)分析層知識分析層戰(zhàn)略決策層數(shù)據(jù)中心在煙草《數(shù)據(jù)煙草發(fā)展綱要》統(tǒng)一平臺、統(tǒng)一數(shù)據(jù)庫、統(tǒng)一網(wǎng)絡、統(tǒng)一行業(yè)數(shù)據(jù)中心建設。數(shù)據(jù)中心建設要在保證不同業(yè)務系統(tǒng)數(shù)據(jù)相對獨立的基礎上，建立數(shù)據(jù)交換和共享機制，通過對數(shù)據(jù)的加工、清洗、傳遞和交換，實現(xiàn)行業(yè)公用數(shù)據(jù)的標準化、一致化，建成基于不同類型業(yè)務主題的高水平數(shù)據(jù)應用環(huán)境，實行數(shù)出一門，信息共享。行業(yè)要建設國家局（總公司）、省級局與工業(yè)公司、基層工商企業(yè)三級數(shù)據(jù)中心，逐步向上集中。在國家局（總公司）數(shù)據(jù)中心的統(tǒng)一管理下，要通過數(shù)據(jù)整合，按照一定的規(guī)則和權限，在行業(yè)內(nèi)部實行各取所需、授權訪問，做到信息共享?！稛煵菪袠I(yè)數(shù)據(jù)中心建設實施意見》行業(yè)數(shù)據(jù)中心建設的總體目標是：構建以信息資源標準為基礎的數(shù)據(jù)交換平臺、數(shù)據(jù)存儲平臺和信息服務平臺。通過數(shù)據(jù)的收集、存儲、加工，產(chǎn)生全面、準確、及時的信息資源，實現(xiàn)資源整合，信息共享；通過信息資源的分析、決策、執(zhí)行、反饋，建立全面準確量化的管理體系，實現(xiàn)管理從定性向定量、由靜態(tài)向動態(tài)、由事后向?qū)崟r的轉(zhuǎn)變，提升行業(yè)經(jīng)營管理水平，提高行業(yè)整體競爭實力。5數(shù)據(jù)中心建設思路《煙草行業(yè)數(shù)據(jù)中心建設實施意見》煙草行業(yè)數(shù)據(jù)中心由國家局和省級公司兩級數(shù)據(jù)中心構成，由信息資源標準、數(shù)據(jù)交換服務、數(shù)據(jù)加工存儲、數(shù)據(jù)分析應用和信息安全保障五個基本體系組成，應用包括國家局、省級公司和工商企業(yè)三級用戶。把握基礎信息就等于把握信息化建設價值數(shù)據(jù)集成統(tǒng)一交換信息整合輔助決策建立企業(yè)內(nèi)部統(tǒng)一的信息資源標準，統(tǒng)一企業(yè)內(nèi)部的數(shù)據(jù)口徑與理解，提高數(shù)據(jù)質(zhì)量，同時為后續(xù)建設系統(tǒng)提供指導。信息集成，建立中心數(shù)據(jù)庫。通過數(shù)據(jù)中心項目中的中心數(shù)據(jù)庫建設，統(tǒng)一數(shù)據(jù)出口，進行數(shù)據(jù)管理，實現(xiàn)數(shù)出一門。實現(xiàn)數(shù)據(jù)采集渠道統(tǒng)一，消除信息孤島。避免大量私有接口，減少后續(xù)系統(tǒng)開發(fā)的復雜度，避免牽一發(fā)動全身現(xiàn)象，保持業(yè)務系統(tǒng)獨立性建立數(shù)據(jù)中心，梳理業(yè)務流程，打破系統(tǒng)邊界、職能界限，實現(xiàn)有效的信息整合。實現(xiàn)數(shù)據(jù)向知識的轉(zhuǎn)換，充分體現(xiàn)事前預測、事中監(jiān)控、事后分析原則。統(tǒng)一規(guī)范建立企業(yè)內(nèi)部統(tǒng)一的信息資源標準，統(tǒng)一企業(yè)內(nèi)部的數(shù)據(jù)口徑與理解，提高數(shù)據(jù)質(zhì)量，同時為后續(xù)建設系統(tǒng)提供指導。響應國家局幾個統(tǒng)一的要求能夠真正有效的管理信息系統(tǒng)使企業(yè)內(nèi)部規(guī)范為企業(yè)高層領導服務提高系統(tǒng)肯定率整體構架數(shù)據(jù)運行保障體系信息資源標準體系數(shù)據(jù)交換服務體系數(shù)據(jù)源數(shù)據(jù)存儲加工體系企業(yè)內(nèi)部數(shù)據(jù)數(shù)據(jù)分析應用體系行業(yè)平臺數(shù)據(jù)傳輸通道卷包數(shù)采MES數(shù)據(jù)ETL工具報表，OLAP分析企業(yè)級數(shù)據(jù)倉庫代碼中心其他··············錄入導入數(shù)據(jù)中心架構能源系統(tǒng)制絲集控其他系統(tǒng)99中軟國際在數(shù)據(jù)中心項目中做什么？工藝過程質(zhì)量效率可控柔性化生產(chǎn)隨需應變重點難點卷煙生產(chǎn)供應鏈的啟發(fā)：讓用戶明確工作及定位利用各種工具搭建數(shù)據(jù)中心加工環(huán)境，分析業(yè)務及用戶需求建立各種分析及應用做的事情：搭建“加工環(huán)境”的產(chǎn)品比較ArcplanBusinessObjectsXIMSTR潤乾報表數(shù)據(jù)源抽取、轉(zhuǎn)換、加載業(yè)務數(shù)據(jù)集市企業(yè)數(shù)據(jù)倉庫IBMDB2UDBOracleEnterpriseETL元數(shù)據(jù)前端分析展現(xiàn)工具查詢工具、應用InformaticaPowerCenterIBMDatastageWII存儲過程DB2CubeviewHyperionEssbase11公司數(shù)據(jù)中心優(yōu)勢融入數(shù)據(jù)管控的思想，可保障數(shù)據(jù)質(zhì)量數(shù)據(jù)是數(shù)據(jù)中心建設的核心，質(zhì)量是數(shù)據(jù)中心建設的靈魂國家局的戰(zhàn)略伙伴，了解行業(yè)趨勢，，熟悉業(yè)務，可建設前瞻性項目保持項目建設的鮮活性與各公司相比案例最多，可借鑒的項目經(jīng)驗多在多個數(shù)據(jù)中心建設項目中獲得啟發(fā)，取長補短不僅有自己的產(chǎn)品，可靈活利用非本公司產(chǎn)品靈活應用各種相關產(chǎn)品12

系統(tǒng)目標2.信息資源標準管理系統(tǒng)設計

統(tǒng)一信息資源管理是煙草數(shù)據(jù)中心系統(tǒng)建設的基礎。在項目建設中，必須建立一套信息資源標準管理體系以及與此相適應的工作機制，對煙草所使用的代碼和信息資源進行統(tǒng)一的管理。通過基礎代碼、指標體系、信息資源的統(tǒng)一，形成數(shù)據(jù)交換和數(shù)據(jù)應用的支撐，為系統(tǒng)集成、信息共享打好基礎。信息資源標準管理平臺業(yè)務系統(tǒng)新業(yè)務系統(tǒng)業(yè)務系統(tǒng)商業(yè)數(shù)據(jù)中心數(shù)據(jù)集成與交換平臺13信息資源標準管理體系數(shù)據(jù)元標準庫編碼標準庫數(shù)據(jù)交換標準庫數(shù)據(jù)元標準管理信息編碼標準管理數(shù)據(jù)交換標準管理

建設內(nèi)容2.信息資源標準管理系統(tǒng)設計維護查詢注冊審批發(fā)布數(shù)據(jù)元標準框架關鍵指標元標準維護查詢申請審核發(fā)布服務管理維護表示標準傳輸標準接口標準報文格式標準142.信息資源標準管理系統(tǒng)設計

建設作用OLAP分析企業(yè)數(shù)據(jù)模型多維數(shù)據(jù)模型查詢引擎數(shù)據(jù)挖掘RDBM系統(tǒng)1系統(tǒng)2系統(tǒng)n操作環(huán)境層數(shù)據(jù)倉庫層業(yè)務層信息資源標準1.數(shù)據(jù)集成所必需的

2.幫助最終用戶理解數(shù)據(jù)倉庫中的數(shù)據(jù)

3.保證數(shù)據(jù)質(zhì)量的關鍵

4.方便維護，支持需求變化數(shù)據(jù)倉庫15

系統(tǒng)功能2.信息資源標準管理系統(tǒng)設計16

建模思路3.數(shù)據(jù)模型設計事實表劃分數(shù)據(jù)中心范圍邏輯模型設計分析業(yè)務

數(shù)據(jù)倉庫模型設計數(shù)據(jù)集市模型設計物理模型設計維表事實表建立主題的EIR17

主題示例3.數(shù)據(jù)模型設計商業(yè)企業(yè)卷煙購、銷、存分析商業(yè)企業(yè)卷煙流向分析商業(yè)卷煙零售價格分析

數(shù)據(jù)模型示例—卷煙銷售主題煙葉管理卷煙銷售卷煙生產(chǎn)184.數(shù)據(jù)模型設計表日期制絲牌號產(chǎn)品路線批次班次班組實際生產(chǎn)量產(chǎn)品路線制絲日生產(chǎn)執(zhí)行產(chǎn)品路線代碼產(chǎn)品路線名稱日期日期代碼日期名稱月份代碼月份名稱年份代碼年份名稱班次表班次代碼班次名稱班組表班組代碼班組名稱制絲牌號牌號代碼牌號名稱制絲批次制絲批次代碼煙絲牌號日期代碼19

維表與事實表分布二4.數(shù)據(jù)模型設計

雪花模式：星型模式的維度進行進一步規(guī)范化時，星型模式就演進為雪花模式。

產(chǎn)地表年月日倉庫代碼煙葉代碼煙葉年限購進數(shù)量倉庫表倉庫代碼倉庫名稱所屬單位上級單位倉庫容量煙葉編碼表煙葉代碼煙葉名稱等級代碼產(chǎn)地代碼產(chǎn)地代碼產(chǎn)地名稱產(chǎn)地類型等級代碼等級名稱煙葉類型英文表示等級表煙葉購進表201、建立數(shù)據(jù)集成與交換平臺的兩級部署

2、橫向：實現(xiàn)地市各系統(tǒng)的信息共享與交換3、縱向：實現(xiàn)國家局省市各系統(tǒng)的數(shù)據(jù)交換與共享

專網(wǎng)數(shù)據(jù)集成與交換平臺省公司數(shù)據(jù)中心分析應用省地市其他應用信息服務數(shù)據(jù)集成與交換平臺……銷售煙葉應用應用應用信息服務數(shù)據(jù)集成與交換平臺……銷售煙葉應用應用應用數(shù)據(jù)交換數(shù)據(jù)交換市局（公司）A市局（公司）B兩級數(shù)據(jù)交換平臺數(shù)據(jù)交換服務體系建設214.數(shù)據(jù)采集設計信息資源標準管理系統(tǒng)數(shù)據(jù)元標準管理數(shù)據(jù)編碼標準管理數(shù)據(jù)交換標準管理數(shù)據(jù)交換平臺/ETL標準格式業(yè)務數(shù)據(jù)庫1標準數(shù)據(jù)業(yè)務數(shù)據(jù)庫n標準數(shù)據(jù)數(shù)據(jù)倉庫規(guī)范數(shù)據(jù)抽取裝載校對清洗集成轉(zhuǎn)換數(shù)據(jù)質(zhì)量清洗規(guī)則業(yè)務分析模型格式轉(zhuǎn)換22

數(shù)據(jù)ETL建設內(nèi)容4.數(shù)據(jù)采集設計1.0數(shù)據(jù)源分析2.0采集數(shù)據(jù)表結構設計3.0建立數(shù)據(jù)采集機制4.0建立增量處理機制5.0建立數(shù)據(jù)傳輸機制數(shù)據(jù)采集的關鍵點：建立采集、上報、傳輸、接收監(jiān)控機制，實現(xiàn)采集過程監(jiān)管建立數(shù)據(jù)質(zhì)檢機制，提供數(shù)據(jù)準確性檢查手段提供遠程訪問手段，實現(xiàn)人工遠程調(diào)控系統(tǒng)運行提供遠程日志自動收集機制，定期分析系統(tǒng)運行提供軟件自動更新機制，降低系統(tǒng)維護成本提供軟件版本監(jiān)控機制，確保軟件遠程統(tǒng)一部署提供基礎代碼和基礎業(yè)務指標自動同步機制，確保數(shù)據(jù)采集正常運行

23

數(shù)據(jù)源分析4.數(shù)據(jù)采集設計1.02.03.04.05.0調(diào)研業(yè)務系統(tǒng)，確定基礎數(shù)據(jù)分布

有哪些數(shù)據(jù)源？這些數(shù)據(jù)源是如何組織的？數(shù)據(jù)源互相之間的關系是什么？這些數(shù)據(jù)源是如何分布的？整理數(shù)據(jù)源結構，確定基礎數(shù)據(jù)項包括哪些數(shù)據(jù)項，列舉所有數(shù)據(jù)項每一個數(shù)據(jù)項的數(shù)據(jù)類型、精度從業(yè)務角度，確定每一個數(shù)據(jù)項的業(yè)務含義對于指標類型的數(shù)據(jù)項，確定其當前使用的計量單位，以及這種指標的標準計量單位24

數(shù)據(jù)源分析4.數(shù)據(jù)采集設計1.02.03.04.05.0數(shù)據(jù)范圍制絲BOM數(shù)據(jù)卷包BOM數(shù)據(jù)煙葉BOM投料煙葉單耗制絲單耗制絲日生產(chǎn)執(zhí)行卷包日生產(chǎn)執(zhí)行。。。。。。MES數(shù)據(jù)成品煙銷售數(shù)據(jù)銷售數(shù)據(jù)制絲在線質(zhì)檢數(shù)據(jù)制絲在線質(zhì)檢卷包機臺停機數(shù)據(jù)卷包機臺剔除數(shù)據(jù)卷包質(zhì)檢在線數(shù)據(jù)卷包數(shù)采能源COD數(shù)據(jù)能源消耗數(shù)據(jù)蒸汽流量數(shù)據(jù)能源數(shù)據(jù)25

采集數(shù)據(jù)表結構設計4.數(shù)據(jù)采集設計2.03.04.05.01.0被采集端數(shù)據(jù)結構

平行采集

采集端數(shù)據(jù)結構表名：產(chǎn)量表表名：產(chǎn)量表字段名稱字段編碼數(shù)據(jù)類型字段名稱字段編碼數(shù)據(jù)類型年份YEAR整數(shù)年份YEAR整數(shù)產(chǎn)量AMOUNT浮點數(shù)產(chǎn)量AMOUNT浮點數(shù)

表名：銷量表表名：銷量表字段名稱字段編碼數(shù)據(jù)類型字段名稱字段編碼數(shù)據(jù)類型年份YEAR整數(shù)年份YEAR整數(shù)銷售量AMOUNT浮點數(shù)銷售量AMOUNT浮點數(shù)

建立采集表數(shù)據(jù)結構時，可綜合考慮采集的數(shù)據(jù)量、效率要求、前置機性能、被采集數(shù)據(jù)結構的穩(wěn)定性等因素，選擇不同的采集表數(shù)據(jù)結構：表結構相同的平行采集還是進行整合后的匯總、合并采集固化的實體表還是靈活的動態(tài)定義表26

采集數(shù)據(jù)表結構設計4.數(shù)據(jù)采集設計2.03.04.05.01.0被采集端數(shù)據(jù)結構

合并采集

采集端數(shù)據(jù)結構表名：產(chǎn)量表表名：產(chǎn)銷表字段名稱字段編碼數(shù)據(jù)類型字段名稱字段編碼數(shù)據(jù)類型年份YEAR整數(shù)年份YEAR整數(shù)產(chǎn)量AMOUNT浮點數(shù)產(chǎn)量P_AMOUNT浮點數(shù)銷量S_AMOUNT浮點數(shù)表名：銷量表字段名稱字段編碼數(shù)據(jù)類型年份YEAR整數(shù)銷售量AMOUNT浮點數(shù)

建立采集表數(shù)據(jù)結構時，可綜合考慮采集的數(shù)據(jù)量、效率要求、前置機性能、被采集數(shù)據(jù)結構的穩(wěn)定性等因素，選擇不同的采集表數(shù)據(jù)結構：表結構相同的平行采集還是進行整合后的匯總、合并采集固化的實體表還是靈活的動態(tài)定義表27

采集數(shù)據(jù)表結構設計4.數(shù)據(jù)采集設計2.03.04.05.01.0采集端數(shù)據(jù)結構表名：數(shù)據(jù)表表名：字段定義表字段名稱字段編碼數(shù)據(jù)類型字段名稱字段編碼數(shù)據(jù)類型表標識TABID整數(shù)字段標識FIELDID整數(shù)字段FIELDn浮點數(shù)字段名稱FIELDNAME字符表名：表定義字段名稱字段編碼數(shù)據(jù)類型表標識TABID整數(shù)表名稱TABNAME字符

建立采集表數(shù)據(jù)結構時，可綜合考慮采集的數(shù)據(jù)量、效率要求、前置機性能、被采集數(shù)據(jù)結構的穩(wěn)定性等因素，選擇不同的采集表數(shù)據(jù)結構：表結構相同的平行采集還是進行整合后的匯總、合并采集固化的實體表還是靈活的動態(tài)定義表28

數(shù)據(jù)采集機制設計4.數(shù)據(jù)采集設計3.02.04.05.01.0聯(lián)機采集（ETL）對于關系型數(shù)據(jù)源，并且允許直接訪問的，采用以ETL為基礎的聯(lián)機采集機制。中間表方式對于關系型數(shù)據(jù)源，能夠聯(lián)機，但不允許直接訪問的，可以考慮采用中間表方式采集，即業(yè)務系統(tǒng)將需要提供的數(shù)據(jù)拷貝到中間表中，然后從中間表采集數(shù)據(jù)。數(shù)據(jù)離線導入對于不能聯(lián)機訪問的，可以采用數(shù)據(jù)離線導入的方式，即業(yè)務系統(tǒng)將數(shù)據(jù)定時導出（比如excel格式），然后采集系統(tǒng)根據(jù)這些文件進行離線導入。人工審核填報對于原來沒有計算機系統(tǒng)，只有紙介質(zhì)數(shù)據(jù)的，可以采用人工填報＋審核方式采集。29

數(shù)據(jù)增量處理設計4.數(shù)據(jù)采集設計4.02.03.05.01.0

對于本身具有增量標識字段（比如時間戳）的數(shù)據(jù)源，直接使用其標識字段實現(xiàn)增量采集；對于沒有直接的增量標識字段，但業(yè)務處理過程中能夠判斷到增量數(shù)據(jù)的，由業(yè)務系統(tǒng)將增量數(shù)據(jù)主動放到中間表里，然后采集系統(tǒng)從中間表中采集數(shù)據(jù)；為了確保數(shù)據(jù)的準確性，在上一種情況下，由業(yè)務系統(tǒng)將增量數(shù)據(jù)的主鍵（唯一判斷條件）主動放到中間表里，然后采集根據(jù)中間表中提供的判斷條件，去原表中提取數(shù)據(jù)；對于業(yè)務本身無法識別增量，但是允許進行修改的，則在其數(shù)據(jù)庫中建立增量監(jiān)控，通過這個監(jiān)控器來標識哪些是增量數(shù)據(jù)；對于業(yè)務本身無法識別增量，但是數(shù)據(jù)量比較小，或者采集頻率不高的，則先進行全部采集，然后通過數(shù)據(jù)比對的辦法處理；在上述情況都不能滿足的情況下，如果數(shù)據(jù)庫提供技術手段對數(shù)據(jù)操作過程進行日志分析的，則通過聯(lián)機日志分析獲得增量數(shù)據(jù)。30

數(shù)據(jù)傳輸機制設計4.數(shù)據(jù)采集設計５.02.03.0４01.0在數(shù)據(jù)采集到前置機后，需要建立數(shù)據(jù)傳輸機制，實現(xiàn)