企業(yè)數(shù)據(jù)治理方案：數(shù)據(jù)倉庫統(tǒng)一數(shù)據(jù)分析系統(tǒng)建設(shè)方案

企業(yè)數(shù)據(jù)治理方案：數(shù)據(jù)倉庫統(tǒng)一數(shù)據(jù)分析系統(tǒng)建設(shè)方案（PPT）整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行2023年統(tǒng)一數(shù)據(jù)分析系統(tǒng)整體功能架構(gòu)傳統(tǒng)財務(wù)報表全成本評價報表業(yè)務(wù)財務(wù)一體化報表數(shù)據(jù)挖掘明細憑證訂單合同工程項目網(wǎng)絡(luò)規(guī)劃與設(shè)計數(shù)據(jù)價值創(chuàng)造一本賬一套表生產(chǎn)類系統(tǒng)管理類系統(tǒng)（MSS）網(wǎng)絡(luò)運維類系統(tǒng)(OSS)業(yè)務(wù)支撐類系統(tǒng)(BSS)……項目管理采購管理合同管理報賬管理人力資源管理ERP核心系統(tǒng)一點采集、一點處理、一點推送業(yè)務(wù)系統(tǒng)數(shù)據(jù)整合數(shù)據(jù)架構(gòu)數(shù)據(jù)標準數(shù)據(jù)模型ETL平臺中間件服務(wù)器數(shù)據(jù)映射數(shù)據(jù)加工數(shù)據(jù)質(zhì)量采集階段管控加工階段管控發(fā)布階段管控元數(shù)據(jù)管理技術(shù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)數(shù)據(jù)表現(xiàn)報表引擎圖形引擎數(shù)據(jù)安全數(shù)據(jù)集市語義層分析應(yīng)用流程調(diào)度云化省公司集團管理層集團高層地市公司安全認證用戶

認證屬性

授權(quán)整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行分析應(yīng)用功能架構(gòu)（固自）報表固化專題應(yīng)用OLAP（70%）數(shù)據(jù)挖掘指標支撐立方體（高粒度）立方體（中細粒度）立方體（細粒度）CubeCubeCube旋轉(zhuǎn)切片匯聚Cube數(shù)據(jù)集市平臺指標化維度指標體系21鉆取DWA寬表/視圖/文件維度聚合DWA層為數(shù)據(jù)集市穩(wěn)定的基礎(chǔ)支撐層數(shù)據(jù)集市包括中細粒度數(shù)據(jù)立方體、高粒度數(shù)據(jù)立方體，可在不同形式的應(yīng)用之間共享，關(guān)注立方體的復用性通過數(shù)據(jù)集市+平臺，從“應(yīng)用+應(yīng)用”模式專項“平臺+應(yīng)用”模式，為系統(tǒng)的可持續(xù)性發(fā)展夯實基礎(chǔ)指標立方體統(tǒng)一訪問入口門戶集團省分地市數(shù)據(jù)倉庫-數(shù)據(jù)分層原則運營數(shù)據(jù)存儲層(ODS)數(shù)據(jù)倉庫（DWD）數(shù)據(jù)倉庫(DWA)面向主題的、集成的、穩(wěn)定的，隨時間變化的數(shù)據(jù)集合，滿足當前及未來一定時間內(nèi)企業(yè)范圍內(nèi)的決策與分析需要；在DWD層數(shù)據(jù)基礎(chǔ)上建立的輕度匯總的基礎(chǔ)數(shù)據(jù)層，靈活支撐DM層建設(shè)，滿足當前及可預期的分析需要；DM的基礎(chǔ)支撐層采用3NF模型，遵循生產(chǎn)系統(tǒng)數(shù)據(jù)模型；采用3NF模型；采用維度模型，建議星型、雪花模型；基于生產(chǎn)系統(tǒng)數(shù)據(jù)進行預處理，業(yè)務(wù)操作級數(shù)據(jù)；實時、近實時、日及以上頻度日及以上頻度；業(yè)務(wù)交易級數(shù)據(jù)粒度，具備時間標示；核心業(yè)務(wù)ID級輕度匯總數(shù)據(jù)；抽取頻度數(shù)據(jù)粒度模型特點分層定位數(shù)據(jù)集市（DM）面向部門或業(yè)務(wù)單元支撐分析、查詢應(yīng)用，滿足當前及可預期的分析需求；DW層邏輯或物理的子集，保證數(shù)據(jù)源的統(tǒng)一性，數(shù)據(jù)倉庫DW的訪問層，直接支撐應(yīng)用采用維度模型，建議星型及多維模型；輕度及中高度匯總數(shù)據(jù)，根據(jù)分析需要、性能、存儲保留相應(yīng)粒度數(shù)據(jù)；集成的、實時/準實時的、可變的、當前的明細數(shù)據(jù)集合，作為數(shù)據(jù)倉庫數(shù)據(jù)源，并支撐部分集中系統(tǒng)；日及以上頻度；日及以上頻度；4數(shù)據(jù)倉庫-數(shù)據(jù)模型整體框架及整合進展財務(wù)管理子域資產(chǎn)管理子域采購子域庫存管理子域項目管理子域人力資源子域供應(yīng)商子域合同子域預算子域跨域整合公共子域總賬資產(chǎn)卡片采購需求庫存組織項目信息組織信息供應(yīng)商合同起草投資預算編制收入線時間應(yīng)收賬款資產(chǎn)臺賬招投標物資主數(shù)據(jù)滾動規(guī)劃活動維度員工信息供應(yīng)商認證合同審簽運營預算編制合作伙伴線地域應(yīng)付賬款資產(chǎn)交易采購合同庫存入庫投資計劃活動維度人工成本供應(yīng)商產(chǎn)品合同處理投資預算執(zhí)行代理商線管理主體資金賬戶資產(chǎn)折舊采購協(xié)議庫存轉(zhuǎn)移投資評估員工績效供應(yīng)商績效簽訂蓋章運營預算執(zhí)行營銷終端線口徑資金支付、劃撥、收款、計劃、預測、監(jiān)控、核算資產(chǎn)攤銷采購訂單庫存調(diào)撥項目立項員工培訓供應(yīng)商審批合同履行投資預算控制其他業(yè)務(wù)線合并報表數(shù)據(jù)（部分）資產(chǎn)減值采購接收庫存出庫項目可研員工技能合同辦結(jié)運營預算控制全成本數(shù)據(jù)資產(chǎn)簽收采購退貨庫存盤點項目設(shè)計員工招聘合同預算檢查員工報銷設(shè)備信息前移物資協(xié)議現(xiàn)有量項目成本員工調(diào)動工程合同臺賬業(yè)務(wù)報賬設(shè)備維修前移物資補貨庫存成本暫估轉(zhuǎn)固員工離職運營合同臺賬關(guān)聯(lián)交易資產(chǎn)盤點前移物資結(jié)算成本調(diào)整決算轉(zhuǎn)固營銷物資類合同臺賬采購審批任務(wù)信息BSS相關(guān)合同臺賬項目審批其他合同臺賬已整合明細子域待整合明細子域未來整合明細子域數(shù)據(jù)倉庫-數(shù)據(jù)源系統(tǒng)整合進展項目管理系統(tǒng)采購管理系統(tǒng)主數(shù)據(jù)系統(tǒng)合同管理系統(tǒng)財務(wù)報賬系統(tǒng)資金平臺預算管理系統(tǒng)人力資源系統(tǒng)人力自助系統(tǒng)全成本管理模塊合并報表系統(tǒng)數(shù)據(jù)倉庫財務(wù)報告源系統(tǒng)會計核算源系統(tǒng)業(yè)務(wù)管理源系統(tǒng)ERP核心系統(tǒng)應(yīng)收模塊資產(chǎn)模塊應(yīng)付模塊總賬模塊庫存模塊內(nèi)部往來項目會計采購模塊已整合系統(tǒng)待整合系統(tǒng)未來整合系統(tǒng)資產(chǎn)管理系統(tǒng)（北分）關(guān)聯(lián)交易預算控制營銷物資價值ODSDWDDWADM12345678910111213ERP核心系統(tǒng)7月份歷史數(shù)據(jù)覆蓋北京聯(lián)通141516運營業(yè)務(wù)模型整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行整理制作：郎豐利1519制作時間：2023年睿利而行數(shù)據(jù)倉庫-數(shù)據(jù)質(zhì)量提升演進數(shù)據(jù)源系統(tǒng)數(shù)據(jù)采集過程數(shù)據(jù)處理過程（STG）數(shù)據(jù)處理過程（ODS）數(shù)據(jù)處理過程（DWD）數(shù)據(jù)處理過程（DWA)數(shù)據(jù)處理過程（DM）業(yè)務(wù)規(guī)則理解數(shù)據(jù)庫異常數(shù)據(jù)質(zhì)量問題環(huán)節(jié)業(yè)務(wù)系統(tǒng)問題數(shù)據(jù)接口規(guī)范問題數(shù)據(jù)稽核規(guī)則合理性、完整性（數(shù)據(jù)層內(nèi)）數(shù)據(jù)稽核規(guī)則合理性、完整性問題（數(shù)據(jù)層間）模型設(shè)計及映射問題數(shù)據(jù)庫及操作系統(tǒng)問題數(shù)據(jù)質(zhì)量問題歸類組織層面（數(shù)據(jù)質(zhì)量監(jiān)控團隊）流程層面（數(shù)據(jù)質(zhì)量管理策略；數(shù)據(jù)質(zhì)量問題發(fā)現(xiàn)、分析、分派、解決跟蹤管控流程)技術(shù)層面（源系統(tǒng)支撐、稽核規(guī)則優(yōu)化、知識庫、技術(shù)平臺支撐等）數(shù)據(jù)質(zhì)量提升業(yè)務(wù)源系統(tǒng)ODSDWDDWADM發(fā)布數(shù)據(jù)倉庫-數(shù)據(jù)質(zhì)量保障措施稽核規(guī)則稽核作業(yè)ERP核心系統(tǒng)合并報表系統(tǒng)ODSDWDDWA數(shù)據(jù)源數(shù)據(jù)整合數(shù)據(jù)集市ETL數(shù)據(jù)采集、加載、轉(zhuǎn)換作業(yè)數(shù)據(jù)采集階段：在數(shù)據(jù)采集階段，主要關(guān)注記錄數(shù)、格式、重復值、一致性與合法性檢查數(shù)據(jù)加工階段：主要關(guān)注數(shù)據(jù)正確性與數(shù)據(jù)關(guān)聯(lián)性檢查，包括ODS層、DWD層、DWA層數(shù)據(jù)層內(nèi)稽核與層間稽核抽樣數(shù)據(jù)稽核與全量數(shù)據(jù)稽核數(shù)據(jù)發(fā)布階段：主要關(guān)注關(guān)鍵指標檢查，包括發(fā)布及時性、層次互驗、波動DMSTG業(yè)務(wù)定義階段：制定業(yè)務(wù)數(shù)據(jù)標準規(guī)范制定數(shù)據(jù)接口規(guī)范、數(shù)據(jù)采集策略業(yè)務(wù)規(guī)則數(shù)據(jù)規(guī)則發(fā)布規(guī)則……數(shù)據(jù)倉庫-分析型模型設(shè)計方法從典型業(yè)務(wù)流程出發(fā)選定事實。具體操作時，建議以維度指標體系、報表需求等為收入，選定業(yè)務(wù)事實，并將其納入上述典型業(yè)務(wù)流程框架。初步考慮事實包括：訂單、使用、服務(wù)、營銷活動、費用、收入、所有者權(quán)益、資產(chǎn)、負債、利潤等。參考電信行業(yè)典型業(yè)務(wù)流程，以指標體系規(guī)范等、現(xiàn)有DWA層模型輸入材料，確定事實和維度；明確維度選取原則，參考指標體系、報表查詢分析需求，選定核心維度，完善屬性信息。初步考慮維度包括：地域、時間、產(chǎn)品、業(yè)務(wù)、用戶、合作伙伴等。將維度與事實相結(jié)合，確定維度與事實之間的對應(yīng)關(guān)系，建立維度模型，并驗證模型對現(xiàn)有需求的支撐度；市場營銷產(chǎn)品開發(fā)銷售客戶管理客戶關(guān)懷計費及采集業(yè)務(wù)提供及開通服務(wù)保障企業(yè)管理網(wǎng)絡(luò)資源開發(fā)確定維度模型數(shù)據(jù)顆粒度。對DWA層，考慮滿足分析所需的最細粒度數(shù)據(jù)，DM層滿足分析所需的各級粒度數(shù)據(jù)。ETL平臺數(shù)據(jù)加工流程10ETL作業(yè)整體流程ERP核心系統(tǒng)項目管理系統(tǒng)采購管理系統(tǒng)合同管理系統(tǒng)報賬平臺主數(shù)據(jù)平臺合并報表系統(tǒng)全成本模塊FTP績效評價問題發(fā)現(xiàn)經(jīng)營監(jiān)控商機挖掘分析服務(wù)文件系統(tǒng)接口機DWD層數(shù)據(jù)倉庫接口層DWA層數(shù)據(jù)封裝服務(wù)數(shù)據(jù)發(fā)布數(shù)據(jù)集市數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理DBLINK11數(shù)據(jù)源系統(tǒng)現(xiàn)狀調(diào)研分析，包括業(yè)務(wù)流程、數(shù)據(jù)實體、數(shù)據(jù)流向分析與源系統(tǒng)明確數(shù)據(jù)采集接口規(guī)范數(shù)據(jù)采集程序開發(fā)數(shù)據(jù)采集、清洗、加載入庫數(shù)據(jù)倉庫DWD作業(yè)調(diào)度流程設(shè)計、數(shù)據(jù)轉(zhuǎn)換規(guī)則設(shè)計數(shù)據(jù)倉庫DWA作業(yè)調(diào)度流程設(shè)計、數(shù)據(jù)轉(zhuǎn)換規(guī)則設(shè)計對外數(shù)據(jù)服務(wù)視圖、數(shù)據(jù)封裝服務(wù)數(shù)據(jù)稽核及發(fā)布數(shù)據(jù)集市層作業(yè)調(diào)度流程設(shè)計、數(shù)據(jù)加工規(guī)則設(shè)計端到端數(shù)據(jù)質(zhì)量稽核端到端元數(shù)據(jù)管理322456789ab分析應(yīng)用如工程物資月報、往來賬追溯分析等；如資產(chǎn)全方位查詢、設(shè)備全方位查詢、資產(chǎn)折舊預測分析等；如投資預算、成本費用預算等分析應(yīng)用；管理域應(yīng)用財務(wù)類應(yīng)用資產(chǎn)類應(yīng)用預算類應(yīng)用如竣工決算報表、項目全字段分析等；集團統(tǒng)一格式的竣工決算報表等工程類應(yīng)用竣工決算統(tǒng)一報表如項目多維分析、資產(chǎn)多維分析等，支撐旋轉(zhuǎn)、切片、匯總等多維分析分析應(yīng)用推進（第一批及第二批）培訓、溝通、項目管理分析模型及集市設(shè)計數(shù)據(jù)源整合優(yōu)先整合營銷物資系統(tǒng)，滿足全成本核算要求其次整合工程建設(shè)線業(yè)務(wù)系統(tǒng)項目管理系統(tǒng)采購管理系統(tǒng)合同管理系統(tǒng)建立分析模型（星型模型）分析模型需求驗證數(shù)據(jù)集市模型數(shù)據(jù)集市需求驗證ETL流程開發(fā)ETL腳本開發(fā)語義層開發(fā)前端應(yīng)用開發(fā)門戶集成屬性授權(quán)應(yīng)用開發(fā)系統(tǒng)聯(lián)調(diào)測試關(guān)鍵用戶測試最終用戶培訓最終用戶測試支持系統(tǒng)管理員培訓上線開發(fā)階段上線試運行12月30日11月15日12月15日數(shù)據(jù)源整合及模型設(shè)計（第一批）9月1日分析模型及集市設(shè)計數(shù)據(jù)源整合整合其他線業(yè)務(wù)系統(tǒng)報賬平臺預算模塊人力資源……建立分析模型（星型模型）分析模型需求驗證數(shù)據(jù)集市模型數(shù)據(jù)集市需求驗證ETL流程開發(fā)ETL腳本開發(fā)語義層開發(fā)前端應(yīng)用開發(fā)門戶