數據倉庫專題講座—數據質量管理

1、ETL 環(huán)境因素及數據質量數據倉庫與ETL的實現過程設計數據倉庫數據倉庫的星型結構EmployeeKeyEmployeeID.TimeKeyTheDate.ProductKeyProductIDProduceNameProductBrandProductCategory.CustomerKeyCustomerID.ShipperKeyShipperID.TimeKeyEmployeeKeyProductKeyCustomerKeyShipperKeyUnitsPrice.維度與事實一個數據倉庫包括了 多個中央事實表 Fact Table多個維度外鍵和多個可以分析的指標多個維度表 Dimensi

2、on Tables可以分析的角度ETL過程數據從數據源向目標數據倉庫抽取（Extract）、轉換（Transform）、裝載（Load）的過程ETL過程構建數據倉庫的重要一環(huán)，用戶從數據源抽取出所需的數據，經過數據清洗，最終按照預先定義好的數據倉庫模型，將數據加載到數據倉庫中去。抽?。簩祿母鞣N原始的業(yè)務系統中讀取出來。 轉換：按照預先設計好的規(guī)則將抽取得數據進行轉換、清洗，以及處理一些冗余、歧義的數據，使本來異構的數據格式能統一起來。 裝載：將轉換完的數據導入到數據倉庫中。 ETL舉例FNameLNameUnitPriceQtyBarrAdam.552ChaiSean1.13EmpKeyN

3、ame1Barr.Adam2Chai.SeanNameUnitPriceQtyBarr.Adam.552Chai.Sean1.13NameTotalSalesBarr.Adam1.1Chai.Sean3.3EmpKeyTotalSales11.123.3導入合并計算查找案例背景保健品銷售部門，各分部門將銷售情況記錄在各自的表中，記錄方式也是不一樣的要求計算出各種產品各個員工07年的銷售情況 店面 網售 PosDWSQLsheet1sheet2sheet3Pos部門銷售情況部門銷售情況EmployeeNameGroupNameTime ProductName ProductStyle Produ

4、ctClass Quantity InformationSource SaleAddress DimProductProductKeyProductNameProductStyleProductClass店面店面銷售情況銷售情況EmployeeNameGroupNameTime ProductName ProductStyle ProductClass Quantity CustomerEvaluation CustomerSources網售網售銷售情況銷售情況EmployeeNameGroupNameTime ProductName ProductStyle ProductClass Qua

5、ntity ProductNameProductStyleProductClassProductNameProductClassProductStyleProductNameProductClassProductClassProductNameProductStyleProductStyleDimEmpEmployKeyEmployeeNameGroupNameDeptNameGroupeNameEmployeeNameGroupeNameGroupNameEmployeeNameEmployeeNameGroupeNameEmployeeName維度表的抽取維度表的抽取源表源表源表源表源表源

6、表維度表維度表店面店面銷售情況銷售情況EmployeeNameGroupNameTime ProductName ProductStyle ProductClass Quantity DimProductProductKeyProductNameProductStyleProductClassFactSalesProductKeyProductNameProductStyleProductClassProductNameProductClassProductStyleProductNameProductClassProductStyleProductKeyProductKey事實表的抽取事實表

7、的抽取源表源表維度表維度表事實表事實表數據質量管理數據質量歸類Copyright 2004, Oracle. All rights reserved.數據質量金字塔數據質量金字塔不同數據源相同不同數據源相同實體數據不同實體數據不同已匯總數據與詳已匯總數據與詳細數據的再匯總細數據的再匯總不一致不一致處理數據超出了處理數據超出了用戶忍耐用戶忍耐結果過時結果過時業(yè)務規(guī)則業(yè)務規(guī)則統計口徑統計口徑違反唯一性約束違反唯一性約束違反主外鍵關系違反主外鍵關系丟失數據丟失數據丟失數據包含的丟失數據包含的屬性信息屬性信息數據超出值域范圍數據超出值域范圍數據類型不匹配數據類型不匹配數據日期格式錯數據日期格式錯準確性

8、準確性及時性及時性一致性一致性唯一性和參考完備性唯一性和參考完備性完整性完整性數據類型和值域數據類型和值域錯誤的值錯誤的值錯誤的數據依賴錯誤的數據依賴重復屬性重復屬性缺乏引用完整性缺乏引用完整性違反商務規(guī)則違反商務規(guī)則多種數據源中缺乏數據對應多種數據源中缺乏數據對應源數據和目標缺乏同步源數據和目標缺乏同步沒有理由的關聯沒有理由的關聯缺少數據缺少數據錯誤的計算錯誤的計算主鍵重復主鍵重復無標準的格式無標準的格式稀少的實體解釋稀少的實體解釋數據質量的示例錯誤的范圍錯誤的范圍原因分析各專業(yè)之間的指標體系及編碼規(guī)則不一致各專業(yè)之間的指標體系及編碼規(guī)則不一致多個生產系統的數據源存在不一致現象多個生產系統的

9、數據源存在不一致現象 數據源本身存在臟數據噪聲數據數據源本身存在臟數據噪聲數據數據存在人工操作數據存在人工操作不同數據源由不同部門管理不同數據源由不同部門管理由于生產系統的數據由于生產系統的數據是隨生產而變化的，是隨生產而變化的，在不同的時間點在不同的時間點進行數據抽取的數據進行數據抽取的數據是不一致的是不一致的 生產系統的不同版本生產系統的不同版本各分公司市場政策的差異各分公司市場政策的差異同一產品、業(yè)務、套餐同一產品、業(yè)務、套餐在生產系統在生產系統業(yè)務處理規(guī)則業(yè)務處理規(guī)則編碼差異很大編碼差異很大 統計口徑統計口徑數據抽取時間點問題數據抽取時間點問題 業(yè)務規(guī)則問題業(yè)務規(guī)則問題數據源問題數據源

10、問題客戶關系管理操作型數據整合環(huán)境業(yè)務運作系統企業(yè)數據倉庫EDW數據集市客戶洞察BSSCRM 計費結算OSS資源管理服務開通綜合網管專業(yè)網管MSS/ERP人力資源財務管理工程管理數據復制EAIODS數據視圖訪問ODS ETL數據復制EAIODS數據反饋ETLODS/EDW數據視圖訪問EDW ETL客戶價值客戶流失數據集市決策支持 整合的前端報表查詢和分析環(huán)境多維數據訪問ODS書籍營銷活動渠道管理客戶關懷客戶洞察經營分析績效管理KPI其他數據反饋分析數據元數據管理安全和權限管理系統管理收入分析業(yè)務發(fā)展分析客戶分析客戶細分營銷分析營銷評估監(jiān)控信用度計算渠道監(jiān)控綜合查詢綜合報表數據稽核數據質量監(jiān)控當

11、企業(yè)的所有系統，包括業(yè)務系統、管理系統、EDA系統都結為一體的時候，系統監(jiān)控、 工作流、 數據流、 系統管理變成一個重要挑戰(zhàn)目錄數據質量問題分析數據質量方法論質量保證成功因素案例分析數據質量管理方法論管理機制的保障是數據質量控制的關鍵驗證檢查是數據保障的督促和推動嚴謹的過程定義是數據質量保障的基礎有效的落實是數據質量保障的根本有效的組織機構是管理機制的有力支持完善文檔的建立和維護是數據質量保障各個環(huán)節(jié)以及組織之間溝通的依據建立合理的數據管理機構、制定數據質量管理機制、 落實人員執(zhí)行責任、保障組織間高效的溝通、持續(xù)監(jiān)控數據應用過程和領導強有力的督促是保證企業(yè)數據質量的關鍵數據質量保障流程啟動啟動

12、項目范圍定義定義里程碑制定工作計劃評估項目并獲取相應資源風險評估、快速啟動項目定義定義定義數據質量焦點區(qū)域描述當前數據使用狀況確定關鍵數據質量因素定義數據質量標準評估評估評估基礎框架結構評估關鍵數據分析導致錯誤的根本原因預設處理環(huán)境實現處理環(huán)境清洗并糾正錯誤數據對結果進行評估清洗清洗改進改進預設新的處理環(huán)境實現新的處理環(huán)境遷移至新的環(huán)境中對結果進行評估工具支持工具支持識別已知的數據質量問題 按照制定的規(guī)范獲取相應的項目資源、支撐工具以及制定工作計劃定義詳細的過程、數據、組織的劃分以及質量元素、標準及測算方法。對現存數據及業(yè)務環(huán)境進行評估，以便識別項目對數據、過程、系統以及組織架構所造成的影響。

13、建立業(yè)務環(huán)境，改進現有數據的數據質量。目錄數據質量問題分析數據質量方法論質量保證成功因素案例分析綜述按照現代質量觀念，質量是一個過程而不是結果。數據倉庫的數據質量應當在整個數據倉庫規(guī)劃、設計、建設、維護中體現和實現。鑒于系統建設情況(業(yè)務系統、經營分析系統)，應該重點關注管理、過程評估評估評估管理管理 123質量保證質量保證關鍵成功因素關鍵成功因素KSFKSF質量保證KSF組織保證設計崗位明確崗位的要求和職責制定標準制定數據上傳計劃制定統一編碼庫過程過程評估評估管理管理 123質量保證質量保證關鍵成功因素關鍵成功因素KSFKSF在數據處理的流程上進行規(guī)范并設置相應的控制點和稽核點規(guī)范的流程過程

14、校驗點和稽核點異常處理措施制定數據質量的評測標準并按所制定的標準對其進行考核：標準q及時性、準確性、及時性、準確性、一致性等一致性等考核q獎勵、懲罰獎勵、懲罰階段評估 管理崗位經營分析系統項目組經營分析系統項目組主管副總項目負責人項目經理數據質量管理員經營分析系統建設單位成員經營分析系統開發(fā)組業(yè)務系統接口員市場、網絡、客服、計費、財務等數據質量管理小組數據質量管理小組經營分析系統需求使用單位圖4-1：組織結構圖為經營分析系統的數據質量管理工作提供宏觀方向指導，并予以授權 支持數據質量管理小組的部門或系統間協調工作 全面負責經營分析系統的建設和維護領導數據質量管理員進行數據質量管理工作編寫和維護

15、數據質量工作相關文檔，如數據質量檢測標準、控制流程；定期組織相關力量對經營分析系統的業(yè)務和設計（包括數據模型設計）的完備性進行評估，總結問題，及時發(fā)現影響數據質量的隱患；定期、不定期地進行質量評估；監(jiān)控數據質量問題解決的整個流程；數據質量相關知識的培訓；建立、維護數據質量問題解決的經驗集負責經營分析系統與業(yè)務系統間的協調和工作落實參與質量方案的評估和方案制定負責監(jiān)督和管理相應業(yè)務系統建設、維護單位進行的與經營分析系統數據質量問題有關的活動管理數據上傳計劃上傳的文件上傳的內容上傳的時間計劃JF_SERV_DISCT優(yōu)惠用戶清單每月28日20點JF_SERV_PRODUCT新業(yè)務資料每天22點JF

16、_SERV_PRODUCT新業(yè)務資料的月基量每月28日20點JF_TRUNK_TICKET長途清單每天22點JF_ZERO_LIST零次戶清單每月28日20點JF_CARD_SERV_ITEM本地智能網卡清單匯總每月28日20點JF_PHS_SERV_ITEM小靈通預付費清單匯總每月28日20點ZN_PROV_TICKET省智能網清單每月28日20點制定各個業(yè)務系統的數據上傳內容計劃，此計劃需要業(yè)務系統相制定各個業(yè)務系統的數據上傳內容計劃，此計劃需要業(yè)務系統相應崗位人員認真執(zhí)行：應崗位人員認真執(zhí)行：管理統一編碼庫標準代碼是指省公司統一各分公司的業(yè)務情況整理的標準的業(yè)務代碼，內容是代碼、名稱及代

17、碼分類。標準代碼是數據源的主要業(yè)務代碼，所有的分析都是此代碼組合的維度基礎上，因此維護好代碼也是保證數據質量的關鍵之一建立的原則維護的原則分公司應該理解省公司編碼有代表的實際業(yè)務內容，然后把本公司的業(yè)務對應到省公司的標準代碼上建立的原則維護的原則質量保證KSF在行政管理以及職能上設置相應的人員、設立相應的崗位進行數據質量管理，包含以下內容：設計崗位；明確崗位的要求和職責；制定數據上傳計劃制定統一編碼庫評估評估管理管理 過程過程123質量保證質量保證關鍵成功因素關鍵成功因素KSFKSF規(guī)范規(guī)范q規(guī)范的流程檢查點檢查點q過程校驗點和稽核點q異常處理措施制定數據質量的評測標準并按所制定的標準對其進行

18、考核：標準q及時性、準確性、一致性等及時性、準確性、一致性等考核q獎勵、懲罰獎勵、懲罰階段評估 過程規(guī)范的流程定義了用于構造一個完善的、滿足業(yè)務功能的數據倉庫系統定義了用于構造一個完善的、滿足業(yè)務功能的數據倉庫系統所不可缺少的步驟和任務。這是一組預定義好的、在整個數所不可缺少的步驟和任務。這是一組預定義好的、在整個數據倉庫項目中起指導作用的、可用多種方法管理的實施步驟據倉庫項目中起指導作用的、可用多種方法管理的實施步驟 過程校驗點對數據的稽核應包括三個層面的對數據的稽核應包括三個層面的KPIsKPIs檢查校驗，其中業(yè)務層面檢查校驗，其中業(yè)務層面對于數據質量保證更為重要，也更為復雜對于數據質量保

19、證更為重要，也更為復雜數據稽核 技術指標稽核 業(yè)務指標稽核 操作指標稽核文件命名是否正確文件個數是否正常索引標識是否對應文件中記錄行數是否正常文件大小是否正常文件中各類指標匯總值是否異常波動根據歷史經驗和季節(jié)規(guī)律進行時間序列分析數據校驗利器在系統中予以固化，提供自動異常預警，使操作人員可以方便地進行審核確認過程稽核點由于各省數據情況復雜，因此數據在上傳集團公司的過程中，應經過由于各省數據情況復雜，因此數據在上傳集團公司的過程中，應經過多次稽核檢驗把關，才能各環(huán)節(jié)數據的質量多次稽核檢驗把關，才能各環(huán)節(jié)數據的質量本地網生成并稽核本地網生成并稽核1省公司進行稽核省公司進行稽核2省公司生成并稽核省公司

20、生成并稽核3集團進行稽核集團進行稽核4集團進行處理并展現集團進行處理并展現5省公司省公司本地網本地網生成數據生成數據檢查通過？檢查通過？檢查通過？檢查通過？處理處理/ /生成生成檢查通過？檢查通過？檢查通過？檢查通過？處理處理/ /稽核稽核/ /展現展現 省公司管控范圍 集團公司管控范圍 過程稽核方法1在從分公司到省公司的在從分公司到省公司的ETLETL過程中，采取總量稽核與分量稽核方法來校過程中，采取總量稽核與分量稽核方法來校驗環(huán)節(jié)之間的數據平衡關系驗環(huán)節(jié)之間的數據平衡關系對兩個相鄰環(huán)節(jié)中，對數據的總量進行驗證，總量指標包括：總記錄數，所有度量指標的總值等?？偭空_說明數據沒有被丟棄，沒有不

21、符合裝載邏輯規(guī)則的臟數據存在?？偭坎徽_，則需要檢查本環(huán)節(jié)裝載日志中是否有被拋棄的記錄，如果沒有數據丟失，則需要檢查數據運算邏輯規(guī)則?？偭炕艘獙γ總€度量進行，才算完整的稽核分量稽核是指對相鄰的兩個環(huán)節(jié)中，在總量正確的前提下，對數據分布情況的稽核，在這個過程中，需要對每個維度上的分布的每個度量進行查詢，如果數據在每個維上的分布都正確，則在組合維查詢時數據也正確，可以保證多維分析的正確性。在總量正確的基礎之上，做分量稽核時只需要選擇任一度量進行稽核，可認為在其他度量上的分量正確分量稽核分量稽核總量稽核總量稽核1過程稽核方法2本地網:武漢本地網 計劃上傳總數:25 其中 : 已采集: 20 處理中

22、:0 未上傳:5 計劃外:0 文件入庫入庫成功文件數入庫處理耗時(分鐘)上傳文件大小上傳文件行數實際文件大小稽核1941051867537537834105186753- 入庫失敗文件數總記錄數正確記錄數錯誤記錄數1753783475378304平衡ODS轉換已轉換文件數轉換處理耗時(分鐘)總記錄數正確記錄數錯誤記錄數19 5475378307537683147平衡分析加載可加載文件數需加載文件數已加載文件數未加載文件數19 1615 1 平衡列出整體的數據處理情況，包括入庫和采集及分析與渠道系統的列出整體的數據處理情況，包括入庫和采集及分析與渠道系統的使用使用 2過程稽核方法3月份08月09

23、月增加 %產品大類費用（萬元）費用（萬元）費用（萬元）1語音業(yè)務44,527.8045,691.602.61%2基礎數據961.50990.102.97%3互聯網4,361.304,522.603.70%4網元出租1,513.401,489.20-1.60%5其他產品8.611.330.99%9未知-481.30-432.1010.22%合計50,891.3052,272.702.71%此稽核方法可以作為總量和分量稽核的輔助，即針對某個度量而言在總量上或分量上的波動在設定的闕值內認為數據時正常的，否則認為為異常，需要檢查確認 對比稽核對比稽核總量稽核總量稽核分量稽核分量稽核3過程稽核方法3邏輯

24、規(guī)則1月2月3月4月5月月租的次數是否為零月租的時長是否為零本地市話話計費時長應被60整除長途通話計費時長應被6整除本地市話費計費時長應大于通話時長長途通話費計費時長應大于通話時長邏輯稽核主要對于某個度量在某個分量（維度）上的分布是否符合業(yè)務邏輯，邏輯稽核也是以自定義的方式實現 邏輯稽核邏輯稽核3過程稽核方法44在上傳集團公司之前，通過稽核模板，對關鍵業(yè)務指標等在上傳集團公司之前，通過稽核模板，對關鍵業(yè)務指標等KPIsKPIs進行環(huán)進行環(huán)比和趨勢分析審核，確認數據在正確的范圍之內比和趨勢分析審核，確認數據在正確的范圍之內過程異常處理措施對于存在的錯誤和異常情況，本地網維護人員進行原因分析和相應

25、處對于存在的錯誤和異常情況，本地網維護人員進行原因分析和相應處理，通過界面回收錯誤數據理，通過界面回收錯誤數據質量保證KSF在行政管理以及職能上設置相應的人員、設立相應的崗位進行數據質量管理，包含以下內容：設計崗位；明確崗位的要求和職責；制定數據上傳計劃制定統一編碼庫評估評估管理管理 過程過程123質量保證質量保證關鍵成功因素關鍵成功因素KSFKSF在數據處理的流程上進行規(guī)范并設置相應的控制點和稽核點規(guī)范的流程過程校驗點和稽核點異常處理措施評估標準評估標準q及時性、準確性一致性等考核考核q獎勵、懲罰階段評估階段評估 評估標準數據質量分級目標報表數據報表數據一般對于數據的準確性要求比較高，特別是

26、財務方面的指標，是嚴格限定在誤差范圍內的。對于報表的指標，即使是允許的誤差范圍，也要求給出誤差產生的原因，例如是小數點四舍五入或是由于秒轉換到分鐘算法不同等。OLAP數據分析 OLAP分析一般是總體數據的宏觀比例、趨勢等分析，對于數據總量的誤差有一定的限制，但要求數據在不同維度上的分布比例正確，能夠正確反映宏觀比例和趨勢。數據挖掘 數據挖掘一般使用比較復雜的數學算法對于數據進行處理，因算法比較復雜，對于硬件環(huán)境要求比較高，同時也限定了使用的數據集合不能太大，一般要求對于全體數據進行采樣，因此在這個過程中，僅關心樣本的代表性。 評估標準接口數據文件傳送完整率每日傳送至分析系統中的完整的接口文件百

27、分比（其中，完整的接口文件指文件的名稱、格式、時間標識、文件大小等均符合經營分析系統接口規(guī)范規(guī)定的接口文件）文件記錄合法率接口文件記錄中各數據項長度、類型及值域均符合接口規(guī)范定義文件傳送及時率在接口規(guī)范中規(guī)定的文件傳送時間窗口內傳送至分析系統的文件個數百分比評估標準接口表數據處理及時率在文件正確到達后及時處理文件比率ODS層數據數據處理及時率轉換后的ODS層及時準確情況 數據倉庫檢查數據處理及時率數據倉庫層處理及時準確情況目錄數據質量問題分析數據質量方法論質量保證成功因素案例分析案例1某省電信源系統的數據質量問題信息不正確：數據無效或錯誤，違反數據約束規(guī)則、業(yè)務規(guī)則等。數據無效或錯誤，違反數據

28、約束規(guī)則、業(yè)務規(guī)則等。信息不完整：源系統中某些信息缺失或未填充，雖然不影響源系統正常運轉，但這些信息的缺失會嚴重影響數據倉庫的應用分析。源系統中某些信息缺失或未填充，雖然不影響源系統正常運轉，但這些信息的缺失會嚴重影響數據倉庫的應用分析。信息不一致：當同一信息內容來自多個源系統時，存在沖突和差異，或者同一業(yè)務系統內部的冗余信息之間存在沖突。當同一信息內容來自多個源系統時，存在沖突和差異，或者同一業(yè)務系統內部的冗余信息之間存在沖突。編碼映射問題 標準編碼不完全、不合理 ：許多本地網編碼不能歸類到標準編碼，導致許多本地網編碼不能歸類到標準編碼，導致 “未知未知”一欄的數量奇高，降低了應用分析的價值

29、，并影響使一欄的數量奇高，降低了應用分析的價值，并影響使用人員對系統的信任度。用人員對系統的信任度。編碼映射不合理：將本地網編碼歸類到標準編碼時有錯誤或不合理，導致與業(yè)務系統形成重大差距。將本地網編碼歸類到標準編碼時有錯誤或不合理，導致與業(yè)務系統形成重大差距。本地網編碼發(fā)生調整，數據倉庫未同步修改：將導致新增編碼歸類到將導致新增編碼歸類到 “未知未知”一類，發(fā)生變化的編碼，歸類到錯誤的標準編碼。一類，發(fā)生變化的編碼，歸類到錯誤的標準編碼。指標統計問題指標定義不一致：各本地網對指標理解不一致，導致提供上來的數據不標準、不具可比性。各本地網對指標理解不一致，導致提供上來的數據不標準、不具可比性。統

30、計口徑不一致：各本地網對統計口徑理解不一致，導致本系統可能與各本地網系統形成重大差距。各本地網對統計口徑理解不一致，導致本系統可能與各本地網系統形成重大差距。ETL數據質量問題技術性問題：包括腳本未按規(guī)范編寫，存在語法錯誤或邏輯錯誤，或者沒有遵循數據約束規(guī)則（如唯一性、引用性、非空等）。包括腳本未按規(guī)范編寫，存在語法錯誤或邏輯錯誤，或者沒有遵循數據約束規(guī)則（如唯一性、引用性、非空等）。非技術性問題：包括對業(yè)務規(guī)則理解不準確、編碼規(guī)則不一致等產生的問題。非技術性問題通常需要向業(yè)務專家、統計專家、源系統維包括對業(yè)務規(guī)則理解不準確、編碼規(guī)則不一致等產生的問題。非技術性問題通常需要向業(yè)務專家、統計專家

31、、源系統維護人員咨詢。護人員咨詢。數據質量檢查的技術方法及考核指標文件級檢查：及時性正確性：打開正常、文件大小正常/波動范圍內記錄合法性：記錄數、記錄長度正常 文件級檢查：文件級檢查： 數據域檢查：數據域檢查：q記錄中數值字段、日期字段是否合法 記錄級檢查：記錄級檢查：q主鍵檢查q外鍵檢查q編碼映射檢查q數據值域檢查q業(yè)務規(guī)則檢查 記錄級檢查：記錄級檢查：q業(yè)務規(guī)則檢查 業(yè)務指標檢查：業(yè)務指標檢查：q業(yè)務指標平衡性檢查q同一指標在臨時區(qū)、DW、DM/OLAP平衡檢查q客戶、用戶q業(yè)務指標波動性檢查q收入、詳單數q業(yè)務指標與業(yè)務系統比對 文件級文件級KPIKPI：q文件及時率q文件正確率 文件級文件級KPIKPI：q文件及時率/正確率q文件處理及時率q記錄合法率