數(shù)據(jù)質(zhì)量管理_數(shù)據(jù)倉庫

1、數(shù)據(jù)倉庫專題講座之?dāng)?shù)據(jù)質(zhì)量管理,2005年9月,目錄,數(shù)據(jù)質(zhì)量問題分析 數(shù)據(jù)質(zhì)量方法論 質(zhì)量保證成功因素 案例分析,數(shù)據(jù)質(zhì)量歸類,錯誤的值,錯誤的數(shù)據(jù)依賴,重復(fù)屬性,缺乏引用完整性,違反商務(wù)規(guī)則,多種數(shù)據(jù)源中缺乏數(shù)據(jù)對應(yīng),源數(shù)據(jù)和目標(biāo)缺乏同步,沒有理由的關(guān)聯(lián),缺少數(shù)據(jù),錯誤的計算,主鍵重復(fù),無標(biāo)準(zhǔn)的格式,稀少的實體解釋,數(shù)據(jù)質(zhì)量的示例,錯誤的范圍,原因分析,各專業(yè)之間的指標(biāo)體系及編碼規(guī)則不一致,多個生產(chǎn)系統(tǒng)的數(shù)據(jù)源存在不一致現(xiàn)象 數(shù)據(jù)源本身存在臟數(shù)據(jù)噪聲數(shù)據(jù) 數(shù)據(jù)存在人工操作 不同數(shù)據(jù)源由不同部門管理,由于生產(chǎn)系統(tǒng)的數(shù)據(jù) 是隨生產(chǎn)而變化的， 在不同的時間點 進(jìn)行數(shù)據(jù)抽取的數(shù)據(jù) 是不一致的,生產(chǎn)

2、系統(tǒng)的不同版本 各分公司市場政策的差異 同一產(chǎn)品、業(yè)務(wù)、套餐 在生產(chǎn)系統(tǒng) 業(yè)務(wù)處理規(guī)則 編碼差異很大,統(tǒng)計口徑,數(shù)據(jù)抽取時間點問題,業(yè)務(wù)規(guī)則問題,數(shù)據(jù)源問題,客戶關(guān)系管理,操作型數(shù)據(jù)整合環(huán)境,ODS,業(yè)務(wù)運作系統(tǒng),企業(yè)數(shù)據(jù)倉庫,EDW,數(shù)據(jù) 集市,客戶 洞察,BSS,CRM,計費,結(jié)算,OSS,資源 管理,服務(wù) 開通,綜合 網(wǎng)管,專業(yè) 網(wǎng)管,MSS/ERP,人力 資源,財務(wù) 管理,工程 管理,數(shù)據(jù)復(fù)制,EAI,ODS數(shù)據(jù)視圖訪問,ODS ETL,數(shù)據(jù)復(fù)制,EAI,ODS數(shù)據(jù)反饋ETL,ODS/EDW數(shù)據(jù)視圖訪問,EDW ETL,客戶 價值,客戶 流失,數(shù)據(jù) 集市,決策支持,整合的前端報表查詢和

3、分析環(huán)境,多維數(shù)據(jù)訪問,ODS書籍,營銷活動,渠道管理,客戶關(guān)懷,客戶洞察,經(jīng)營分析,績效管理,KPI,其他數(shù)據(jù),反饋 分析 數(shù)據(jù),元數(shù)據(jù)管理,安全和權(quán)限管理,系統(tǒng)管理,收入 分析,業(yè)務(wù)發(fā)展分析,客戶 分析,客戶 細(xì)分,營銷 分析,營銷評估監(jiān)控,信用度計算,渠道 監(jiān)控,綜合查詢,綜合報表,數(shù)據(jù)挖掘,數(shù)據(jù) 稽核,數(shù)據(jù)質(zhì)量 監(jiān)控,當(dāng)企業(yè)的所有系統(tǒng)，包括業(yè)務(wù)系統(tǒng)、管理系統(tǒng)、EDA系統(tǒng)都結(jié)為一體的時候，系統(tǒng)監(jiān)控、 工作流、 數(shù)據(jù)流、 系統(tǒng)管理變成一個重要挑戰(zhàn),目錄,數(shù)據(jù)質(zhì)量問題分析 數(shù)據(jù)質(zhì)量方法論 質(zhì)量保證成功因素 案例分析,數(shù)據(jù)質(zhì)量管理方法論,管理機制的保障是數(shù)據(jù)質(zhì)量控制的關(guān)鍵,驗證檢查是數(shù)據(jù)保障的

4、督促和推動,嚴(yán)謹(jǐn)?shù)倪^程定義是數(shù)據(jù)質(zhì)量保障的基礎(chǔ),有效的落實是數(shù)據(jù)質(zhì)量保障的根本,有效的組織機構(gòu)是管理機制的有力支持,完善文檔的建立和維護(hù)是數(shù)據(jù)質(zhì)量保障各個環(huán)節(jié)以及組織之間溝通的依據(jù),建立合理的數(shù)據(jù)管理機構(gòu)、制定數(shù)據(jù)質(zhì)量管理機制、 落實人員執(zhí)行責(zé)任、保障組織間高效的溝通、持續(xù)監(jiān)控數(shù)據(jù)應(yīng)用過程和領(lǐng)導(dǎo)強有力的督促是保證企業(yè)數(shù)據(jù)質(zhì)量的關(guān)鍵,數(shù)據(jù)質(zhì)量保障流程,按照制定的規(guī)范獲取相應(yīng)的項目資源、支撐工具以及制定工作計劃,定義詳細(xì)的過程、數(shù)據(jù)、組織的劃分以及質(zhì)量元素、標(biāo)準(zhǔn)及測算方法。,對現(xiàn)存數(shù)據(jù)及業(yè)務(wù)環(huán)境進(jìn)行評估，以便識別項目對數(shù)據(jù)、過程、系統(tǒng)以及組織架構(gòu)所造成的影響。,建立業(yè)務(wù)環(huán)境，改進(jìn)現(xiàn)有數(shù)據(jù)的數(shù)據(jù)質(zhì)量

5、。,目錄,數(shù)據(jù)質(zhì)量問題分析 數(shù)據(jù)質(zhì)量方法論 質(zhì)量保證成功因素 案例分析,綜述,按照現(xiàn)代質(zhì)量觀念，質(zhì)量是一個過程而不是結(jié)果。 數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量應(yīng)當(dāng)在整個數(shù)據(jù)倉庫規(guī)劃、設(shè)計、建設(shè)、維護(hù)中體現(xiàn)和實現(xiàn)。 鑒于系統(tǒng)建設(shè)情況(業(yè)務(wù)系統(tǒng)、經(jīng)營分析系統(tǒng))，應(yīng)該重點關(guān)注 管理、 過程 評估,質(zhì)量保證KSF,組織保證 設(shè)計崗位 明確崗位的要求和職責(zé) 制定標(biāo)準(zhǔn) 制定數(shù)據(jù)上傳計劃 制定統(tǒng)一編碼庫,過程,在數(shù)據(jù)處理的流程上進(jìn)行規(guī)范并設(shè) 置相應(yīng)的控制點和稽核點 規(guī)范的流程 過程校驗點和稽核點 異常處理措施,制定數(shù)據(jù)質(zhì)量的評測標(biāo)準(zhǔn)并按 所制定的標(biāo)準(zhǔn)對其進(jìn)行考核： 標(biāo)準(zhǔn) 及時性、準(zhǔn)確性、一致性等 考核 獎勵、懲罰 階段評估

6、,管理崗位,為經(jīng)營分析系統(tǒng)的數(shù)據(jù)質(zhì)量管理工作提供宏觀方向指導(dǎo)，并予以授權(quán),支持?jǐn)?shù)據(jù)質(zhì)量管理小組的部門或系統(tǒng)間協(xié)調(diào)工作,全面負(fù)責(zé)經(jīng)營分析系統(tǒng)的建設(shè)和維護(hù) 領(lǐng)導(dǎo)數(shù)據(jù)質(zhì)量管理員進(jìn)行數(shù)據(jù)質(zhì)量管理工作,編寫和維護(hù)數(shù)據(jù)質(zhì)量工作相關(guān)文檔，如數(shù)據(jù)質(zhì)量檢測標(biāo)準(zhǔn)、控制流程； 定期組織相關(guān)力量對經(jīng)營分析系統(tǒng)的業(yè)務(wù)和設(shè)計（包括數(shù)據(jù)模型設(shè)計）的完備性進(jìn)行評估，總結(jié)問題，及時發(fā)現(xiàn)影響數(shù)據(jù)質(zhì)量的隱患； 定期、不定期地進(jìn)行質(zhì)量評估； 監(jiān)控數(shù)據(jù)質(zhì)量問題解決的整個流程； 數(shù)據(jù)質(zhì)量相關(guān)知識的培訓(xùn)； 建立、維護(hù)數(shù)據(jù)質(zhì)量問題解決的經(jīng)驗集,負(fù)責(zé)經(jīng)營分析系統(tǒng)與業(yè)務(wù)系統(tǒng)間的協(xié)調(diào)和工作落實 參與質(zhì)量方案的評估和方案制定 負(fù)責(zé)監(jiān)督和管理相應(yīng)業(yè)務(wù)

7、系統(tǒng)建設(shè)、維護(hù)單位進(jìn)行的與經(jīng)營分析系統(tǒng)數(shù)據(jù)質(zhì)量問題有關(guān)的活動,管理數(shù)據(jù)上傳計劃,制定各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)上傳內(nèi)容計劃，此計劃需要業(yè)務(wù)系統(tǒng)相應(yīng)崗位人員認(rèn)真執(zhí)行：,管理統(tǒng)一編碼庫,標(biāo)準(zhǔn)代碼是指省公司統(tǒng)一各分公司的業(yè)務(wù)情況整理的標(biāo)準(zhǔn)的業(yè)務(wù)代碼，內(nèi)容是代碼、名稱及代碼分類。標(biāo)準(zhǔn)代碼是數(shù)據(jù)源的主要業(yè)務(wù)代碼，所有的分析都是此代碼組合的維度基礎(chǔ)上，因此維護(hù)好代碼也是保證數(shù)據(jù)質(zhì)量的關(guān)鍵之一 建立的原則 維護(hù)的原則 分公司應(yīng)該理解省公司編碼有代表的實際業(yè)務(wù)內(nèi)容，然后把本公司的業(yè)務(wù)對應(yīng)到省公司的標(biāo)準(zhǔn)代碼上 建立的原則 維護(hù)的原則,質(zhì)量保證KSF,在行政管理以及職能上設(shè)置相應(yīng)的 人員、設(shè)立相應(yīng)的崗位進(jìn)行數(shù)據(jù)質(zhì) 量管理

8、，包含以下內(nèi)容： 設(shè)計崗位； 明確崗位的要求和職責(zé)； 制定數(shù)據(jù)上傳計劃 制定統(tǒng)一編碼庫,評估,管理,過程,1,2,3,質(zhì)量保證 關(guān)鍵成功因素 KSF,規(guī)范 規(guī)范的流程 檢查點 過程校驗點和稽核點 異常處理措施,制定數(shù)據(jù)質(zhì)量的評測標(biāo)準(zhǔn)并按 所制定的標(biāo)準(zhǔn)對其進(jìn)行考核： 標(biāo)準(zhǔn) 及時性、準(zhǔn)確性、一致性等 考核 獎勵、懲罰 階段評估,過程規(guī)范的流程,定義了用于構(gòu)造一個完善的、滿足業(yè)務(wù)功能的數(shù)據(jù)倉庫系統(tǒng)所不可缺少的步驟和任務(wù)。這是一組預(yù)定義好的、在整個數(shù)據(jù)倉庫項目中起指導(dǎo)作用的、可用多種方法管理的實施步驟,過程校驗點,對數(shù)據(jù)的稽核應(yīng)包括三個層面的KPIs檢查校驗，其中業(yè)務(wù)層面對于數(shù)據(jù)質(zhì)量保證更為重要，也更

9、為復(fù)雜,數(shù)據(jù)稽核,技術(shù)指標(biāo)稽核,業(yè)務(wù)指標(biāo)稽核,操作指標(biāo)稽核,文件命名是否正確 文件個數(shù)是否正常 索引標(biāo)識是否對應(yīng),文件中記錄行數(shù)是否正常 文件大小是否正常,文件中各類指標(biāo)匯總值是否異常波動 根據(jù)歷史經(jīng)驗和季節(jié)規(guī)律進(jìn)行時間序列分析數(shù)據(jù)校驗利器,在系統(tǒng)中予以固化，提供自動異常預(yù)警，使操作人員可以方便地進(jìn)行審核確認(rèn),過程稽核點,由于各省數(shù)據(jù)情況復(fù)雜，因此數(shù)據(jù)在上傳集團公司的過程中，應(yīng)經(jīng)過多次稽核檢驗把關(guān)，才能各環(huán)節(jié)數(shù)據(jù)的質(zhì)量,省公司,本地網(wǎng),生成數(shù)據(jù),檢查通過？,檢查通過？,處理/生成,檢查通過？,檢查通過？,處理/稽核/展現(xiàn),省公司管控范圍,集團公司管控范圍,過程稽核方法1,在從分公司到省公司的E

10、TL過程中，采取總量稽核與分量稽核方法來校驗環(huán)節(jié)之間的數(shù)據(jù)平衡關(guān)系,對兩個相鄰環(huán)節(jié)中，對數(shù)據(jù)的總量進(jìn)行驗證，總量指標(biāo)包括：總記錄數(shù)，所有度量指標(biāo)的總值等。 總量正確說明數(shù)據(jù)沒有被丟棄，沒有不符合裝載邏輯規(guī)則的臟數(shù)據(jù)存在。 總量不正確，則需要檢查本環(huán)節(jié)裝載日志中是否有被拋棄的記錄，如果沒有數(shù)據(jù)丟失，則需要檢查數(shù)據(jù)運算邏輯規(guī)則。 總量稽核要對每個度量進(jìn)行，才算完整的稽核,分量稽核是指對相鄰的兩個環(huán)節(jié)中，在總量正確的前提下，對數(shù)據(jù)分布情況的稽核，在這個過程中，需要對每個維度上的分布的每個度量進(jìn)行查詢，如果數(shù)據(jù)在每個維上的分布都正確，則在組合維查詢時數(shù)據(jù)也正確，可以保證多維分析的正確性。 在總量正確的

11、基礎(chǔ)之上，做分量稽核時只需要選擇任一度量進(jìn)行稽核，可認(rèn)為在其他度量上的分量正確,1,過程稽核方法2,列出整體的數(shù)據(jù)處理情況，包括入庫和采集及分析與渠道系統(tǒng)的使用,2,過程稽核方法3,此稽核方法可以作為總量和分量稽核的輔助，即針對某個度量而言在總量上或分量上的波動在設(shè)定的闕值內(nèi)認(rèn)為數(shù)據(jù)時正常的，否則認(rèn)為為異常，需要檢查確認(rèn),3,過程稽核方法3,邏輯稽核主要對于某個度量在某個分量（維度）上的分布是否符合業(yè)務(wù)邏輯，邏輯稽核也是以自定義的方式實現(xiàn),3,過程稽核方法4,4,在上傳集團公司之前，通過稽核模板，對關(guān)鍵業(yè)務(wù)指標(biāo)等KPIs進(jìn)行環(huán)比和趨勢分析審核，確認(rèn)數(shù)據(jù)在正確的范圍之內(nèi),過程異常處理措施,對于存

12、在的錯誤和異常情況，本地網(wǎng)維護(hù)人員進(jìn)行原因分析和相應(yīng)處理，通過界面回收錯誤數(shù)據(jù),質(zhì)量保證KSF,在行政管理以及職能上設(shè)置相應(yīng)的 人員、設(shè)立相應(yīng)的崗位進(jìn)行數(shù)據(jù)質(zhì) 量管理，包含以下內(nèi)容： 設(shè)計崗位； 明確崗位的要求和職責(zé)； 制定數(shù)據(jù)上傳計劃 制定統(tǒng)一編碼庫,評估,管理,過程,1,2,3,質(zhì)量保證 關(guān)鍵成功因素 KSF,在數(shù)據(jù)處理的流程上進(jìn)行規(guī)范并設(shè) 置相應(yīng)的控制點和稽核點 規(guī)范的流程 過程校驗點和稽核點 異常處理措施,評估標(biāo)準(zhǔn) 及時性、準(zhǔn)確性一致性等 考核 獎勵、懲罰 階段評估,評估標(biāo)準(zhǔn),數(shù)據(jù)質(zhì)量分級目標(biāo) 報表數(shù)據(jù) 報表數(shù)據(jù)一般對于數(shù)據(jù)的準(zhǔn)確性要求比較高，特別是財務(wù)方面的指標(biāo)，是嚴(yán)格限定在誤差范圍

13、內(nèi)的。對于報表的指標(biāo)，即使是允許的誤差范圍，也要求給出誤差產(chǎn)生的原因，例如是小數(shù)點四舍五入或是由于秒轉(zhuǎn)換到分鐘算法不同等。 OLAP數(shù)據(jù)分析 OLAP分析一般是總體數(shù)據(jù)的宏觀比例、趨勢等分析，對于數(shù)據(jù)總量的誤差有一定的限制，但要求數(shù)據(jù)在不同維度上的分布比例正確，能夠正確反映宏觀比例和趨勢。 數(shù)據(jù)挖掘 數(shù)據(jù)挖掘一般使用比較復(fù)雜的數(shù)學(xué)算法對于數(shù)據(jù)進(jìn)行處理，因算法比較復(fù)雜，對于硬件環(huán)境要求比較高，同時也限定了使用的數(shù)據(jù)集合不能太大，一般要求對于全體數(shù)據(jù)進(jìn)行采樣，因此在這個過程中，僅關(guān)心樣本的代表性。,評估標(biāo)準(zhǔn),接口數(shù)據(jù) 文件傳送完整率 每日傳送至分析系統(tǒng)中的完整的接口文件百分比（其中，完整的接口文件

14、指文件的名稱、格式、時間標(biāo)識、文件大小等均符合經(jīng)營分析系統(tǒng)接口規(guī)范規(guī)定的接口文件） 文件記錄合法率 接口文件記錄中各數(shù)據(jù)項長度、類型及值域均符合接口規(guī)范定義 文件傳送及時率 在接口規(guī)范中規(guī)定的文件傳送時間窗口內(nèi)傳送至分析系統(tǒng)的文件個數(shù)百分比,評估標(biāo)準(zhǔn),接口表 數(shù)據(jù)處理及時率 在文件正確到達(dá)后及時處理文件比率 ODS層數(shù)據(jù) 數(shù)據(jù)處理及時率 轉(zhuǎn)換后的ODS層及時準(zhǔn)確情況 數(shù)據(jù)倉庫檢查 數(shù)據(jù)處理及時率 數(shù)據(jù)倉庫層處理及時準(zhǔn)確情況,目錄,數(shù)據(jù)質(zhì)量問題分析 數(shù)據(jù)質(zhì)量方法論 質(zhì)量保證成功因素 案例分析,案例1某省電信,源系統(tǒng)的數(shù)據(jù)質(zhì)量問題 信息不正確：數(shù)據(jù)無效或錯誤，違反數(shù)據(jù)約束規(guī)則、業(yè)務(wù)規(guī)則等。 信息不

15、完整：源系統(tǒng)中某些信息缺失或未填充，雖然不影響源系統(tǒng)正常運轉(zhuǎn)，但這些信息的缺失會嚴(yán)重影響數(shù)據(jù)倉庫的應(yīng)用分析。 信息不一致：當(dāng)同一信息內(nèi)容來自多個源系統(tǒng)時，存在沖突和差異，或者同一業(yè)務(wù)系統(tǒng)內(nèi)部的冗余信息之間存在沖突。 編碼映射問題 標(biāo)準(zhǔn)編碼不完全、不合理 ：許多本地網(wǎng)編碼不能歸類到標(biāo)準(zhǔn)編碼，導(dǎo)致 “未知”一欄的數(shù)量奇高，降低了應(yīng)用分析的價值，并影響使用人員對系統(tǒng)的信任度。 編碼映射不合理：將本地網(wǎng)編碼歸類到標(biāo)準(zhǔn)編碼時有錯誤或不合理，導(dǎo)致與業(yè)務(wù)系統(tǒng)形成重大差距。 本地網(wǎng)編碼發(fā)生調(diào)整，數(shù)據(jù)倉庫未同步修改：將導(dǎo)致新增編碼歸類到 “未知”一類，發(fā)生變化的編碼，歸類到錯誤的標(biāo)準(zhǔn)編碼。 指標(biāo)統(tǒng)計問題 指標(biāo)定

16、義不一致：各本地網(wǎng)對指標(biāo)理解不一致，導(dǎo)致提供上來的數(shù)據(jù)不標(biāo)準(zhǔn)、不具可比性。 統(tǒng)計口徑不一致：各本地網(wǎng)對統(tǒng)計口徑理解不一致，導(dǎo)致本系統(tǒng)可能與各本地網(wǎng)系統(tǒng)形成重大差距。 ETL數(shù)據(jù)質(zhì)量問題 技術(shù)性問題：包括腳本未按規(guī)范編寫，存在語法錯誤或邏輯錯誤，或者沒有遵循數(shù)據(jù)約束規(guī)則（如唯一性、引用性、非空等）。 非技術(shù)性問題：包括對業(yè)務(wù)規(guī)則理解不準(zhǔn)確、編碼規(guī)則不一致等產(chǎn)生的問題。非技術(shù)性問題通常需要向業(yè)務(wù)專家、統(tǒng)計專家、源系統(tǒng)維護(hù)人員咨詢。,數(shù)據(jù)質(zhì)量檢查的技術(shù)方法及考核指標(biāo),文件級檢查： 及時性 正確性：打開正常、文件大小正常/波動范圍內(nèi) 記錄合法性：記錄數(shù)、記錄長度正常,文件級檢查： 數(shù)據(jù)域檢查： 記錄中數(shù)值字段、日期字段是否合法,記錄級檢查： 主鍵檢查 外鍵檢查 編碼映射檢查 數(shù)據(jù)值域檢查 業(yè)務(wù)規(guī)則檢查,記錄級檢查： 業(yè)務(wù)規(guī)則檢查 業(yè)務(wù)指標(biāo)檢查： 業(yè)務(wù)指標(biāo)平衡性檢查 同一指標(biāo)在臨時區(qū)、DW、DM/OLAP平衡檢查 客戶、用戶 業(yè)務(wù)指標(biāo)波動性檢查 收入、詳單數(shù) 業(yè)務(wù)指標(biāo)與業(yè)務(wù)系統(tǒng)比對,文件級KPI： 文件及時率 文件正確率,文件級KPI： 文件及時率/正確率 文件處理及時率 記錄合法率,記錄級K