數(shù)據(jù)質(zhì)量評(píng)估管理流程

1、數(shù)據(jù)質(zhì)量評(píng)估管理流程數(shù)據(jù)質(zhì)量評(píng)估管理主要通過(guò)以下三個(gè)方面進(jìn)行：數(shù)據(jù)質(zhì)量管理的組織架構(gòu)目前企業(yè)數(shù)據(jù)中心的組織架構(gòu)中，有專門的數(shù)據(jù)質(zhì)量管理小組。建立數(shù)據(jù)質(zhì)量管理小組是保證數(shù)據(jù)質(zhì)量管理體系正常工作的前提和保證，對(duì)于企業(yè)數(shù)據(jù)中心這樣的大型項(xiàng)目尤其如此，必須設(shè)立專門的數(shù)據(jù)質(zhì)量管理小組和數(shù)據(jù)質(zhì)量管理組織體系。數(shù)據(jù)質(zhì)量管理小組專門負(fù)責(zé)整個(gè)企業(yè)數(shù)據(jù)中心項(xiàng)目的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)的建立、數(shù)據(jù)質(zhì)量監(jiān)督和數(shù)據(jù)質(zhì)量保證。根據(jù)項(xiàng)目規(guī)模，企業(yè)數(shù)據(jù)中心還在幾個(gè)核心的分系統(tǒng)建設(shè)和維護(hù)過(guò)程中設(shè)立專職的數(shù)據(jù)質(zhì)量管理人員，從而組成專門的數(shù)據(jù)質(zhì)量管理小組。數(shù)據(jù)質(zhì)量管理小組的工作職責(zé)主要包括以下一些：（1）負(fù)責(zé)制訂數(shù)據(jù)質(zhì)量的評(píng)估指標(biāo)（2）負(fù)責(zé)

2、制訂數(shù)據(jù)質(zhì)量的評(píng)估方法和評(píng)估形式（4）負(fù)責(zé)制訂數(shù)據(jù)質(zhì)量可信等級(jí)管理策略（5）負(fù)責(zé)制訂數(shù)據(jù)質(zhì)量管理操作流程規(guī)范（6）負(fù)責(zé)定期發(fā)布數(shù)據(jù)質(zhì)量報(bào)告3.3.2數(shù)據(jù)質(zhì)量校驗(yàn)流程企業(yè)數(shù)據(jù)中心平臺(tái)每天都有很多ETL任務(wù)定時(shí)執(zhí)行加載數(shù)據(jù)，確保ETL加載數(shù)據(jù)的完整性、準(zhǔn)確性是數(shù)據(jù)質(zhì)量管理的基本要求。1）日常數(shù)據(jù)校驗(yàn)數(shù)據(jù)質(zhì)量管理人員每天要對(duì)ETL加載任務(wù)執(zhí)行情況進(jìn)行檢查。數(shù)據(jù)校驗(yàn)方法選擇ETL任務(wù)數(shù)據(jù)質(zhì)量校驗(yàn)要求必須采用以下三類方法中的至少一種來(lái)進(jìn)行判斷：記錄數(shù)檢查法；關(guān)鍵指標(biāo)總量驗(yàn)證法；值域判斷法。數(shù)據(jù)校驗(yàn)周期每天ETL加載任務(wù)比較多，如果全部執(zhí)行數(shù)據(jù)校驗(yàn)需要的時(shí)間過(guò)長(zhǎng)，因此根據(jù)每個(gè)主題數(shù)據(jù)的可信等級(jí)確定校驗(yàn)頻率

3、?？尚诺燃?jí)與校驗(yàn)頻率的對(duì)應(yīng)關(guān)系如下：一級(jí)：每次加載都必須執(zhí)行數(shù)據(jù)校驗(yàn)二級(jí)：每三次加載執(zhí)行一次數(shù)據(jù)校驗(yàn)三級(jí)：每六次加載執(zhí)行一次數(shù)據(jù)校驗(yàn)對(duì)于需要特別保障的主題數(shù)據(jù)，可調(diào)整校驗(yàn)頻率并額外增加經(jīng)驗(yàn)審核法。2）定時(shí)數(shù)據(jù)抽查ETL數(shù)據(jù)校驗(yàn)確保每天加載的增量數(shù)據(jù)的完整性、準(zhǔn)確性，在此基礎(chǔ)上，數(shù)據(jù)質(zhì)量管理小組必須每季度組織一次企業(yè)數(shù)據(jù)中心平臺(tái)的定期抽查。定期抽查的范圍必須包括可信等級(jí)為一級(jí)的所有主題數(shù)據(jù)，可信等級(jí)為二級(jí)的二個(gè)主題的數(shù)據(jù)，可信等級(jí)為三級(jí)的一個(gè)主題的數(shù)據(jù)。定期抽查必須采用數(shù)據(jù)質(zhì)量評(píng)估方法中定義的所有方法。3）全面數(shù)據(jù)檢查數(shù)據(jù)質(zhì)量管理小組必須每年組織一次企業(yè)數(shù)據(jù)中心平臺(tái)的全面檢查。全面檢查的范圍包括

4、企業(yè)數(shù)據(jù)中心平臺(tái)所有主題的數(shù)據(jù)。全面檢查必須采用數(shù)據(jù)質(zhì)量評(píng)估方法中定義的所有方法。3.3.3數(shù)據(jù)異常處理流程（1）數(shù)據(jù)質(zhì)量管理人員發(fā)現(xiàn)數(shù)據(jù)差錯(cuò)應(yīng)及時(shí)核對(duì)核實(shí)，根據(jù)核對(duì)核實(shí)情況填寫數(shù)據(jù)問(wèn)題處理單，描述數(shù)據(jù)質(zhì)量問(wèn)題的現(xiàn)狀、原因和改正、預(yù)防措施。2）數(shù)據(jù)質(zhì)量管理小組組長(zhǎng)審批后，報(bào)數(shù)據(jù)中心主管部門批準(zhǔn)后執(zhí)行數(shù)據(jù)修正任務(wù)。數(shù)據(jù)質(zhì)量的評(píng)估報(bào)告最終根據(jù)數(shù)據(jù)質(zhì)量檢查的情況，數(shù)據(jù)質(zhì)量管理小組會(huì)定期或不定期的生成相關(guān)的數(shù)據(jù)質(zhì)量評(píng)估報(bào)告，數(shù)據(jù)質(zhì)量報(bào)告分為兩類：每月定期提交的數(shù)據(jù)質(zhì)量報(bào)告，即每月數(shù)據(jù)質(zhì)量問(wèn)題的陳述。數(shù)據(jù)質(zhì)量抽查或全面檢查后提交的數(shù)據(jù)質(zhì)量報(bào)告。3.4.1每月數(shù)據(jù)質(zhì)量評(píng)估報(bào)告每月的數(shù)據(jù)質(zhì)量報(bào)告是在每月月末

5、或者下月月初時(shí)編制的月度執(zhí)行報(bào)告，數(shù)據(jù)質(zhì)量管理小組會(huì)對(duì)當(dāng)月數(shù)據(jù)質(zhì)量情況進(jìn)行匯總統(tǒng)計(jì)，并根據(jù)“數(shù)據(jù)質(zhì)量問(wèn)題頻率”的變化情況對(duì)各個(gè)主題的等級(jí)進(jìn)行檢查策略的調(diào)整，報(bào)告格式如下：A、非系統(tǒng)問(wèn)題（1）數(shù)據(jù)質(zhì)量問(wèn)題的現(xiàn)象（2）業(yè)務(wù)數(shù)據(jù)范圍（3）問(wèn)題陳述、系統(tǒng)問(wèn)題（1）數(shù)據(jù)質(zhì)量問(wèn)題的現(xiàn)象（2）業(yè)務(wù)數(shù)據(jù)范圍（3）問(wèn)題陳述3.4.2數(shù)據(jù)質(zhì)量抽查或全面檢查后提交的數(shù)據(jù)質(zhì)量報(bào)告數(shù)據(jù)質(zhì)量抽查或全面檢查報(bào)告是在每次進(jìn)行完整個(gè)企業(yè)數(shù)據(jù)中心抽查或全面檢查后編制的質(zhì)量報(bào)告，同每月數(shù)據(jù)質(zhì)量報(bào)告相比，除了要統(tǒng)計(jì)數(shù)據(jù)質(zhì)量情況并重新劃分主題等級(jí)外，還需要對(duì)整個(gè)質(zhì)量體系運(yùn)作的情況進(jìn)行評(píng)估和改進(jìn)，報(bào)告格式如下：A、基本概況包括：參與數(shù)據(jù)質(zhì)量檢查的相關(guān)組織與人員；數(shù)據(jù)質(zhì)量檢查的時(shí)間；數(shù)據(jù)質(zhì)量檢查的地點(diǎn)；數(shù)據(jù)質(zhì)量檢查的形式；數(shù)據(jù)質(zhì)量檢查的范圍等方面的內(nèi)容。B、數(shù)據(jù)質(zhì)量的檢查與評(píng)價(jià)（1）評(píng)價(jià)過(guò)程與步驟（2）數(shù)據(jù)檢查方式主要分為全部檢查和抽查。全檢必須說(shuō)明檢查的范圍、內(nèi)容及方法。抽查必須說(shuō)明抽樣方案、過(guò)程及數(shù)據(jù)檢查的范圍、內(nèi)容及方法。（3）數(shù)據(jù)質(zhì)量評(píng)價(jià)方法C、數(shù)據(jù)質(zhì)量評(píng)述與結(jié)論（1）評(píng)述對(duì)數(shù)據(jù)質(zhì)量進(jìn)行的綜