提高數(shù)據(jù)質(zhì)量的步驟和措施

提高數(shù)據(jù)質(zhì)量的步驟和措施提升數(shù)據(jù)質(zhì)量的步驟和措施鑒于大部分系統(tǒng)和應(yīng)用程序持續(xù)接收新數(shù)據(jù)，數(shù)據(jù)量不斷增加，確保數(shù)據(jù)質(zhì)量不是一蹴而就的任務(wù)。所有企業(yè)都應(yīng)采用循環(huán)進(jìn)行的階段性流程來管理數(shù)據(jù)質(zhì)量，其中包括數(shù)據(jù)質(zhì)量評(píng)估、規(guī)劃以及策略的選擇和實(shí)施。首要步驟是對(duì)數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估。評(píng)估當(dāng)前的數(shù)據(jù)質(zhì)量狀況至關(guān)重要。這種評(píng)估有助于企業(yè)準(zhǔn)確了解數(shù)據(jù)的內(nèi)容、質(zhì)量和結(jié)構(gòu)。主管參與數(shù)據(jù)質(zhì)量評(píng)估以及分析在數(shù)據(jù)檢查過程中發(fā)現(xiàn)的問題對(duì)評(píng)估至關(guān)重要。在高效的數(shù)據(jù)質(zhì)量評(píng)估中，所有問題將按照對(duì)業(yè)務(wù)影響的大小順序列出，從而有助于IT機(jī)構(gòu)節(jié)約項(xiàng)目成本。其次，制定數(shù)據(jù)質(zhì)量計(jì)劃。在深入了解企業(yè)數(shù)據(jù)內(nèi)容和質(zhì)量之后，下一步是制定計(jì)劃，修正當(dāng)前的錯(cuò)誤并預(yù)防未來錯(cuò)誤。有效的計(jì)劃不僅可以提升當(dāng)前所有應(yīng)用程序中的數(shù)據(jù)質(zhì)量，還會(huì)確保新應(yīng)用程序從一開始就遵循數(shù)據(jù)質(zhì)量規(guī)范。第三步是選擇并實(shí)施數(shù)據(jù)質(zhì)量策略。選擇改善企業(yè)數(shù)據(jù)質(zhì)量的策略，要求決策者權(quán)衡每個(gè)數(shù)據(jù)質(zhì)量計(jì)劃的成本以及策略的影響。目前有兩種主要策略類型：一種是提升數(shù)據(jù)質(zhì)量的“上游”方法，即在數(shù)據(jù)輸入階段改善數(shù)據(jù)質(zhì)量；另一種是“下游”方法，即從運(yùn)營(yíng)系統(tǒng)中提取數(shù)據(jù)（如數(shù)據(jù)倉庫）來改善數(shù)據(jù)質(zhì)量。上游策略涉及研究當(dāng)前應(yīng)用程序的邏輯、數(shù)據(jù)和流程，解決檢查過程中發(fā)現(xiàn)的異常情況。這種策略可能包括改變應(yīng)用程序邏輯、加強(qiáng)表驗(yàn)證以及改善與數(shù)據(jù)輸入相關(guān)的流程，以確保企業(yè)數(shù)據(jù)的高準(zhǔn)確性。此外，上游策略還需要利用應(yīng)用程序自帶的數(shù)據(jù)質(zhì)量功能。下游策略則是解決目標(biāo)應(yīng)用程序或數(shù)據(jù)倉庫中的數(shù)據(jù)質(zhì)量問題。由于數(shù)據(jù)可隨時(shí)根據(jù)需要進(jìn)行修改，企業(yè)能夠通過流程改進(jìn)（特別是數(shù)據(jù)轉(zhuǎn)換、名稱和地址清洗以及查找驗(yàn)證）來提升數(shù)據(jù)質(zhì)量。與上游策略相比，下游策略只是改善目標(biāo)應(yīng)用程序或數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量，但其實(shí)施過程更為簡(jiǎn)單，成本更低。確立數(shù)據(jù)標(biāo)準(zhǔn)，明確數(shù)據(jù)定義。通常情況下，獨(dú)立的應(yīng)用系統(tǒng)可能有比較模糊或有時(shí)比較清晰的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)定義。為了確保系統(tǒng)正常運(yùn)行，這些系統(tǒng)的用戶必須就數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)定義達(dá)成一致。然而，這些標(biāo)準(zhǔn)和定義通常與企業(yè)其他系統(tǒng)中的標(biāo)準(zhǔn)和定義不一致。因此，需要從整個(gè)企業(yè)的角度出發(fā)，確立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)定義，并確保整個(gè)企業(yè)就此達(dá)成共識(shí)。這并不容易，因?yàn)槿藗兺ǔ?huì)本能地抵制變化，改變數(shù)據(jù)標(biāo)準(zhǔn)和定義是一項(xiàng)艱巨的任務(wù)。為此，除了設(shè)立一個(gè)高管級(jí)別的數(shù)據(jù)質(zhì)量管理委員會(huì)外，還需指派一個(gè)執(zhí)行能力強(qiáng)的項(xiàng)目負(fù)責(zé)人，推動(dòng)相關(guān)人員接受新的數(shù)據(jù)標(biāo)準(zhǔn)和定義。在具體建立新的數(shù)據(jù)標(biāo)準(zhǔn)和數(shù)據(jù)定義時(shí)，需要仔細(xì)權(quán)衡，哪些定義和標(biāo)準(zhǔn)是出于企業(yè)內(nèi)部的原因(比如出于方便、習(xí)慣等)制訂的，哪些定義和標(biāo)準(zhǔn)是因?yàn)橐行Х从惩獠康恼鎸?shí)世界而制訂的。相對(duì)而言，前者更容易執(zhí)行一些。2.建立一個(gè)可重復(fù)的數(shù)據(jù)收集、數(shù)據(jù)修改和數(shù)據(jù)維護(hù)流程。數(shù)據(jù)管理面臨的兩個(gè)主要挑戰(zhàn)是企業(yè)本身的復(fù)雜性和身份信息不斷變化。這兩個(gè)客觀原因的存在意味著企業(yè)的數(shù)據(jù)質(zhì)量保證行動(dòng)永遠(yuǎn)沒有結(jié)束之日，因此，企業(yè)在制訂數(shù)據(jù)質(zhì)量的保證措施和數(shù)據(jù)質(zhì)量指標(biāo)時(shí)，必須保證這些措施和指標(biāo)能夠不斷重復(fù)。3.在數(shù)據(jù)轉(zhuǎn)化流程中設(shè)立多個(gè)性能監(jiān)控點(diǎn)。數(shù)據(jù)的質(zhì)量高低可以根據(jù)最終用戶的需求來評(píng)價(jià)，也可以通過與同類數(shù)據(jù)源的比較來評(píng)價(jià)，還可以通過與前一階段的數(shù)據(jù)質(zhì)量進(jìn)行比較來評(píng)價(jià)。但在制訂數(shù)據(jù)質(zhì)量的戰(zhàn)略時(shí)，比較理想的辦法還是根據(jù)最終用戶的需求來進(jìn)行。不過這里存在一個(gè)問題是，等到最終用戶拿到數(shù)據(jù)時(shí)再針對(duì)數(shù)據(jù)的問題進(jìn)行修正已經(jīng)太遲了。一個(gè)有效的數(shù)據(jù)質(zhì)量保證辦法是在每當(dāng)數(shù)據(jù)發(fā)生轉(zhuǎn)換后就與前一時(shí)期進(jìn)行比較，從而對(duì)數(shù)據(jù)質(zhì)量進(jìn)行評(píng)估。如果此前所采用的數(shù)據(jù)質(zhì)量改進(jìn)方法有助于提高最終用戶的滿意度，那么，這些中間指標(biāo)的達(dá)標(biāo)也預(yù)示著項(xiàng)目的最終成功。4.對(duì)流程不斷進(jìn)行改善和優(yōu)化。我們常常聽到有人說，他們制訂了很多辦法來迅速而且大幅度提升數(shù)據(jù)的質(zhì)量，但很少聽說最后他們能真正得到滿意的結(jié)果。其原因就在于數(shù)據(jù)的質(zhì)量改進(jìn)絕非一朝一夕的事情，而是一個(gè)持續(xù)的過程。正確的辦法是通過一個(gè)不斷改進(jìn)的流程，持續(xù)不斷地排除錯(cuò)誤、對(duì)數(shù)據(jù)進(jìn)行整合和標(biāo)準(zhǔn)化，最后達(dá)到流程的自動(dòng)化，從而降低數(shù)據(jù)質(zhì)量保證計(jì)劃的總體開銷。實(shí)際上，排除錯(cuò)誤、數(shù)據(jù)整合和數(shù)據(jù)標(biāo)準(zhǔn)化從來就不是一件容易的事情。數(shù)據(jù)質(zhì)量管理計(jì)劃的負(fù)責(zé)人將配合公司高管組成的數(shù)據(jù)質(zhì)量管理委員會(huì)來保證這個(gè)流程的順利執(zhí)行。要注意的是，作為該項(xiàng)目的負(fù)責(zé)人，不能墨守成規(guī)，僅僅因?yàn)樽约阂郧耙幌虿捎媚撤N方法，就要求別人也必須采用這一方法，特別是當(dāng)發(fā)現(xiàn)這些方法成本高昂的時(shí)候，就應(yīng)該考慮換一種方式了。5.把責(zé)任落實(shí)到人。通常，我們認(rèn)為那些與數(shù)據(jù)的.產(chǎn)生、維護(hù)相關(guān)的人員是負(fù)責(zé)任的，但是，很有可能，他們有很多其他的工作要做，因此作為數(shù)據(jù)質(zhì)量的負(fù)責(zé)人光有善良的想法是難以提高數(shù)據(jù)的質(zhì)量，很有可能一輩子也達(dá)不到目標(biāo)。對(duì)于那些負(fù)責(zé)數(shù)據(jù)的產(chǎn)生、數(shù)據(jù)的合理化以及對(duì)數(shù)據(jù)進(jìn)行清理和維護(hù)的人，應(yīng)該給他們的活動(dòng)制訂明確的指標(biāo)，這樣他們才能真正理解人們到底希望他們達(dá)到什么目標(biāo)。更重要的，他們還需要針對(duì)這些指標(biāo)細(xì)化對(duì)他們自己的要求，當(dāng)然，他們會(huì)因?yàn)檫_(dá)到或者超過這些指標(biāo)而得到獎(jiǎng)勵(lì)。其中，一個(gè)執(zhí)行力強(qiáng)的負(fù)責(zé)人的價(jià)值體現(xiàn)出來，他會(huì)針對(duì)具體