數(shù)據(jù)治理系列淺談數(shù)據(jù)質(zhì)量管理

數(shù)據(jù)治理系列5：淺談數(shù)據(jù)質(zhì)量管理“數(shù)據(jù)質(zhì)量管理是對(duì)數(shù)據(jù)從計(jì)劃、獲取、存儲(chǔ)、共享、維護(hù)、應(yīng)用、消亡生命周期的每個(gè)階段里可能引發(fā)的數(shù)據(jù)質(zhì)量問題，進(jìn)行識(shí)別、度量、監(jiān)控、預(yù)警等一系列管理活動(dòng)，并通過改善和提高組織的管理水平使得數(shù)據(jù)質(zhì)量獲得進(jìn)一步提高。數(shù)據(jù)質(zhì)量管理的終極目的是通過可靠的數(shù)據(jù)提高數(shù)據(jù)在使用中的價(jià)值，并最后為公司贏得經(jīng)濟(jì)效益?！薄陨蟽?nèi)容摘自百度百科。筆者觀點(diǎn)：“數(shù)據(jù)質(zhì)量管理不單純是一種概念，也不單純是一項(xiàng)技術(shù)、也不單純是一種系統(tǒng)，更不單純是一套管理流程，數(shù)據(jù)質(zhì)量管理是一種集辦法論、技術(shù)、業(yè)務(wù)和管理為一體的解決方案。通過有效的數(shù)據(jù)質(zhì)量控制手段，進(jìn)行數(shù)據(jù)的管理和控制，消除數(shù)據(jù)質(zhì)量問題進(jìn)而提高公司數(shù)據(jù)變現(xiàn)的能力。在數(shù)據(jù)治理過程中，一切業(yè)務(wù)、技術(shù)和管理活動(dòng)都圍繞這個(gè)目的和開展”。一、數(shù)據(jù)質(zhì)量問題盤點(diǎn)接下來我們盤點(diǎn)下公司普通都會(huì)碰到哪些數(shù)據(jù)質(zhì)量問題：數(shù)據(jù)真實(shí)性：數(shù)據(jù)必須真實(shí)精確的反映客觀的實(shí)體存在或真實(shí)的業(yè)務(wù)，真實(shí)可靠的原始統(tǒng)計(jì)數(shù)據(jù)是公司統(tǒng)計(jì)工作的靈魂，是一切管理工作的基礎(chǔ)，是經(jīng)營(yíng)者進(jìn)行對(duì)的經(jīng)營(yíng)決策必不可少的第一手資料。數(shù)據(jù)精確性：精確性也叫可靠性，是用于分析和識(shí)別哪些是不精確的或無效的數(shù)據(jù)，不可靠的數(shù)據(jù)可能會(huì)造成嚴(yán)重的問題，會(huì)造成有缺點(diǎn)的辦法和糟糕的決策。數(shù)據(jù)唯一性：用于識(shí)別和度量重復(fù)數(shù)據(jù)、冗余數(shù)據(jù)。重復(fù)數(shù)據(jù)是造成業(yè)務(wù)無法協(xié)同、流程無法追溯的重要因素，也是數(shù)據(jù)治理需要解決的最基本的數(shù)據(jù)問題。數(shù)據(jù)完整性：數(shù)據(jù)完整性問題涉及：模型設(shè)計(jì)不完整，例如：唯一性約束不完整、參考不完整；數(shù)據(jù)條目不完整，例如：數(shù)據(jù)統(tǒng)計(jì)丟失或不可用；數(shù)據(jù)屬性不完整，例如：數(shù)據(jù)屬性空值。不完整的數(shù)據(jù)所能借鑒的價(jià)值就會(huì)大大減少，也是數(shù)據(jù)質(zhì)量問題最為基礎(chǔ)和常見的一類問題。數(shù)據(jù)一致性：多源數(shù)據(jù)的數(shù)據(jù)模型不一致，例如：命名不一致、數(shù)據(jù)構(gòu)造不一致、約束規(guī)則不一致。數(shù)據(jù)實(shí)體不一致，例如：數(shù)據(jù)編碼不一致、命名及含義不一致、分類層次不一致、生命周期不一致……。相似的數(shù)據(jù)有多個(gè)副本的狀況下的數(shù)據(jù)不一致、數(shù)據(jù)內(nèi)容沖突的問題。數(shù)據(jù)關(guān)聯(lián)性：數(shù)據(jù)關(guān)聯(lián)性問題是指存在數(shù)據(jù)關(guān)聯(lián)的數(shù)據(jù)關(guān)系缺失或錯(cuò)誤，例如：函數(shù)關(guān)系、有關(guān)系數(shù)、主外鍵關(guān)系、索引關(guān)系等。存在數(shù)據(jù)關(guān)聯(lián)性問題，會(huì)直接影響數(shù)據(jù)分析的成果，進(jìn)而影響管理決策。數(shù)據(jù)及時(shí)性：數(shù)據(jù)的及時(shí)性(In-time)是指能否在需要的時(shí)候獲到數(shù)據(jù)，數(shù)據(jù)的及時(shí)性與公司的數(shù)據(jù)解決速度及效率有直接的關(guān)系，是影響業(yè)務(wù)解決和管理效率的核心指標(biāo)。二、數(shù)據(jù)質(zhì)量問題根因分析說到數(shù)據(jù)質(zhì)量問題的因素，做過BI或數(shù)倉(cāng)項(xiàng)目的小伙伴必定都懂得，這是一種業(yè)務(wù)和技術(shù)經(jīng)常扯來扯去、互相推諉的問題。在諸多狀況下，公司都會(huì)把數(shù)據(jù)質(zhì)量問題推給技術(shù)部門，讓技術(shù)部門去查找和解決。但是公司的數(shù)據(jù)質(zhì)量問題真的都是技術(shù)引發(fā)的嗎，技術(shù)部門人一定會(huì)說：“這個(gè)鍋我不背！”其實(shí)，影響數(shù)據(jù)質(zhì)量的因素重要就技術(shù)、業(yè)務(wù)、管理三個(gè)方面，下面我們就來從這三方面分析下產(chǎn)生數(shù)據(jù)質(zhì)量問題都有哪些因素。1、技術(shù)方面數(shù)據(jù)模型設(shè)計(jì)的質(zhì)量問題，例如：數(shù)據(jù)庫(kù)表構(gòu)造、數(shù)據(jù)庫(kù)約束條件、數(shù)據(jù)校驗(yàn)規(guī)則的設(shè)計(jì)開發(fā)不合理，造成數(shù)據(jù)錄入無法校驗(yàn)或校驗(yàn)不當(dāng)，引發(fā)數(shù)據(jù)重復(fù)、不完整、不精確。數(shù)據(jù)源存在數(shù)據(jù)質(zhì)量問題，例如：有些數(shù)據(jù)是從生產(chǎn)系統(tǒng)采集過來的，在生產(chǎn)系統(tǒng)中這些數(shù)據(jù)就存在重復(fù)、不完整、不精確等問題，而采集過程有無對(duì)這些問題做清洗解決，這種狀況也比較常見。數(shù)據(jù)采集過程質(zhì)量問題，例如：采集點(diǎn)、采集頻率、采集內(nèi)容、映射關(guān)系等采集參數(shù)和流程設(shè)立的不對(duì)的，數(shù)據(jù)采集接口效率低，造成的數(shù)據(jù)采集失敗、數(shù)據(jù)丟失、數(shù)據(jù)映射和轉(zhuǎn)換失敗。數(shù)據(jù)傳輸過程的問題，例如：數(shù)據(jù)接口本身存在問題、數(shù)據(jù)接口參數(shù)配備錯(cuò)誤、網(wǎng)絡(luò)不可靠等都會(huì)造成數(shù)據(jù)傳輸過程中的發(fā)生數(shù)據(jù)質(zhì)量問題。數(shù)據(jù)裝載過程的問題，例如：數(shù)據(jù)清洗規(guī)則、數(shù)據(jù)轉(zhuǎn)換規(guī)則、數(shù)據(jù)裝載規(guī)則配備有問題。數(shù)據(jù)存儲(chǔ)的質(zhì)量問題，例如：數(shù)據(jù)存儲(chǔ)設(shè)計(jì)不合理，數(shù)據(jù)的存儲(chǔ)能力有限，人為后臺(tái)調(diào)節(jié)數(shù)據(jù)，引發(fā)的數(shù)據(jù)丟失、數(shù)據(jù)無效、數(shù)據(jù)失真、統(tǒng)計(jì)重復(fù)。業(yè)務(wù)系統(tǒng)各自為政，煙囪式建設(shè)，系統(tǒng)之間的數(shù)據(jù)不一致問題嚴(yán)重。2、業(yè)務(wù)方面業(yè)務(wù)需求不清晰，例如：數(shù)據(jù)的業(yè)務(wù)描述、業(yè)務(wù)規(guī)則不清晰，造成技術(shù)無法構(gòu)建出合理、對(duì)的的數(shù)據(jù)模型。業(yè)務(wù)需求的變更，這個(gè)問題其實(shí)是對(duì)數(shù)據(jù)質(zhì)量影響非常大的，需求一變，數(shù)據(jù)模型設(shè)計(jì)、數(shù)據(jù)錄入、數(shù)據(jù)采集、數(shù)據(jù)傳輸、數(shù)據(jù)裝載、數(shù)據(jù)存儲(chǔ)等環(huán)節(jié)都會(huì)受到影響，稍有不慎就會(huì)造成數(shù)據(jù)質(zhì)量問題的發(fā)生。業(yè)務(wù)端數(shù)據(jù)輸入不規(guī)范，常見的數(shù)據(jù)錄入問題，如：大小寫、全半角、特殊字符等一不小心就會(huì)錄錯(cuò)。人工錄入的數(shù)據(jù)質(zhì)量與錄數(shù)據(jù)的業(yè)務(wù)人員親密有關(guān)，錄數(shù)據(jù)的人工作嚴(yán)謹(jǐn)、認(rèn)真，數(shù)據(jù)質(zhì)量就相對(duì)較好，反之就較差。數(shù)據(jù)作假，對(duì)，你沒看錯(cuò)，就是數(shù)據(jù)作假！操作人員為了提高或減少考核指標(biāo)，對(duì)某些數(shù)據(jù)進(jìn)行解決，使得數(shù)據(jù)真實(shí)性無法確保。3、管理方面認(rèn)知問題。公司管理缺少數(shù)據(jù)思維，沒有認(rèn)識(shí)到數(shù)據(jù)質(zhì)量的重要性，重系統(tǒng)而輕數(shù)據(jù)，認(rèn)為系統(tǒng)是萬能的，數(shù)據(jù)質(zhì)量差些也沒關(guān)系。沒有明確數(shù)據(jù)歸口管理部門或崗位，缺少數(shù)據(jù)認(rèn)責(zé)機(jī)制，出現(xiàn)數(shù)據(jù)質(zhì)量問題找不到負(fù)責(zé)人。缺少數(shù)據(jù)規(guī)劃，沒有明確的數(shù)據(jù)質(zhì)量目的，沒有制訂數(shù)據(jù)質(zhì)量有關(guān)的政策和制度。數(shù)據(jù)輸入規(guī)范不統(tǒng)一，不同的業(yè)務(wù)部門、不同的時(shí)間、甚至在解決相似業(yè)務(wù)的時(shí)候，由于數(shù)據(jù)輸入規(guī)范不同，造成數(shù)據(jù)沖突或矛盾。缺少有效的數(shù)據(jù)質(zhì)量問題解決機(jī)制，數(shù)據(jù)質(zhì)量問題從發(fā)現(xiàn)、指派、解決、優(yōu)化沒有一種統(tǒng)一的流程和制度支撐，數(shù)據(jù)質(zhì)量問題無法閉環(huán)。缺少有效的數(shù)據(jù)管控機(jī)制，對(duì)歷史數(shù)據(jù)質(zhì)量檢查、新增數(shù)據(jù)質(zhì)量校驗(yàn)沒有明確和有效的控制方法，出現(xiàn)數(shù)據(jù)質(zhì)量問題無法考核。小結(jié)：影響數(shù)據(jù)質(zhì)量的因素，能夠總結(jié)為兩類，客觀因素和主觀因素?？陀^因素：在數(shù)據(jù)各環(huán)節(jié)流轉(zhuǎn)中，由于系統(tǒng)異常和流程設(shè)立不當(dāng)?shù)纫蛩?，從而引發(fā)的數(shù)據(jù)質(zhì)量問題。主觀因素：在數(shù)據(jù)各環(huán)節(jié)解決中，由于人員素質(zhì)低和管理缺點(diǎn)等因素，從而操作不當(dāng)而引發(fā)的數(shù)據(jù)質(zhì)量問題。三、數(shù)據(jù)質(zhì)量管理的辦法論在數(shù)據(jù)治理方面，不管是國(guó)際的還是國(guó)內(nèi)的，我們能找到諸多數(shù)據(jù)治理成熟度評(píng)定模型這樣的理論框架，作為公司實(shí)施的指導(dǎo)。而說到數(shù)據(jù)質(zhì)量管理的辦法論，其實(shí)業(yè)內(nèi)還沒有一套科學(xué)、完整的數(shù)據(jù)質(zhì)量管理的體系。諸多公司對(duì)數(shù)據(jù)質(zhì)量的重視程度還不夠，即使部分公司在朝著這個(gè)方向努力，也是摸著石頭過河。數(shù)據(jù)是數(shù)字化時(shí)代公司的重要資產(chǎn)，數(shù)據(jù)能夠以產(chǎn)品或服務(wù)的形態(tài)為公司發(fā)明價(jià)值。既然數(shù)據(jù)能夠是產(chǎn)品、能夠是服務(wù)，那問題就簡(jiǎn)樸了。即使數(shù)據(jù)質(zhì)量管理沒有成熟辦法論支撐，但是產(chǎn)品和服務(wù)的質(zhì)量管理體系卻已非常的成熟了，何不嘗試用產(chǎn)品和服務(wù)的質(zhì)量管理體系來管理數(shù)據(jù)質(zhì)量？！那國(guó)際上最權(quán)威的質(zhì)量管理體系IOS9001與否也合用于公司的數(shù)據(jù)質(zhì)量管理呢？下圖是ISO9001基于PDCA的質(zhì)量管理核心思想，其重點(diǎn)強(qiáng)調(diào)以客戶為關(guān)注焦點(diǎn)、領(lǐng)導(dǎo)作用、全員參加、過程辦法、持續(xù)改善、循證決策和關(guān)系管理。注：圖中的數(shù)字代表的是本原則在ISO9001的有關(guān)章節(jié)，無業(yè)務(wù)含義。下列內(nèi)容是根據(jù)筆者對(duì)質(zhì)量體系有關(guān)資料的查閱和粗淺理解，給出數(shù)據(jù)質(zhì)量管理的辦法論，不免有所偏誤，歡迎拍磚和指正。根據(jù)ISO9001以及公司在數(shù)據(jù)治理方面的有關(guān)經(jīng)驗(yàn)，筆者認(rèn)為公司數(shù)據(jù)質(zhì)量管理應(yīng)從下列幾個(gè)方面著手：1、組織環(huán)境我們?cè)跀?shù)據(jù)治理框架、主數(shù)據(jù)管理、數(shù)據(jù)原則管理等章節(jié)，都提到了組織機(jī)構(gòu)的設(shè)立，這里再次強(qiáng)調(diào)一種強(qiáng)有力的數(shù)據(jù)管理組織的建設(shè)是數(shù)據(jù)治理項(xiàng)目成功的最根本的確保。其作業(yè)是兩個(gè)層面：一是在制度層面，制訂公司數(shù)據(jù)治理的有關(guān)制度和流程，并在公司內(nèi)推廣，融入公司文化。二是在執(zhí)行層面，為各項(xiàng)業(yè)務(wù)應(yīng)用提供高可靠的數(shù)據(jù)。2、數(shù)據(jù)質(zhì)量管理方針為了改善和提高數(shù)據(jù)質(zhì)量，必須從產(chǎn)生數(shù)據(jù)的源頭開始抓起，從管理入手，對(duì)數(shù)據(jù)運(yùn)行的全過程進(jìn)行監(jiān)控，強(qiáng)化全方面數(shù)據(jù)質(zhì)量管理的思想觀念，把這一觀念滲入到數(shù)據(jù)生命周期的全過程。數(shù)據(jù)質(zhì)量問題是影響系統(tǒng)運(yùn)行、業(yè)務(wù)效率、決策能力的重要因素，在數(shù)字化時(shí)代，數(shù)據(jù)質(zhì)量問題影響的不僅僅是信息化建設(shè)的成敗，更是影響公司降本增效、業(yè)務(wù)創(chuàng)新的核心要素，對(duì)于數(shù)據(jù)質(zhì)量問題的管理，深度執(zhí)行的總體方略“垃圾進(jìn)，垃圾出（garbagein，garbageout）”，采用事前防止控制、事中過程控制、事后監(jiān)督控制的方式進(jìn)行數(shù)據(jù)質(zhì)量問題的管理和控制，持續(xù)提高公司數(shù)據(jù)質(zhì)量水平。3、數(shù)據(jù)質(zhì)量問題分析有關(guān)質(zhì)量問題的分析，筆者推薦采用典型的六西格瑪（縮寫：6σ或6Sigma），六西格瑪是一種改善公司質(zhì)量流程管理的技術(shù)，以“零缺點(diǎn)”的完美商業(yè)追求，以客戶為導(dǎo)向，以業(yè)界最佳為目的，以數(shù)據(jù)為基礎(chǔ)，以事實(shí)為根據(jù)，以流程績(jī)效和財(cái)務(wù)評(píng)價(jià)為成果，持續(xù)改善公司經(jīng)營(yíng)管理的思想辦法、實(shí)踐活動(dòng)和文化理念。六西格瑪重點(diǎn)強(qiáng)調(diào)質(zhì)量的持續(xù)改善，對(duì)于數(shù)據(jù)質(zhì)量問題的分析和管理，該辦法仍然合用。根據(jù)六西格瑪?shù)腄MAIC模型，我們能夠?qū)?shù)據(jù)質(zhì)量分析定義為六個(gè)階段：（1）定義階段（D階段）。界定數(shù)據(jù)質(zhì)量治理的范疇，并將數(shù)據(jù)質(zhì)量改善的方向和內(nèi)容界定在合理的范疇內(nèi)。通過使用主數(shù)據(jù)識(shí)別法、專家小組法、問卷調(diào)查法、漏斗法等辦法，定義出數(shù)據(jù)治理的對(duì)象和范疇。公司數(shù)據(jù)質(zhì)量治理對(duì)象普通重要涉及兩類數(shù)據(jù)：一類是操作型數(shù)據(jù)，例如：主數(shù)據(jù)、參考數(shù)據(jù)和交易數(shù)據(jù)。另一類是分析型數(shù)據(jù)，例如：主題數(shù)據(jù)、指標(biāo)數(shù)據(jù)等。注：根據(jù)筆者經(jīng)驗(yàn)以及80/20法則，公司的數(shù)據(jù)責(zé)問題80%是由于管理不當(dāng)或業(yè)務(wù)操作不規(guī)范引發(fā)的，參考：《主數(shù)據(jù)的3大特點(diǎn)、4個(gè)超越和三個(gè)80/20原則》。（2）測(cè)量階段（M階段）。在定義出數(shù)據(jù)治理對(duì)象和內(nèi)容后，需要選用下列若干個(gè)指標(biāo)來作為數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)，建立數(shù)據(jù)質(zhì)量評(píng)定模型，對(duì)公司的數(shù)據(jù)進(jìn)行評(píng)定和測(cè)量。慣用的數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)就是我們上述提到的：數(shù)據(jù)唯一性、數(shù)據(jù)完整性、數(shù)據(jù)精確性、數(shù)據(jù)一致性、數(shù)據(jù)關(guān)聯(lián)性、數(shù)據(jù)及時(shí)性等。（3）分析階段（A階段）?；跀?shù)據(jù)質(zhì)量評(píng)定模型，執(zhí)行數(shù)據(jù)質(zhì)量分析任務(wù)，通過數(shù)據(jù)分析，找到發(fā)生數(shù)據(jù)質(zhì)量問題的重災(zāi)區(qū)，擬定出影響數(shù)據(jù)質(zhì)量的核心因素。數(shù)據(jù)治理和大數(shù)據(jù)分析是密不可分的，數(shù)據(jù)治理的目的是提高數(shù)據(jù)質(zhì)量從而提高數(shù)據(jù)分析的精確性，而大數(shù)據(jù)分析技術(shù)也可反向作用于數(shù)據(jù)治理，通過大數(shù)據(jù)分析算法和大數(shù)據(jù)可視化技術(shù)，能夠更精確、更直觀的定位到發(fā)生數(shù)據(jù)質(zhì)量問題的癥結(jié)所在。該階段能夠用的大數(shù)據(jù)技術(shù)涉及：回歸分析、因子分析、魚骨圖分析、帕累托分析、矩陣數(shù)據(jù)分析等。（4）改善階段（I階段）。通過制訂改善管理和業(yè)務(wù)流程、優(yōu)化數(shù)據(jù)質(zhì)量的方案，消除數(shù)據(jù)質(zhì)量問題或?qū)?shù)據(jù)質(zhì)量問題帶來的影響減少到最小程度。我們始終在強(qiáng)調(diào)數(shù)據(jù)質(zhì)量的優(yōu)化和提高，絕不單單是技術(shù)問題，應(yīng)從管理和業(yè)務(wù)入手，找出數(shù)據(jù)質(zhì)量問題發(fā)生的根因，再對(duì)癥下藥。同時(shí)，數(shù)據(jù)質(zhì)量管理是一種持續(xù)優(yōu)化的過程，需要公司全員參加，并逐步培養(yǎng)起全員的數(shù)據(jù)質(zhì)量意識(shí)和數(shù)據(jù)思維。該過程重要用到辦法：流程再造、績(jī)效激勵(lì)等。（5）控制階段(C階段）。固化數(shù)據(jù)原則，優(yōu)化數(shù)據(jù)管理流程，并通過數(shù)據(jù)管理和監(jiān)控手段，確保流程改善成果，提高數(shù)據(jù)質(zhì)量。重要辦法有：原則化、程序化、制度化等。4、數(shù)據(jù)質(zhì)量監(jiān)控?cái)?shù)據(jù)質(zhì)量監(jiān)控能夠分為數(shù)據(jù)質(zhì)量的事前防止控制、事中過程控制和事后監(jiān)督控制：事前防止控制建立數(shù)據(jù)原則化模型，對(duì)每個(gè)數(shù)據(jù)元素的業(yè)務(wù)描述、數(shù)據(jù)構(gòu)造、業(yè)務(wù)規(guī)則、質(zhì)量規(guī)則、管理規(guī)則、采集規(guī)則進(jìn)行清晰的定義，以上的數(shù)據(jù)質(zhì)量的校驗(yàn)規(guī)則、采集規(guī)則本身也是一種數(shù)據(jù)，在元數(shù)據(jù)中定義。面對(duì)龐大的數(shù)據(jù)種類和構(gòu)造，如果沒有元數(shù)據(jù)來描述這些數(shù)據(jù)，使用者無法精確地獲取所需信息。正是通過元數(shù)據(jù)，使得數(shù)據(jù)才能夠被理解、使用，才會(huì)產(chǎn)生價(jià)值。構(gòu)建數(shù)據(jù)分類和編碼體系，形成公司數(shù)據(jù)資源目錄，讓顧客能夠輕松地查找和定位到有關(guān)的數(shù)據(jù)。實(shí)踐告訴我們做好元數(shù)據(jù)管理，是防止數(shù)據(jù)質(zhì)量問題的基礎(chǔ)。數(shù)據(jù)質(zhì)量問題的防止控制最有效的辦法就是找出發(fā)生數(shù)據(jù)質(zhì)量問題的根本因素并采用有關(guān)的方略進(jìn)行解決。1）擬定根本因素：擬定引發(fā)數(shù)據(jù)質(zhì)量問題的有關(guān)因素，并分辨它們的優(yōu)先次序，以及為解決這些問題形成具體的建議。2）制訂和實(shí)施改善方案：最后擬定有關(guān)行動(dòng)的具體建議和方法，基于這些建議制訂并且執(zhí)行提高方案，防止將來數(shù)據(jù)質(zhì)量問題的發(fā)生。事中過程控制事中數(shù)據(jù)質(zhì)量的控制，即在數(shù)據(jù)的維護(hù)和使用過程中去監(jiān)控和解決數(shù)據(jù)質(zhì)量。通過建立數(shù)據(jù)質(zhì)量的流程化控制體系，對(duì)數(shù)據(jù)的新建、變更、采集、加工、裝載、應(yīng)用等各個(gè)環(huán)節(jié)進(jìn)行流程化控制。數(shù)據(jù)質(zhì)量的過程控制，要做好兩個(gè)強(qiáng)化：（1）強(qiáng)化數(shù)據(jù)的原則化生產(chǎn)，從數(shù)據(jù)的源頭控制好數(shù)據(jù)質(zhì)量，該過程能夠采用系統(tǒng)自動(dòng)化校驗(yàn)和人工干預(yù)審核相結(jié)合的方式進(jìn)行管理，數(shù)據(jù)的新增和變更首先通過系統(tǒng)進(jìn)行數(shù)據(jù)校驗(yàn)，對(duì)于不符合質(zhì)量規(guī)則的數(shù)據(jù)不允許保持，另首先采集流程驅(qū)動(dòng)的數(shù)據(jù)管理模式，數(shù)據(jù)的新增和變更操作都需要人工進(jìn)行審核，只有審核通過才干生效。（2）強(qiáng)化數(shù)據(jù)質(zhì)量預(yù)警機(jī)制，對(duì)于數(shù)據(jù)質(zhì)量邊界含糊的數(shù)據(jù)采用數(shù)據(jù)質(zhì)量預(yù)警機(jī)制。數(shù)據(jù)預(yù)警機(jī)制是對(duì)數(shù)據(jù)相似性和數(shù)據(jù)關(guān)聯(lián)性指標(biāo)的重要控制辦法。針看待管理的數(shù)據(jù)元素，配備數(shù)據(jù)相似性算法或數(shù)據(jù)關(guān)聯(lián)性算法，在數(shù)據(jù)新增、變更、解決、應(yīng)用等環(huán)節(jié)調(diào)用預(yù)置的數(shù)據(jù)質(zhì)量算法，進(jìn)行相識(shí)度或關(guān)聯(lián)性分析，并給出數(shù)據(jù)分析的成果。數(shù)據(jù)預(yù)警機(jī)制慣用在業(yè)務(wù)活動(dòng)的交易風(fēng)險(xiǎn)控制等場(chǎng)景。事后監(jiān)督控制是不是我們最佳了事前防止控制和事中過程控制，就不會(huì)再有數(shù)據(jù)質(zhì)量問題的發(fā)生了？答案顯然與否認(rèn)的。而事實(shí)上，不管我們做了多少防止方法、多嚴(yán)格的過程控制，總是尚有數(shù)據(jù)質(zhì)量問題的“漏網(wǎng)之魚”，你會(huì)發(fā)現(xiàn)只要是人為干預(yù)的過程，總會(huì)存在數(shù)據(jù)質(zhì)量的問題。數(shù)據(jù)質(zhì)量問題一旦產(chǎn)生就已經(jīng)是“木已成舟”，為了避免或減低其對(duì)業(yè)務(wù)的影響，我們需要及時(shí)的發(fā)現(xiàn)它。這里，數(shù)據(jù)質(zhì)量的事后監(jiān)督控制就尤為重要了。定時(shí)開展數(shù)據(jù)質(zhì)量的檢查和清洗工作應(yīng)作為公司數(shù)據(jù)質(zhì)量治理的常態(tài)工作來抓。1）設(shè)立數(shù)據(jù)質(zhì)量規(guī)則?；跀?shù)據(jù)的元模型配備數(shù)據(jù)質(zhì)量規(guī)則，即針對(duì)不同的數(shù)據(jù)對(duì)象，配備對(duì)應(yīng)的數(shù)據(jù)質(zhì)量指標(biāo)，不限于：數(shù)據(jù)唯一性、數(shù)據(jù)精確性、數(shù)據(jù)完整性、數(shù)據(jù)一致性、數(shù)據(jù)關(guān)聯(lián)性、數(shù)據(jù)及時(shí)性等。2）設(shè)立數(shù)據(jù)檢查任務(wù)。設(shè)立成手動(dòng)執(zhí)行或定時(shí)自動(dòng)執(zhí)行的系統(tǒng)任務(wù)，通過執(zhí)行檢查任務(wù)對(duì)存量數(shù)據(jù)進(jìn)行檢查，形成數(shù)據(jù)質(zhì)量問題清單。3）出具數(shù)據(jù)質(zhì)量問題報(bào)告。根據(jù)數(shù)據(jù)質(zhì)量問題清單匯總形成數(shù)據(jù)質(zhì)量報(bào)告，數(shù)據(jù)質(zhì)量報(bào)告支持查詢、下載等操作。4）制訂和實(shí)施數(shù)據(jù)質(zhì)量改善方案，進(jìn)行數(shù)據(jù)質(zhì)量問題的解決。5）評(píng)定與考核。通過定時(shí)對(duì)系統(tǒng)開展全方面的數(shù)據(jù)質(zhì)量狀況評(píng)定，從問題率、解決率、解決時(shí)效等方面建立評(píng)價(jià)指標(biāo)進(jìn)行整治評(píng)定，根據(jù)整治優(yōu)化成果，進(jìn)行適宜的績(jī)效考核。筆者觀點(diǎn)：數(shù)據(jù)治理的“常態(tài)化”才是數(shù)據(jù)質(zhì)量問題的最佳解決方式，而要實(shí)現(xiàn)常態(tài)化治理就需要變化原來的公司組織形式、管理流程、轉(zhuǎn)變觀念，以適應(yīng)這種變化。數(shù)據(jù)治理的“常態(tài)化”要經(jīng)得起折騰，因此千萬不能老做些重新發(fā)明輪子的亊情！5、數(shù)據(jù)全周期管理數(shù)據(jù)的生命周期從數(shù)據(jù)規(guī)劃開始，中間是一種涉及設(shè)計(jì)、創(chuàng)立、解決、布署、應(yīng)用、監(jiān)控、存檔、銷毀這幾個(gè)階段并不停循環(huán)的過程。公司的數(shù)據(jù)質(zhì)量管理應(yīng)貫穿數(shù)據(jù)生命周期的全過程，覆蓋數(shù)據(jù)原則的規(guī)劃設(shè)計(jì)、數(shù)據(jù)的建模、數(shù)據(jù)質(zhì)量的監(jiān)控、數(shù)據(jù)問題診療、數(shù)據(jù)清洗、優(yōu)化完善等方面。（1）數(shù)據(jù)規(guī)劃。從公司戰(zhàn)略的角度