數(shù)據(jù)中心質(zhì)量保證方案

1、精選優(yōu)質(zhì)文檔-傾情為你奉上 數(shù)據(jù)中心質(zhì)量保證方案 廣東第二師范學院 第一章 引言高校數(shù)據(jù)中心作為校情決策分析的數(shù)據(jù)來源，為保證數(shù)據(jù)中心的質(zhì)量，通常需要進行數(shù)據(jù)處理,主要包括以下幾個重要的步驟：數(shù)據(jù)審查、數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)驗證四大步驟。(一)數(shù)據(jù)審查該步驟檢查數(shù)據(jù)的數(shù)量(記錄數(shù))是否滿足分析的最低要求,字段值的內(nèi)容是否與調(diào)查要求一致,是否全面;還包括利用描述性統(tǒng)計分析,檢查各個字段的字段類型、字段值的最大值、最小值、平均數(shù)、中位數(shù)等,記錄個數(shù)、缺失值或空值個數(shù)等。(二)數(shù)據(jù)清洗該步驟針對數(shù)據(jù)審查過程中發(fā)現(xiàn)的明顯錯誤值、缺失值、異常值、可疑數(shù)據(jù),選用適當?shù)姆椒ㄟM行“清冼”,使“臟”數(shù)據(jù)變?yōu)椤?/p>

2、干凈”數(shù)據(jù),有利于后續(xù)的統(tǒng)計分析得出可靠的結(jié)論。當然,數(shù)據(jù)清理還包括對重復記錄進行刪除。(三)數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)分析強調(diào)分析對象的可比性,但不同字段值由于計量單位等不同,往往造成數(shù)據(jù)不可比;對一些統(tǒng)計指標進行綜合評價時,如果統(tǒng)計指標的性質(zhì)、計量單位不同,也容易引起評價結(jié)果出現(xiàn)較大誤差,再加上分析過程中的其他一些要求,需要在分析前對數(shù)據(jù)進行變換,包括無量綱化處理、線性變換、匯總和聚集、適度概化、規(guī)范化以及屬性構(gòu)造等。(四)數(shù)據(jù)驗證 該步驟的目的是初步評估和判斷數(shù)據(jù)是否滿足統(tǒng)計分析的需要,決定是否需要增加或減少數(shù)據(jù)量。利用簡單的線性模型,以及散點圖、直方圖、折線圖等圖形進行探索性分析,利用相關分析、一致

3、性檢驗等方法對數(shù)據(jù)的準確性進行驗證,確保不把錯誤和偏差的數(shù)據(jù)帶入到數(shù)據(jù)分析中去。第二章 數(shù)據(jù)質(zhì)量的基本要素首先，如何評估數(shù)據(jù)的質(zhì)量，或者說怎么樣的數(shù)據(jù)才是符合要求的數(shù)據(jù)？可以從4個方面去考慮，這4個方面共同構(gòu)成了數(shù)據(jù)質(zhì)量的4個基本要素。2.1完整性數(shù)據(jù)的記錄和信息是否完整，是否存在缺失的情況。數(shù)據(jù)的缺失主要有記錄的缺失和記錄中某個字段信息的缺失，兩者都會造成統(tǒng)計結(jié)果的不準確，所以完整性是數(shù)據(jù)質(zhì)量最基礎的保障，而對完整性的評估相對比較容易。2.2一致性數(shù)據(jù)的記錄是否符合規(guī)范，是否與前后及其他數(shù)據(jù)集合保持統(tǒng)一。數(shù)據(jù)的一致性主要包括數(shù)據(jù)記錄的規(guī)范和數(shù)據(jù)邏輯的一致性。數(shù)據(jù)記錄的規(guī)范主要是數(shù)據(jù)編碼和格式

4、的問題，比如教工號是7位的數(shù)字、學號是11位的數(shù)字，性別碼包括2個類目、IP地址一定是用”.”分隔的4個0-255的數(shù)字組成，及一些定義的數(shù)據(jù)約束，比如完整性的非空約束、唯一值約束等；數(shù)據(jù)邏輯性主要是指標統(tǒng)計和計算的一致性，比如PV>=UV，新用戶比例在0-1之間等。數(shù)據(jù)的一致性審核是數(shù)據(jù)質(zhì)量審核中比較重要也是比較復雜的一塊。2.3準確性數(shù)據(jù)中記錄的信息和數(shù)據(jù)是否準確，是否存在異常或者錯誤的信息。導致一致性問題的原因可能是數(shù)據(jù)記錄的規(guī)則不一，但不一定存在錯誤；而準確性關注的是數(shù)據(jù)記錄中存在的錯誤，比如字符型數(shù)據(jù)的亂碼現(xiàn)象也應該歸到準確性的考核范疇，另外就是異常的數(shù)值，異常大或者異常小的數(shù)

5、值，不符合有效性要求的數(shù)值，如學生數(shù)一定是整數(shù)、年齡一般在1-100之間、轉(zhuǎn)化率一定是介于0到1的值等。對數(shù)據(jù)準確性的審核有時會遇到困難，因為對于沒有明顯異常的錯誤值我們很難發(fā)現(xiàn)。2.4及時性數(shù)據(jù)中心的數(shù)據(jù)及時性主要反映在數(shù)據(jù)交換和數(shù)據(jù)分析的時效性上。數(shù)據(jù)交換中部分業(yè)務數(shù)據(jù)的時效性要求極高，如人員崗位的變動及時到OA，資產(chǎn)的賬單及時到財務等，其他及時性要求不高的數(shù)據(jù)交換也有時效的要求：如1小時 、一天、三天等。雖然說數(shù)據(jù)分析的實時性要求并不是太高，但并不意味著就沒有要求，數(shù)據(jù)分析可以接受當天的數(shù)據(jù)要第二天才能分析查看，但如果數(shù)據(jù)要延時兩三天才能出來，或者每周的報告要兩周后才能出來，那么分析的結(jié)

6、論可能已經(jīng)失去時效性，同時，某些實時分析和決策需要用到小時或者分鐘級的數(shù)據(jù)，這些需求對數(shù)據(jù)的時效性要求極高。所以及時性也是數(shù)據(jù)質(zhì)量的組成要素之一。第三章 數(shù)據(jù)審查基于數(shù)據(jù)質(zhì)量的4個要素，可以對數(shù)據(jù)進行審查，以評估數(shù)據(jù)是否滿足完整性、一致性、準確性和及時性這4方面的要求，其中數(shù)據(jù)的及時性主要跟數(shù)據(jù)的同步和處理過程的效率相關，更多的是通過監(jiān)控ODI任務的方式來保證數(shù)據(jù)的及時性，所以這里的數(shù)據(jù)審查主要指的是評估數(shù)據(jù)的完整性、一致性和準確性。3.1完整性審查審查數(shù)據(jù)的完整性。首先是記錄的完整性，一般使用統(tǒng)計的記錄數(shù)和唯一值個數(shù)。比如圖書管的每天借閱量是相對恒定的，大概在1000本上下波動，如果某天的借

7、閱量下降到了只有100本，那很有可能記錄缺失了；或者網(wǎng)站的訪問記錄應該在一天的24小時均有分布，如果某個整點完全沒有用戶訪問記錄，那么很有可能網(wǎng)站在當時出了問題或者那個時刻的日志記錄傳輸出現(xiàn)了問題；再如統(tǒng)計教師、學生的籍貫分布時，一般會包括全國的32個省份直轄市，如果統(tǒng)計的省份唯一值個數(shù)少于32，那么很有可能數(shù)據(jù)也存在缺失。完整性的另一方面，記錄中某個字段的數(shù)據(jù)缺失，可以使用統(tǒng)計信息中的空值（NULL）的個數(shù)進行審核。如果某個字段的信息理論上必然存在，比如教師的所屬單位、學生的班級等，那么這些字段的空值個數(shù)的統(tǒng)計就應該是0，這些字段我們可以使用非空（NOT NULL）約束來保證數(shù)據(jù)的完整性；對

8、于某些允許空的字段，比如教職工的職稱信息不一定存在，但空值的占比基本恒定，比如職稱為空的教師比例通常在10%-20%，我們同樣可以使用統(tǒng)計的空值個數(shù)來計算空值占比，如果空值的占比明顯增大，很有可能這個字段的記錄出現(xiàn)了問題，信息出現(xiàn)缺失。3.2一致性審查如果數(shù)據(jù)記錄格式有標準的編碼規(guī)則，那么對數(shù)據(jù)記錄的一致性檢驗比較簡單，只要驗證所有的記錄是否滿足這個編碼規(guī)則就可以，最簡單的就是使用字段的長度、唯一值個數(shù)這些統(tǒng)計量。比如對教職工的工號是7位數(shù)字，那么字段的最長和最短字符數(shù)都應該是7；如果字段必須保證唯一，那么字段的唯一值個數(shù)跟記錄數(shù)應該是一致的，比如用戶的身份證號、手機號；再如地域的省份直轄市一

9、定是統(tǒng)一編碼的，記錄的一定是“上海”而不是“上海市”、“浙江”而不是“浙江省”，可以把這些唯一值映射到有效的32個省市的列表，如果無法映射，那么字段通不過一致性檢驗。一致性中邏輯規(guī)則的驗證相對比較復雜，很多時候指標的統(tǒng)計邏輯的一致性需要底層數(shù)據(jù)質(zhì)量的保證，同時也要有非常規(guī)范和標準的統(tǒng)計邏輯的定義，所有指標的計算規(guī)則必須保證一致。我們經(jīng)常犯的錯誤就是匯總數(shù)據(jù)和細分數(shù)據(jù)加起來的結(jié)果對不上，導致這個問題很有可能的原因就是數(shù)據(jù)在細分的時候把那些無法明確歸到某個細分項的數(shù)據(jù)給排除了，比如在細分學生畢業(yè)去向，如果我們無法將某些非直接進入的來源明確地歸到升學、就業(yè)、出國等這些既定的來源分類，但也不應該直接過

10、濾掉這些數(shù)據(jù)，而應該給一個“未知來源”的分類，以保證根據(jù)來源細分之后的數(shù)據(jù)加起來還是可以與總體的數(shù)據(jù)保持一致。如果需要審核這些數(shù)據(jù)邏輯的一致性，我們可以建立一些“有效性規(guī)則”，比如A>=B，如果C=B/A，那么C的值應該在0,1的范圍內(nèi)等，數(shù)據(jù)無法滿足這些規(guī)則就無法通過一致性檢驗。3.3準確性審查數(shù)據(jù)的準確性可能存在于個別記錄，也可能存在于整個數(shù)據(jù)集。如果整個數(shù)據(jù)集的某個字段的數(shù)據(jù)存在錯誤，比如常見的數(shù)量級的記錄錯誤，這種錯誤很容易發(fā)現(xiàn)，利用統(tǒng)計分析的平均數(shù)和中位數(shù)也可以發(fā)現(xiàn)這類問題。當數(shù)據(jù)集中存在個別的異常值時，可以使用最大值和最小值的統(tǒng)計量去審核，或者使用箱線圖也可以讓異常記錄一目了

11、然。還有幾個準確性的審核問題，字符亂碼的問題或者字符被截斷的問題，可以使用分布來發(fā)現(xiàn)這類問題，一般的數(shù)據(jù)記錄基本符合正態(tài)分布或者類正態(tài)分布，那么那些占比異常小的數(shù)據(jù)項很可能存在問題，比如某個字符記錄占總體的占比只有0.1%，而其他的占比都在3%以上，那么很有可能這個字符記錄有異常。對于數(shù)值范圍既定的數(shù)據(jù)，也可以有效性的限制，超過數(shù)據(jù)有效的值域定義數(shù)據(jù)記錄就是錯誤的。如果數(shù)據(jù)并沒有顯著異常，但仍然可能記錄的值是錯誤的，只是這些值與正常的值比較接近而已，這類準確性檢驗最困難，一般只能與其他來源或者統(tǒng)計結(jié)果進行比對來發(fā)現(xiàn)此類問題 。第4章 數(shù)據(jù)清洗業(yè)務數(shù)據(jù)源所提供的數(shù)據(jù)內(nèi)容不可能完美，存在著“臟數(shù)據(jù)

12、”，即數(shù)據(jù)有空缺、噪音等缺陷。而且在數(shù)據(jù)中心的各數(shù)據(jù)之間，其內(nèi)容也存在著不一致的現(xiàn)象，為了減少這些“臟數(shù)據(jù)”對數(shù)據(jù)中心分析結(jié)果的影響程度，必須采取各種有效的措施對其進行處理，這一過程稱為“數(shù)據(jù)清洗”。4.1數(shù)據(jù)抽取完成之后的數(shù)據(jù)集所存在的問題4.1.1不完整的數(shù)據(jù)這一類數(shù)據(jù)主要是一些應該有的信息缺失，如教職工的所屬單位、性別、編制類別；主表與明細表不能匹配等。4.1.2錯誤的數(shù)據(jù)這一類錯誤通常產(chǎn)生的原因有兩個：一、 業(yè)務系統(tǒng)不夠健全，在接收輸入后沒有進行判斷直接寫入后臺數(shù)據(jù)庫造成的，比如數(shù)值數(shù)據(jù)輸成全角數(shù)字字符、字符串數(shù)據(jù)后面有一個回車操作、日期格式不正確、日期越界等；二、 數(shù)據(jù)抽取的過程中產(chǎn)

13、生的錯誤數(shù)據(jù)。4.1.3重復的數(shù)據(jù) 對于這一類數(shù)據(jù)特別是維表中會出現(xiàn)這種情況將重復數(shù)據(jù)記錄的所有字段導出來，讓客戶確認并整理。 “臟數(shù)據(jù)”會對建立的數(shù)據(jù)中心造成不良影響，扭曲從數(shù)據(jù)中獲得的信息,直接影響數(shù)據(jù)中心的運行效果，進一步影響數(shù)據(jù)挖掘及分析，最終影響決策管理。因此，為了使數(shù)據(jù)中心的記錄更準確、一致，消除重復和異常記錄就變得很重要，所以數(shù)據(jù)清洗工作是相當必要的。數(shù)據(jù)清洗作為數(shù)據(jù)處理的一個重要環(huán)節(jié)，在數(shù)據(jù)中心構(gòu)建過程中占據(jù)重要位置。對于任何數(shù)據(jù)中心而言，數(shù)據(jù)清洗過程都是必不可少的。4.2數(shù)據(jù)清洗的步驟4.2.1 定義和確定錯誤的類型4.2.1.1數(shù)據(jù)審查數(shù)據(jù)審查是數(shù)據(jù)清洗的前提與基礎，通過詳

14、盡的數(shù)據(jù)審查來檢測數(shù)據(jù)中的錯誤或不一致情況，除了手動檢查數(shù)據(jù)或者數(shù)據(jù)樣本之外，還可以使用一些分析工具或程序來獲得關于數(shù)據(jù)屬性的元數(shù)據(jù)，從而發(fā)現(xiàn)數(shù)據(jù)集中存在的問題數(shù)據(jù)。4.2.1.2 定義清洗轉(zhuǎn)換規(guī)則根據(jù)上一步進行數(shù)據(jù)分析得到的結(jié)果來定義清洗轉(zhuǎn)換規(guī)則與工作流。根據(jù)數(shù)據(jù)源的個數(shù)，數(shù)據(jù)源中不一致數(shù)據(jù)和“臟數(shù)據(jù)”多少的程度，需要執(zhí)行大量的數(shù)據(jù)轉(zhuǎn)換和清洗步驟。4.2.2 搜尋并識別異常的數(shù)據(jù)4.2.2.1 檢測數(shù)據(jù)異常檢測數(shù)據(jù)集中的數(shù)據(jù)異常，需要花費大量的人力、物力和時間，而且這個過程本身很容易出錯，盡量利用一些方法自動檢測數(shù)據(jù)集中的數(shù)據(jù)異常，方法主要有：基于統(tǒng)計的方法，聚類方法，關聯(lián)規(guī)則的方法。4.2

15、.2.2檢測重復記錄的算法消除重復記錄可以針對兩個數(shù)據(jù)集或者一個合并后的數(shù)據(jù)集，首先需要檢測出標識同一個現(xiàn)實實體的重復記錄，即匹配過程。檢測重復記錄的算法主要有：基本的字段匹配算法，遞歸的字段匹配算法， Cosine相似度函數(shù)。4.2.3 糾正所發(fā)現(xiàn)的錯誤在數(shù)據(jù)源上執(zhí)行預先定義好的并且已經(jīng)得到驗證的清洗轉(zhuǎn)換規(guī)則和工作流。當直接在源數(shù)據(jù)上進行清洗時，需要備份源數(shù)據(jù)，以防需要撤銷上一次或幾次的清洗操作。清洗時根據(jù)“臟數(shù)據(jù)”存在形式的不同，執(zhí)行一系列的轉(zhuǎn)換步驟來解決數(shù)據(jù)質(zhì)量問題。為處理單數(shù)據(jù)源問題并且為其與其他數(shù)據(jù)源的合并做好準備，一般在各個數(shù)據(jù)源上應該分別進行幾種類型的轉(zhuǎn)換，主要包括：4.2.3.

16、1 從自由格式的屬性字段中抽取值（屬性分離）自由格式的屬性一般包含著很多的信息，而這些信息有時候需要細化成多個屬性，從而進一步支持后面重復記錄的清洗。4.2.3.2 確認和改正這一步驟處理輸入和拼寫錯誤，并盡可能地使其自動化?；谧值洳樵兊钠磳憴z查對于發(fā)現(xiàn)拼寫錯誤是很有用的。4.2.3.3標準化為了使記錄實例匹配和合并變得更方便，應該把屬性值轉(zhuǎn)換成一個一致和統(tǒng)一的格式。4.2.4干凈數(shù)據(jù)回流當數(shù)據(jù)被清洗后，干凈的數(shù)據(jù)應該替換原來的“臟數(shù)據(jù)”。這樣可以提高系統(tǒng)的數(shù)據(jù)質(zhì)量，還可避免將來再次抽取數(shù)據(jù)后進行重復的清洗工作。4.3 數(shù)據(jù)清洗的評價標準4.3.1 數(shù)據(jù)的可信性可信性包括精確性、完整性、一致

17、性、有效性、唯一性等指標。(1)精確性：描述數(shù)據(jù)是否與其對應的客觀實體的特征相一致。(2)完整性：描述數(shù)據(jù)是否存在缺失記錄或缺失字段。(3)一致性：描述同一實體的同一屬性的值在不同的系統(tǒng)是否一致。(4)有效性：描述數(shù)據(jù)是否滿足用戶定義的條件或在一定的域值范圍內(nèi)。(5)唯一性：描述數(shù)據(jù)是否存在重復記錄。4.3.2 數(shù)據(jù)的可用性數(shù)據(jù)的可用性考察指標主要包括時間性和穩(wěn)定性。(1)時間性：描述數(shù)據(jù)是當前數(shù)據(jù)還是歷史數(shù)據(jù)。(2)穩(wěn)定性：描述數(shù)據(jù)是否是穩(wěn)定的，是否在其有效期內(nèi)。4.4 常見的數(shù)據(jù)清洗算法4.4.1 空缺值的清洗對于空缺值的清洗可以采取忽略元組，人工填寫空缺值，使用一個全局變量填充空缺值，使用屬性的平均值、中問值、最大值、最小值或更為復雜的概率統(tǒng)計函數(shù)值來填充空缺值。4.4.2 噪聲數(shù)據(jù)的清洗噪聲數(shù)據(jù)：指無意義的數(shù)據(jù)、損壞數(shù)據(jù)。通常采用分箱(Binning)法，通過考察屬性值的周圍值來平滑屬性的值。屬性值被分布到一些等深或等寬的“箱”中，用箱中屬性值的平均值或中值來替換“箱”中的屬性值；計算機和人工檢查相結(jié)合，計算機檢測可疑數(shù)據(jù)，然后對它們進行人工判斷；使用簡單規(guī)則庫檢測和修正錯誤；使用不同屬性間的約束檢測和修正錯誤；使用外部數(shù)據(jù)源檢測和修正錯誤。