數(shù)據(jù)質(zhì)量DCI測(cè)量實(shí)現(xiàn)設(shè)計(jì)方案

1、數(shù)據(jù)質(zhì)量DCI測(cè)量實(shí)現(xiàn)設(shè)計(jì)數(shù)據(jù)質(zhì)量量化指標(biāo)定義量化指標(biāo)維度測(cè)量過(guò)程量化應(yīng)用說(shuō)明完備性測(cè)量12不可為空的字段需要被填充N(xiāo)空值率測(cè)量的空值記錄數(shù)測(cè)量的總記錄數(shù)越低越好，理論上空值率必須等于0%完整性測(cè)量13重復(fù)數(shù)據(jù)刪除（標(biāo)記）R重復(fù)率測(cè)量的重復(fù)記錄數(shù)測(cè)量的總記錄數(shù)越低越好，要求單字段有主鍵的特性，如果某待測(cè)系統(tǒng)沒(méi)有任何具有主鍵特征的字段，此維度與完備性合并 RN測(cè)量14重復(fù)數(shù)據(jù)歷史性比較（合理性，只適合有合理性預(yù)期的字段，比如性別比例）難以量化一致性測(cè)量30合理性檢查，值的記錄數(shù)分布與過(guò)去填充相同字段的數(shù)據(jù)實(shí)例做比較（只適合有合理 性預(yù)期的字段），前后一致F填充率1-測(cè)量的空值記錄數(shù)測(cè)量的總記錄數(shù)

2、?？傮w上看，越高越好。高低與業(yè)務(wù)相關(guān)，可以說(shuō)是數(shù)據(jù)密度。還是測(cè)量填充率，表明該字段有多少數(shù)據(jù)，這屬于業(yè)務(wù)上的要求，而不是數(shù)據(jù)庫(kù)的范式要求及時(shí)性測(cè)量49，DCI增量抽取數(shù)據(jù)的更新或新數(shù)據(jù)的條數(shù)U更新率測(cè)量的抽取間隔中發(fā)生的更新、新增記錄數(shù)測(cè)量的總記錄數(shù)高低與業(yè)務(wù)相關(guān)，系統(tǒng)范圍來(lái)看越高越好，新增、更新頻繁間接表明數(shù)據(jù)比較及時(shí)有效性測(cè)量27將數(shù)據(jù)與既定的域（參照表，范圍或數(shù)學(xué)規(guī)則）中的有效值做比較C合規(guī)率 1- 測(cè)量的不符合碼值的記錄數(shù)測(cè)量的總記錄數(shù)越高越好表11.完備性2.完整性3.一致性4.及時(shí)性5.有效性指標(biāo)解讀：指標(biāo)反應(yīng)某個(gè)數(shù)據(jù)字段的數(shù)據(jù)質(zhì)量，量化指標(biāo)由測(cè)量根據(jù)規(guī)則計(jì)算得到，測(cè)量是對(duì)某個(gè)數(shù)據(jù)

3、值的數(shù)據(jù)質(zhì)量表示。從指標(biāo)量化的定義上，可以看出FRUC指標(biāo)是字段級(jí)的指標(biāo)，是對(duì)字段的數(shù)據(jù)質(zhì)量的表示。產(chǎn)品功能上需求測(cè)量數(shù)據(jù)，并計(jì)算指標(biāo)。要求測(cè)量后返回如下監(jiān)控結(jié)果。測(cè)量： 是否為空，返回空數(shù)據(jù)是否重復(fù)，返回重復(fù)數(shù)據(jù)是否新增，返回新增記錄是否更新，返回更新記錄是否滿足取值范圍（碼值范圍），返回不滿足取值數(shù)據(jù)其中測(cè)量c,d無(wú)法做到單個(gè)數(shù)據(jù)值的測(cè)量，可以做到記錄行級(jí)的測(cè)量，指標(biāo)U更高一級(jí)，是對(duì)表的數(shù)據(jù)質(zhì)量的表示。Q值Q值 Q(N, F,U,R,C) ( ( 1 N空值率 ) + （1 R重復(fù)率） F填充率 + U更新率 + C合規(guī)率 )5 )* 100%從數(shù)據(jù)質(zhì)量維度出發(fā)，我們可以定相應(yīng)的歸一量化指

4、標(biāo)，分別是空值率、填充率、重復(fù)率、更新率與符合率。參見(jiàn) REF _Ref340999004 h 錯(cuò)誤!未找到引用源。測(cè)量級(jí)別定義測(cè)量級(jí)別適用測(cè)量數(shù)據(jù)值a,b,e記錄行c,d字段F,R,C表Q,U數(shù)據(jù)源系統(tǒng)Q測(cè)量需求目前數(shù)據(jù)質(zhì)量產(chǎn)品不實(shí)現(xiàn)測(cè)量計(jì)算過(guò)程和規(guī)則定義，只時(shí)間測(cè)量結(jié)果的展示。展示的信息需要完全開(kāi)發(fā)DCI作業(yè)實(shí)現(xiàn)，DCI測(cè)量可分解成一下幾個(gè)步驟。劃定測(cè)量范圍人工手動(dòng)確定測(cè)量范圍，需要測(cè)量的源數(shù)據(jù)的系統(tǒng)名，表名，字段名，待測(cè)指標(biāo)。其中單個(gè)字段只定義一個(gè)測(cè)量指標(biāo)。表樣：系統(tǒng)名表名表中文名表主鍵字段名字段中文名測(cè)量類別質(zhì)量維度取值范圍問(wèn)題描述教務(wù)系統(tǒng)JW_ZYXXSJLB專業(yè)數(shù)據(jù)ZYHZYH專業(yè)號(hào)b完整性教務(wù)系統(tǒng)JW_ZYXXSJLB專業(yè)數(shù)據(jù)ZYHZYMC專業(yè)中文名稱b完整性教務(wù)系統(tǒng)JW_ZYXXSJLB專業(yè)數(shù)據(jù)ZYHZYFXH專業(yè)方向a完備性教務(wù)系統(tǒng)JW_ZYXXSJLB專業(yè)數(shù)據(jù)ZYHSSXK所屬學(xué)科a完備性教務(wù)系統(tǒng)JW_ZYXXSJLB專業(yè)數(shù)據(jù)ZYHXZ學(xué)制a完備性教務(wù)系統(tǒng)JW_ZYXXSJLB專業(yè)數(shù)據(jù)ZYHPYCC培養(yǎng)層次e有效性CODE:01,DESC:本科,CODE:02,DESC:?？?CODE:03,DESC:專升本設(shè)計(jì)DC