數(shù)據(jù)質(zhì)量管理.

1、數(shù)據(jù)管理數(shù)據(jù)管理演講人：演講人： 部門：部門： 職務(wù)：職務(wù)：數(shù)據(jù)管理數(shù)據(jù)管理數(shù)據(jù)管理的難點(diǎn)與重點(diǎn)2數(shù)據(jù)質(zhì)量控制方法論3案例介紹4數(shù)據(jù)管理的目標(biāo)數(shù)據(jù)管理的目標(biāo)1目標(biāo)一：安全目標(biāo)一：安全l訪問(wèn)安全訪問(wèn)安全l存儲(chǔ)安全存儲(chǔ)安全目標(biāo)二：正確目標(biāo)二：正確l數(shù)據(jù)精確數(shù)據(jù)精確l數(shù)據(jù)正確數(shù)據(jù)正確目標(biāo)三：效率目標(biāo)三：效率l常規(guī)加載的效率常規(guī)加載的效率l非常規(guī)加載的效率非常規(guī)加載的效率數(shù)據(jù)管理的目標(biāo)數(shù)據(jù)管理的目標(biāo)數(shù)據(jù)管理數(shù)據(jù)管理數(shù)據(jù)管理的難點(diǎn)與重點(diǎn)數(shù)據(jù)管理的難點(diǎn)與重點(diǎn)2數(shù)據(jù)質(zhì)量控制方法論3案例介紹4數(shù)據(jù)管理的目標(biāo)1數(shù)據(jù)質(zhì)量管理的難點(diǎn)與重點(diǎn)數(shù)據(jù)質(zhì)量管理的難點(diǎn)與重點(diǎn)數(shù)據(jù)質(zhì)量概念數(shù)據(jù)質(zhì)量概念1數(shù)據(jù)質(zhì)量的重要性2數(shù)據(jù)質(zhì)量不

2、高的主要原因3數(shù)據(jù)質(zhì)量歸類4數(shù)據(jù)質(zhì)量示例5數(shù)據(jù)質(zhì)量管理方法6l數(shù)據(jù)本身的數(shù)據(jù)質(zhì)量數(shù)據(jù)的真實(shí)性： 數(shù)據(jù)必須真實(shí)準(zhǔn)確的反映實(shí)際發(fā)生的業(yè)務(wù)。數(shù)據(jù)的完備性： 數(shù)據(jù)的完備性是說(shuō)數(shù)據(jù)是充分的，任何有關(guān)操作的數(shù)據(jù)都沒(méi)有被遺漏。數(shù)據(jù)的自治性 數(shù)據(jù)并不是孤立存在的，數(shù)據(jù)之間往往存在著各種各樣的約束，這種約束描述了數(shù)據(jù)的關(guān)聯(lián)關(guān)系。數(shù)據(jù)必須能夠滿足這種數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系，而不能夠相互矛盾。數(shù)據(jù)質(zhì)量概念數(shù)據(jù)質(zhì)量概念 數(shù)據(jù)的真實(shí)性、完備性、自洽性是數(shù)據(jù)本身應(yīng)具有的屬性，稱為數(shù)據(jù)的絕對(duì)質(zhì)量，是保證數(shù)據(jù)質(zhì)量的基礎(chǔ)。除了數(shù)據(jù)的絕對(duì)質(zhì)量外，還有我們?cè)诶煤痛尜A數(shù)據(jù)的過(guò)程中所產(chǎn)生的數(shù)據(jù)質(zhì)量，包括使用質(zhì)量、存貯質(zhì)量和傳輸質(zhì)量，稱之

3、為過(guò)程質(zhì)量。l數(shù)據(jù)的過(guò)程質(zhì)量數(shù)據(jù)的使用質(zhì)量： 數(shù)據(jù)的使用質(zhì)量是指數(shù)據(jù)被正確的使用。再正確的數(shù)據(jù)，如果被錯(cuò)誤的使用，就不可能得出正確的結(jié)論。數(shù)據(jù)的存貯質(zhì)量： 指數(shù)據(jù)被安全的存貯在適當(dāng)?shù)慕橘|(zhì)上。所謂安全是指采用了適當(dāng)?shù)姆桨负图夹g(shù)來(lái)抵制外來(lái)的因素，使數(shù)據(jù)免受破壞，備份是我們常使用的技術(shù)，如異地備份和雙機(jī)備份等，所謂存貯在適當(dāng)?shù)慕橘|(zhì)上是指當(dāng)需要數(shù)據(jù)的時(shí)候能及時(shí)方便的取出。數(shù)據(jù)的傳輸質(zhì)量： 數(shù)據(jù)的傳輸質(zhì)量是指數(shù)據(jù)在傳輸過(guò)程中的效率和正確性。在現(xiàn)代信息社會(huì)中，數(shù)據(jù)在異地之間的傳輸越來(lái)越多，保證傳輸過(guò)程中的高效率和正確性非常重要。數(shù)據(jù)質(zhì)量概念數(shù)據(jù)質(zhì)量概念l關(guān)系建設(shè)系統(tǒng)成敗很多數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用程度不高或最后失敗，

4、歸根結(jié)底都是數(shù)據(jù)質(zhì)量不高造成的。l數(shù)據(jù)質(zhì)量好壞關(guān)系到結(jié)果與預(yù)期是否一致低下的數(shù)據(jù)質(zhì)量往往造成開(kāi)發(fā)出來(lái)的系統(tǒng)與用戶的預(yù)期大相徑庭l數(shù)據(jù)質(zhì)量是決策正確的保障數(shù)據(jù)信息是企業(yè)重要的戰(zhàn)略資源，合理有效的使用正確的數(shù)據(jù)能指導(dǎo)企業(yè)領(lǐng)導(dǎo)作出正確的決策，提高企業(yè)的競(jìng)爭(zhēng)力。不合理的使用不正確的數(shù)據(jù)（即差的數(shù)據(jù)質(zhì)量）可導(dǎo)致決策的失敗，正可謂差之毫厘、謬以千里。l數(shù)據(jù)質(zhì)量是長(zhǎng)期困擾開(kāi)發(fā)的難題數(shù)據(jù)質(zhì)量不高已經(jīng)成為困擾此類項(xiàng)目的開(kāi)發(fā)人員與用戶的一個(gè)嚴(yán)重問(wèn)題。數(shù)據(jù)質(zhì)量重要性數(shù)據(jù)質(zhì)量重要性數(shù)據(jù)質(zhì)量不高的主要原因數(shù)據(jù)質(zhì)量不高的主要原因數(shù)據(jù)質(zhì)量歸類數(shù)據(jù)質(zhì)量歸類數(shù)據(jù)質(zhì)量示例數(shù)據(jù)質(zhì)量示例數(shù)據(jù)質(zhì)量管理方法數(shù)據(jù)質(zhì)量管理方法數(shù)據(jù)管理數(shù)據(jù)管

5、理數(shù)據(jù)管理的難點(diǎn)與重點(diǎn)2數(shù)據(jù)質(zhì)量控制方法論數(shù)據(jù)質(zhì)量控制方法論3案例介紹4數(shù)據(jù)管理的目標(biāo)1數(shù)據(jù)質(zhì)量控制方法論數(shù)據(jù)質(zhì)量控制方法論數(shù)據(jù)源檢驗(yàn)方法數(shù)據(jù)源檢驗(yàn)方法1數(shù)據(jù)源檢驗(yàn)適用規(guī)則2數(shù)據(jù)檢驗(yàn)方法3數(shù)據(jù)檢驗(yàn)適用規(guī)則4數(shù)據(jù)質(zhì)量檢驗(yàn)的順序5數(shù)據(jù)源檢驗(yàn)方法數(shù)據(jù)源檢驗(yàn)方法分類分類檢驗(yàn)方法檢驗(yàn)方法檢查范疇檢查范疇異常處異常處理方式理方式說(shuō)明說(shuō)明時(shí)效性時(shí)效性檢驗(yàn)數(shù)據(jù)是否按時(shí)到達(dá)報(bào)警正確性完整性檢驗(yàn)代碼一致性記錄條數(shù)檢查停止ETL原則性檢驗(yàn)數(shù)據(jù)值檢查停止ETL對(duì)單字段的數(shù)值檢查。不符合原則性檢驗(yàn)時(shí)該數(shù)據(jù)一定是錯(cuò)誤的。邏輯性檢驗(yàn)數(shù)據(jù)值檢查報(bào)警對(duì)單表或多個(gè)表內(nèi)字段間邏輯關(guān)系的檢查 數(shù)據(jù)源檢驗(yàn)是對(duì)HDS中的源表進(jìn)行的數(shù)據(jù)質(zhì)

6、量檢查。數(shù)據(jù)源檢驗(yàn)分為時(shí)效性檢驗(yàn)和正確性檢驗(yàn)兩個(gè)大類，其中正確性檢驗(yàn)又分為完整性檢驗(yàn)、原則性檢驗(yàn)、邏輯性檢驗(yàn)。數(shù)據(jù)源檢驗(yàn)方法數(shù)據(jù)源檢驗(yàn)方法l時(shí)效性檢驗(yàn)時(shí)效性檢驗(yàn)判斷在約定的時(shí)間內(nèi)，數(shù)據(jù)源的數(shù)據(jù)是否按時(shí)到達(dá) l完整性檢驗(yàn)完整性檢驗(yàn)HDS數(shù)據(jù)表與代碼表的一致性檢查HDS數(shù)據(jù)表記錄數(shù)檢查l原則性檢驗(yàn)原則性檢驗(yàn)HDS數(shù)據(jù)表中字段的數(shù)值是否在合法的區(qū)間內(nèi) l邏輯性檢驗(yàn)邏輯性檢驗(yàn)單表或多個(gè)表內(nèi)字段間邏輯關(guān)系的檢查 數(shù)據(jù)源檢驗(yàn)適用的規(guī)則數(shù)據(jù)源檢驗(yàn)適用的規(guī)則l時(shí)效性檢驗(yàn)時(shí)效性檢驗(yàn) 規(guī)則一：時(shí)效性檢驗(yàn)適用于HDS中所有的代碼表和數(shù)據(jù)表。l完整性檢驗(yàn)完整性檢驗(yàn) 規(guī)則二：包含外鍵字段的HDS數(shù)據(jù)表必須進(jìn)行代碼一致性

7、檢驗(yàn)。 規(guī)則三：包含日期型字段且可以確定記錄數(shù)范圍的HDS數(shù)據(jù)表必須進(jìn)行記錄條數(shù)檢驗(yàn)。 l原則性檢驗(yàn)原則性檢驗(yàn) 規(guī)則四：HDS數(shù)據(jù)表中可以確定取值范圍的字段必須進(jìn)行原則性檢驗(yàn)。 l邏輯性檢驗(yàn)邏輯性檢驗(yàn) 規(guī)則五：?jiǎn)伪砘蚨鄠€(gè)表內(nèi)的字段具有相同的業(yè)務(wù)含義，不同的統(tǒng)計(jì)口徑，且存在匯總關(guān)系。滿足此條件時(shí)必須進(jìn)行邏輯性檢驗(yàn)。 規(guī)則六：本表的字段與其他表中的字段的業(yè)務(wù)含義、統(tǒng)計(jì)口徑相同。滿足此條件時(shí)必須進(jìn)行邏輯性檢驗(yàn)。 規(guī)則七：?jiǎn)伪砘蚨鄠€(gè)表內(nèi)的字段具有不同的業(yè)務(wù)含義，相同的統(tǒng)計(jì)口徑，在業(yè)務(wù)上有邏輯公式成立。滿足此條件時(shí)必須進(jìn)行邏輯性檢驗(yàn)。數(shù)據(jù)檢驗(yàn)方法數(shù)據(jù)檢驗(yàn)方法 數(shù)據(jù)校驗(yàn)是對(duì)DDS數(shù)據(jù)庫(kù)中前臺(tái)應(yīng)用直接使用的

8、相關(guān)表的檢驗(yàn)。數(shù)據(jù)校驗(yàn)分為時(shí)效性檢驗(yàn)和正確性檢驗(yàn)兩個(gè)大類，其中正確性檢驗(yàn)又分為完整性檢驗(yàn)、原則性檢驗(yàn)、模糊性檢驗(yàn)、邏輯性檢驗(yàn)。分類分類檢驗(yàn)方法檢驗(yàn)方法檢查范疇檢查范疇異常處理方式異常處理方式說(shuō)明說(shuō)明時(shí)效性時(shí)效性檢驗(yàn)數(shù)據(jù)是否按時(shí)到達(dá)報(bào)警正確性完整性檢驗(yàn)代碼一致性記錄條數(shù)檢查停止ETL原則性檢驗(yàn)數(shù)據(jù)值檢查停止ETL對(duì)單字段的數(shù)值檢查和單表內(nèi)邏輯關(guān)系的檢查。不符合原則性檢驗(yàn)時(shí)該數(shù)據(jù)一定是錯(cuò)誤的。模糊性檢驗(yàn)數(shù)據(jù)值檢查報(bào)警對(duì)單字段的數(shù)值、同比值的檢查。不符合模糊性檢驗(yàn)時(shí)只能懷疑此數(shù)據(jù)有問(wèn)題。邏輯性檢驗(yàn)數(shù)據(jù)值檢查報(bào)警對(duì)不同數(shù)據(jù)源加工得到的多個(gè)表內(nèi)字段間邏輯關(guān)系的檢查。不符合邏輯性檢驗(yàn)時(shí)只能懷疑此數(shù)據(jù)有問(wèn)題

9、。數(shù)據(jù)檢驗(yàn)方法數(shù)據(jù)檢驗(yàn)方法l時(shí)效性檢驗(yàn)時(shí)效性檢驗(yàn)判斷在約定的時(shí)間內(nèi)，前臺(tái)應(yīng)用直接使用的相關(guān)表是否按時(shí)加載 l完整性檢驗(yàn)完整性檢驗(yàn)DDS事實(shí)表與維度表的一致性檢查DDS事實(shí)表記錄數(shù)檢查l原則性檢驗(yàn)原則性檢驗(yàn)DDS事實(shí)表中單字段的數(shù)值是否在合法的區(qū)間內(nèi) 同一表內(nèi)字段間邏輯關(guān)系的檢查l模糊性檢驗(yàn)?zāi)：詸z驗(yàn)判斷字段的數(shù)值及其同比值是否在合理的區(qū)間內(nèi) l邏輯性檢驗(yàn)邏輯性檢驗(yàn)由不同數(shù)據(jù)源加工得到的多個(gè)表內(nèi)字段間邏輯關(guān)系的檢查 數(shù)據(jù)檢驗(yàn)適用的規(guī)則數(shù)據(jù)檢驗(yàn)適用的規(guī)則l時(shí)效性檢驗(yàn)時(shí)效性檢驗(yàn) 規(guī)則一：時(shí)效性檢驗(yàn)適用于DDS中所有的維度表和事實(shí)表。l完整性檢驗(yàn)完整性檢驗(yàn) 規(guī)則二：包含外鍵字段的DDS中事實(shí)表必須進(jìn)行

10、代碼一致性檢驗(yàn)。 規(guī)則三：包含日期型字段且可以確定記錄數(shù)范圍的DDS事實(shí)表必須進(jìn)行記錄條數(shù)檢驗(yàn)。l原則性檢驗(yàn)原則性檢驗(yàn) 規(guī)則四：表中的字段可以確定取值范圍，同時(shí)可以判定不在此范 圍內(nèi)的數(shù)據(jù)必定是錯(cuò)誤的。滿足此條件必須進(jìn)行原則性檢驗(yàn)。 規(guī)則五：同表內(nèi)多個(gè)字段間具有相同的業(yè)務(wù)含義，不同的統(tǒng)計(jì)口徑，存在匯總關(guān)系時(shí)，必須進(jìn)行原則性檢驗(yàn)。 規(guī)則六：同表內(nèi)多個(gè)字段間具有不同的業(yè)務(wù)含義，相同的統(tǒng)計(jì)口徑，在業(yè)務(wù)上有邏輯公式成立時(shí)，必須進(jìn)行原則性檢驗(yàn)。 數(shù)據(jù)檢驗(yàn)適用的規(guī)則數(shù)據(jù)檢驗(yàn)適用的規(guī)則l模糊性檢驗(yàn)?zāi)：詸z驗(yàn) 規(guī)則七：不能進(jìn)行完整性、原則性檢驗(yàn)的情況下，必須進(jìn)行模糊性檢驗(yàn)。 規(guī)則八：規(guī)則七不成立時(shí)，根據(jù)系統(tǒng)的

11、重要程度決定是否進(jìn)行模糊性檢驗(yàn)。系統(tǒng)的重要程度及哪些系統(tǒng)要進(jìn)行模糊性檢驗(yàn)由客戶方確定。l邏輯性檢驗(yàn)邏輯性檢驗(yàn) 規(guī)則九：本表的字段與其它表中的字段具有相同的業(yè)務(wù)含義，不同的統(tǒng) 計(jì)口徑，存在匯總關(guān)系，且兩張表的數(shù)據(jù)不是經(jīng)同一數(shù)據(jù)源加工得到。滿足此條件時(shí)必須進(jìn)行邏輯性檢驗(yàn)。 規(guī)則十：本表的字段與其他表中的字段的業(yè)務(wù)含義、統(tǒng)計(jì)口徑相同，且兩張表的數(shù)據(jù)不是經(jīng)同一數(shù)據(jù)源加工得到。滿足此條件時(shí)必須進(jìn)行邏輯性檢驗(yàn)。 規(guī)則十一：本表的字段與其他表中的字段具有不同的業(yè)務(wù)含義，相同的統(tǒng)計(jì)口徑，在業(yè)務(wù)上有邏輯公式成立，且兩張表的數(shù)據(jù)不是經(jīng)同一數(shù)據(jù)源加工得到。滿足此條件時(shí)必須進(jìn)行邏輯性檢驗(yàn)。數(shù)據(jù)質(zhì)量檢驗(yàn)的順序數(shù)據(jù)質(zhì)量檢

12、驗(yàn)的順序1、數(shù)據(jù)源完整性檢驗(yàn)數(shù)據(jù)源完整性檢驗(yàn)數(shù)據(jù)源的完整性檢驗(yàn)報(bào)異常時(shí)應(yīng)停止ETL加載過(guò)程，不需要再進(jìn)行后續(xù)的檢驗(yàn) 2、數(shù)據(jù)源原則性檢驗(yàn)數(shù)據(jù)源原則性檢驗(yàn)數(shù)據(jù)源的原則性檢驗(yàn)報(bào)異常時(shí)應(yīng)停止ETL加載過(guò)程。不需要再進(jìn)行后續(xù)的檢驗(yàn) 3、數(shù)據(jù)校驗(yàn)完整性檢驗(yàn)數(shù)據(jù)校驗(yàn)完整性檢驗(yàn)數(shù)據(jù)校驗(yàn)的完整性檢驗(yàn)報(bào)異常時(shí)應(yīng)停止ETL加載過(guò)程，不需要再進(jìn)行后續(xù)的檢驗(yàn) 4、數(shù)據(jù)校驗(yàn)原則性檢驗(yàn)數(shù)據(jù)校驗(yàn)原則性檢驗(yàn)數(shù)據(jù)校驗(yàn)的原則性檢驗(yàn)報(bào)異常時(shí)應(yīng)停止ETL加載過(guò)程，不需要再進(jìn)行后續(xù)的檢驗(yàn) 5、數(shù)據(jù)源時(shí)效性檢驗(yàn)、數(shù)據(jù)源邏輯性檢驗(yàn)、數(shù)據(jù)校驗(yàn)時(shí)效性檢驗(yàn)、數(shù)據(jù)源時(shí)效性檢驗(yàn)、數(shù)據(jù)源邏輯性檢驗(yàn)、數(shù)據(jù)校驗(yàn)時(shí)效性檢驗(yàn)、 數(shù)據(jù)校驗(yàn)?zāi)：詸z驗(yàn)、數(shù)據(jù)校驗(yàn)邏

13、輯性檢驗(yàn)數(shù)據(jù)校驗(yàn)?zāi)：詸z驗(yàn)、數(shù)據(jù)校驗(yàn)邏輯性檢驗(yàn)這五類檢驗(yàn)方法報(bào)異常時(shí)，ETL加載正常進(jìn)行，但需要給出預(yù)警提示 數(shù)據(jù)管理數(shù)據(jù)管理數(shù)據(jù)管理的難點(diǎn)與重點(diǎn)2數(shù)據(jù)質(zhì)量控制方法論3案例介紹案例介紹4數(shù)據(jù)管理的目標(biāo)1數(shù)據(jù)質(zhì)量檢驗(yàn)的案例數(shù)據(jù)質(zhì)量檢驗(yàn)的案例 下面以行業(yè)對(duì)比報(bào)表中的全國(guó)卷煙市場(chǎng)分類銷量情況表（分價(jià)類）為例來(lái)介紹如何根據(jù)數(shù)據(jù)質(zhì)量管理方案進(jìn)行各類規(guī)則的制定實(shí)施過(guò)程。步驟一確定相關(guān)的表步驟一確定相關(guān)的表 全國(guó)卷煙市場(chǎng)分類銷售情況表（分價(jià)類）在DDS中直接使用的表為：APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL 對(duì)應(yīng)的HDS中的源表為：EIIRECV. .EIIRECV_TZ_BS_Y

14、_Q_M_SELLDETAIL。 因此下面的檢驗(yàn)規(guī)則主要針對(duì)這兩張表來(lái)制定。步驟二確定數(shù)據(jù)源的時(shí)效性檢驗(yàn)規(guī)則步驟二確定數(shù)據(jù)源的時(shí)效性檢驗(yàn)規(guī)則根據(jù)表EIIRECV. .EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL的數(shù)據(jù)到達(dá)規(guī)律，定義該表每月最晚到達(dá)日期為8日。步驟三步驟三 確定數(shù)據(jù)源的完整性檢驗(yàn)規(guī)則確定數(shù)據(jù)源的完整性檢驗(yàn)規(guī)則根據(jù)數(shù)據(jù)源檢驗(yàn)適用規(guī)則的規(guī)則二、三：1、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL中包含有外鍵字段 I_Province (省份代碼)、 I_Org (機(jī)構(gòu)代碼)、C_Brand(規(guī)格)。 I_Province (省份代碼）對(duì)

15、應(yīng)代碼表DM.T_DM_GJJ_QGSF中的QGSFDM； I_Org (機(jī)構(gòu)代碼)對(duì)應(yīng)代碼表DM.T_DM_GJJ_ZZJG中的ZZJGDM； C_Brand(規(guī)格)對(duì)應(yīng)代碼表T_DM_GJJ_JY中的THTXBS 。 該表符合規(guī)則二的檢驗(yàn)條件，需要進(jìn)行代碼一致性檢查。2、該表包含有日期型字段Y,M，但記錄條數(shù)每月不確定，因此不滿足規(guī)則三，無(wú)法進(jìn)行記錄條數(shù)檢查。步驟四步驟四 確定數(shù)據(jù)源的原則性檢驗(yàn)規(guī)則確定數(shù)據(jù)源的原則性檢驗(yàn)規(guī)則根據(jù)數(shù)據(jù)源檢驗(yàn)適用規(guī)則的規(guī)則四：1、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL中包含有數(shù)據(jù)字段sell(系統(tǒng)外總銷量 )、Out_Se

16、ll_Retail_Amount (系統(tǒng)外零售量)、Out_Sell_Amount (系統(tǒng)外批發(fā)銷量 )、End_Store_Amount (期末庫(kù)存 )；根據(jù)業(yè)務(wù)經(jīng)驗(yàn)確定： sell=0 Out_Sell_Retail_Amount=0 Out_Sell_Amount=0 End_Store_Amount=0步驟五步驟五 確定數(shù)據(jù)源的邏輯性檢驗(yàn)規(guī)則確定數(shù)據(jù)源的邏輯性檢驗(yàn)規(guī)則根據(jù)數(shù)據(jù)源檢驗(yàn)適用規(guī)則五：1、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL表包含字段Out_Sell_Retail_Amount、Out_Sell_Amount、End_Store_Amou

17、nt 2、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_BASIC表也包含字段Out_Sell_Retail_Amount、Out_Sell_Amount、End_Store_Amount 3、這兩張表對(duì)應(yīng)字段具有相同業(yè)務(wù)含義、不同的統(tǒng)計(jì)口徑，存在以下匯總關(guān)系： EIIRECV.EIIRECV_TZ_BS_Y_Q_M_BASIC 表統(tǒng)計(jì)商業(yè)企業(yè)的系統(tǒng)外批發(fā)銷售量、系統(tǒng)外零售量、期末商業(yè)庫(kù)存數(shù)據(jù)。EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAIL表統(tǒng)計(jì)商業(yè)企業(yè)分卷煙規(guī)格的系統(tǒng)外批發(fā)銷售量、系統(tǒng)外零售量、期末商業(yè)庫(kù)存數(shù)據(jù)。因此EIIRECV.EIIRECV_TZ

18、_BS_Y_Q_M_SELLDETAIL表中某商業(yè)企業(yè)分規(guī)格的匯總數(shù)據(jù)應(yīng)該等于表EIIRECV.EIIRECV_TZ_BS_Y_Q_M_BASIC中對(duì)應(yīng)的商業(yè)企業(yè)的數(shù)據(jù)。步驟五步驟五 確定數(shù)據(jù)源的邏輯性檢驗(yàn)規(guī)則確定數(shù)據(jù)源的邏輯性檢驗(yàn)規(guī)則根據(jù)數(shù)據(jù)源檢驗(yàn)適用規(guī)則的規(guī)則六、七：1、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAILL表中不包含字段與其 他表中的字段具有相同的業(yè)務(wù)含義、統(tǒng)計(jì)口徑。因此不滿足規(guī)則六邏輯檢 驗(yàn)。2、EIIRECV.EIIRECV_TZ_BS_Y_Q_M_SELLDETAILL表中包含有字段 sell(系統(tǒng)外總銷量)、 Out_Sell_Retail

19、_Amount (系統(tǒng)外零售 量)、Out_Sell_Amount (系統(tǒng)外批發(fā)銷量 ) End_Store_Amount (期 末庫(kù)存 )、ratio_stock_sell(存銷比)。 具有不同的業(yè)務(wù)含義、相同的統(tǒng)計(jì)口徑，存在業(yè)務(wù)邏輯關(guān)系： ratio_stock_sell= End_Store_Amount/sell sell= Out_Sell_Retail_Amount+ Out_Sell_Amount步驟六步驟六 確定數(shù)據(jù)的時(shí)效性檢驗(yàn)規(guī)則確定數(shù)據(jù)的時(shí)效性檢驗(yàn)規(guī)則根據(jù)表APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL使用的源表的最晚到達(dá)時(shí)間，加上后臺(tái)數(shù)據(jù)加工處理的時(shí)間，

20、定義該表的最晚加載日期為每月12日。步驟七步驟七 確定數(shù)據(jù)的完整性檢驗(yàn)規(guī)則確定數(shù)據(jù)的完整性檢驗(yàn)規(guī)則根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則二、三：1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL不包含外鍵字段，因此不符 合規(guī)則二，不需要進(jìn)行代碼一致性檢查。2、該表包含有日期型字段DQRQ，記錄條數(shù)每月確定，因此滿足規(guī)則三，需要進(jìn)行記錄條數(shù)檢查，此表每月加載量為35行。步驟八步驟八 確定數(shù)據(jù)的原則性檢驗(yàn)規(guī)則確定數(shù)據(jù)的原則性檢驗(yàn)規(guī)則根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則四：1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表中包含有字段 BY_SYXL、 BY_HCY 、 BY_JL1

21、、BY_JL2、BY_JL3、BY_JL4、BY_JL5、LJ_SYXL、LJ_HCY、LJ_JL1、LJ_JL2、LJ_JL3、LJ_JL4、LJ_JL5；可以確定取值范圍，根據(jù)業(yè)務(wù)經(jīng)驗(yàn)確定： BY_SYXL、BY_HCY、 LJ_SYXL、LJ_SYXL 0; BY_JL1、BY_JL2、BY_JL3、BY_JL4、BY_JL50; LJ_JL1、LJ_JL2、LJ_JL3、LJ_JL4、LJ_JL50;步驟八步驟八 確定數(shù)據(jù)的原則性檢驗(yàn)規(guī)則確定數(shù)據(jù)的原則性檢驗(yàn)規(guī)則根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則五、六：1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL中包含有字段SCLXMC

22、、 BY_SYXL、 BY_HCY 、 BY_JL1、BY_JL2、BY_JL3、BY_JL4、BY_JL5、LJ_SYXL、LJ_HCY、LJ_JL1、LJ_JL2、LJ_JL3、LJ_JL4、LJ_JL5；存在有相同業(yè)務(wù)含義，不同的統(tǒng)計(jì)口徑，其中市場(chǎng)類型為全國(guó)的數(shù)據(jù)對(duì)應(yīng)于市場(chǎng)類型為本土市場(chǎng)、重點(diǎn)市場(chǎng)和其他市場(chǎng)的匯總數(shù)據(jù)。2、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL中不包含字段具有不同的業(yè)務(wù)含義，相同的統(tǒng)計(jì)口徑，在業(yè)務(wù)上存在業(yè)務(wù)邏輯公式的。因此不滿足數(shù)據(jù)檢驗(yàn)的規(guī)則六。步驟九步驟九 確定數(shù)據(jù)的模糊性檢驗(yàn)規(guī)則確定數(shù)據(jù)的模糊性檢驗(yàn)規(guī)則根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則七、八：1、A

23、PP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表中包含有字段BY_SYXL、BY_HCY、 LJ_SYXL、LJ_HCY、 BY_JL1_BL、BY_JL2_BL、BY_JL3_BL、BY_JL4_BL、BY_JL5_BL、LJ_JL1_BL、LJ_JL2_BL、LJ_JL3_BL、LJ_JL4_BL、LJ_JL5_BL；不滿足規(guī)則七，滿足規(guī)定八。2、其中字段BY_SYXL、BY_HCY、LJ_SYXL、LJ_HCY的數(shù)據(jù)根據(jù)業(yè)務(wù)經(jīng)驗(yàn)確定，數(shù)據(jù)審核規(guī)范如下：市場(chǎng)類型為全國(guó)的對(duì)應(yīng)以上字段數(shù)據(jù)同比的合理區(qū)間在010%；市場(chǎng)類型除全國(guó)外其他類型的同比合理區(qū)間在-10%20%；步驟九步

24、驟九 確定數(shù)據(jù)的模糊性檢驗(yàn)規(guī)則確定數(shù)據(jù)的模糊性檢驗(yàn)規(guī)則根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則七、八： 3、其中字段BY_JL1_BL、BY_JL2_BL、BY_JL3_BL、BY_JL4_BL、 BY_JL5_BL、LJ_JL1_BL、LJ_JL2_BL、LJ_JL3_BL、LJ_JL4_BL、LJ_JL5_BL的數(shù)據(jù)根據(jù)統(tǒng)計(jì)學(xué)公式確定，數(shù)據(jù)審核規(guī)范如下：區(qū)分市場(chǎng)類型使用99%置信區(qū)間；合理區(qū)間在歷史數(shù)據(jù)平均值-3(歷史數(shù)據(jù)標(biāo)準(zhǔn)差/歷史數(shù)據(jù)記錄數(shù)的平方根)歷史數(shù)據(jù)平均值+3(歷史數(shù)據(jù)標(biāo)準(zhǔn)差/歷史數(shù)據(jù)記錄數(shù)的平方根)步驟十步驟十 確定數(shù)據(jù)的邏輯性檢驗(yàn)規(guī)則確定數(shù)據(jù)的邏輯性檢驗(yàn)規(guī)則根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則九：

25、1、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表包含有字段SCLXMC、 BY_JL1、BY_JL2、BY_JL3、BY_JL4、BY_JL52、ZHGL.L_T_ZHGL_JYFLSPDXYBBLJ表(煙草系統(tǒng)卷煙分類商品電訊月報(bào)表累計(jì))包含有字段DQ、YLYNCLJ、ELYNCLJ、SLYNCLJ、SILYNCLJ、WLYNCLJ3、這兩張表對(duì)應(yīng)字段具有相同業(yè)務(wù)含義，不同的統(tǒng)計(jì)口徑，存在匯總 關(guān)系： APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表中為各省份的分價(jià)類銷量的分月的數(shù)據(jù)ZHGL.T_ZHGL_JYFLSPDXYBBLJ表表中各省份、分價(jià)類商業(yè)銷量的累計(jì)數(shù)據(jù) 因此APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表各省份的分價(jià)類銷量的分月的匯總數(shù)據(jù)等于該電訊月報(bào)ZHGL.T_ZHGL_JYFLSPDXYBBLJ表對(duì)應(yīng)省份、對(duì)應(yīng)價(jià)類商業(yè)銷量的累計(jì)數(shù)據(jù)。步驟十步驟十 確定數(shù)據(jù)的邏輯性檢驗(yàn)規(guī)則確定數(shù)據(jù)的邏輯性檢驗(yàn)規(guī)則根據(jù)數(shù)據(jù)檢驗(yàn)適用規(guī)則的規(guī)則九：4、APP_JJYX.T_FT_JJYX_JYSCFLXLQK_JL表包含有字段SCLXMC、 BY_SYXL，5、ZHGL.T_