數(shù)據(jù)質(zhì)量-培訓(xùn)課件

數(shù)據(jù)質(zhì)量更沮兄域唁墾鎂賠鎬涵腺基餓癥劊藹兇久鍛月翠甫渙贓邪墻有疼是留潤生數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量更沮兄域唁墾鎂賠鎬涵腺基餓癥劊藹兇久鍛月翠甫渙贓邪墻1數(shù)據(jù)質(zhì)量問題的危害PoorDataQualityorinconsistentdatacausesdefectsinthevaluechainandisamomentumkillerforDataAlignment,SynchronisationandCollaborationCustomerServiceLevelOOSFailedATPCosttoServeLogisticsCallCentrePriceNegotiationsInventorieslevelsEmergencyStockReturnsRetiredproducts袒迢直噴絮皚糠暑綴撫尖訃漁隨雹頭徹健傘謄瑞摸密故污涌收盛采倍渺天數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量問題的危害PoorDataQualityor2日程什么是數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量的重要性影響數(shù)據(jù)質(zhì)量問題的因素如何才能獲取高質(zhì)量數(shù)據(jù)Informatica平臺如何解決數(shù)據(jù)質(zhì)量問題蛾賺愚服親撂傅懈母著慈且瓤沾治殿滇雁瑟弄劉通闖橡汝譚薪隋桿耪聽藹數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)日程什么是數(shù)據(jù)質(zhì)量蛾賺愚服親撂傅懈母著慈且瓤沾治殿滇雁瑟弄劉3什么是數(shù)據(jù)質(zhì)量-定義數(shù)據(jù)質(zhì)量是一個涵蓋面很廣的術(shù)語，涉及某條或某組數(shù)據(jù)的準(zhǔn)確性、完備性、一致性、符合性和時效性以及數(shù)據(jù)如何進(jìn)入并在整個企業(yè)內(nèi)流動。不同的企業(yè)對數(shù)據(jù)質(zhì)量有著不同的定義和要求，但是數(shù)據(jù)質(zhì)量最終可歸結(jié)為“符合要求的數(shù)據(jù)”。并且數(shù)據(jù)質(zhì)量是個持續(xù)的過程。淋揭開繞挑椎訟榔農(nóng)淺析邦矮某驅(qū)渴逸晌液卵房砒妓層爆避里接尚墓喬袖數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)什么是數(shù)據(jù)質(zhì)量-定義數(shù)據(jù)質(zhì)量是一個涵蓋面很廣的術(shù)語，涉及某條4什么是數(shù)據(jù)質(zhì)量-符合要求的數(shù)據(jù)完全性—所有必需的數(shù)據(jù)是否都存在嗎？符合性—哪些數(shù)據(jù)是以非標(biāo)準(zhǔn)格式存儲的？一致性—哪些數(shù)據(jù)值提供的信息自相矛盾？準(zhǔn)確性—數(shù)據(jù)準(zhǔn)確表示真實來源還是可驗證的來源？重復(fù)性—哪些數(shù)據(jù)記錄是重復(fù)的記錄？完整性—哪些數(shù)據(jù)失去了重要的關(guān)系聯(lián)系？時效性—數(shù)據(jù)壽命是否滿足用戶要求嗎？域級（字段）域之間業(yè)務(wù)邏輯數(shù)據(jù)傳遞，比如etl過程腦兢淫毆顴吧鯨惱察端晝堡極衣痛澡捻籬儲藥情襖婿對作馮好午木玩潮那數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)什么是數(shù)據(jù)質(zhì)量-符合要求的數(shù)據(jù)完全性—所有必需的數(shù)據(jù)是否5數(shù)據(jù)質(zhì)量的重要性數(shù)據(jù)質(zhì)量問題是IT項目成功的最大障礙76%的數(shù)據(jù)集成項目或完全的失敗，或嚴(yán)重延遲主要的問題是缺乏對數(shù)據(jù)和數(shù)據(jù)質(zhì)量的理解平均來看,需要10個左右的迭代過程來分析數(shù)據(jù)質(zhì)量，并糾正存在的問題低質(zhì)量的數(shù)據(jù)影響決策的制定和執(zhí)行低質(zhì)量的數(shù)據(jù)影響對市場的反應(yīng)效率低質(zhì)量的數(shù)據(jù)導(dǎo)致不恰當(dāng)?shù)臎Q策投資沒價值的產(chǎn)品線關(guān)注無價值的客戶現(xiàn)代企業(yè)管理是數(shù)據(jù)質(zhì)量需求的催化劑知識工作者正在強烈的意識到數(shù)據(jù)是他們工作中最重要的資產(chǎn)全球化的組織和全球化的數(shù)據(jù)分布，使得數(shù)據(jù)集成變得愈發(fā)重要合規(guī)性的要求使得對數(shù)據(jù)管理的粗心不能再被容忍高質(zhì)量數(shù)據(jù)有利于提高客戶滿意度在與客戶交互環(huán)節(jié)的數(shù)據(jù)質(zhì)量問題更應(yīng)該得到充分的關(guān)注正確的拼寫客戶的名字、性別和Title最新的產(chǎn)品信息最新的價格信息CRM，CallCenter系統(tǒng)中精確的客戶數(shù)據(jù)有利于幫助組織提升提供更佳的客戶服務(wù)提升交叉銷售和向上銷售的有效性將更多的機會轉(zhuǎn)化為真正客戶確保法規(guī)遵從高質(zhì)量的數(shù)據(jù)幫助實現(xiàn)Sarbanes-OxleyandBASELII等法規(guī)的控制要求和對業(yè)務(wù)績效的精確報告.在法規(guī)遵從方面都要求數(shù)據(jù)是可信賴的，并且是可審計的低質(zhì)量的數(shù)據(jù)造成資源、成本的耗費TDWI估算由于客戶數(shù)據(jù)質(zhì)量問題，造成全美國$6111億美元的人力資源，打印，郵寄等成本的浪費蹈哉淑樓乍冶豌蠱戰(zhàn)鵑礙漠編弘猾叭嘿氛字癰寞馴呢辦忱詳墟竣烷獰眠物數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量的重要性數(shù)據(jù)質(zhì)量問題是IT項目成功的最大障礙低質(zhì)量6影響數(shù)據(jù)質(zhì)量問題的因素菜原倪纜垃厚煥傷侍鐵級妊副寫櫥務(wù)俊處鼠蝗帳踞糜頹鄲跡豬硼亞粵殉晃數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)影響數(shù)據(jù)質(zhì)量問題的因素菜原倪纜垃厚煥傷侍鐵級妊副寫櫥務(wù)俊處鼠7數(shù)據(jù)質(zhì)量問題歸類業(yè)務(wù)系統(tǒng)源數(shù)據(jù)的質(zhì)量問題源數(shù)據(jù)信息不正確源數(shù)據(jù)信息不完整源數(shù)據(jù)信息不一致標(biāo)準(zhǔn)代碼問題缺乏一致、完整的標(biāo)準(zhǔn)代碼，如產(chǎn)品代碼沒有可執(zhí)行的規(guī)范，或者有書面規(guī)范但執(zhí)行不力等代碼直接寫在程序中，沒有代碼表維護(hù)ETL產(chǎn)生的質(zhì)量問題技術(shù)性問題非技術(shù)性問題（如業(yè)務(wù)規(guī)則理解錯誤）廄祿肛祥芳膀養(yǎng)邊燎嘗清又煤腹著棋遏姬菜吩涸疫羞昨竟允垂虞孽銷居蟹數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量問題歸類業(yè)務(wù)系統(tǒng)源數(shù)據(jù)的質(zhì)量問題廄祿肛祥芳膀養(yǎng)邊燎嘗8數(shù)據(jù)質(zhì)量問題產(chǎn)生的環(huán)節(jié)數(shù)據(jù)生產(chǎn)環(huán)節(jié)數(shù)據(jù)和業(yè)務(wù)規(guī)則不符數(shù)據(jù)產(chǎn)生不嚴(yán)謹(jǐn)手工錄入不規(guī)范新舊系統(tǒng)的切換數(shù)據(jù)的孤立修改造成系統(tǒng)之間數(shù)據(jù)不一致數(shù)據(jù)使用和加工環(huán)節(jié)數(shù)據(jù)抽取錯誤或遺漏數(shù)據(jù)的時間段錯誤數(shù)據(jù)的重復(fù)抽取數(shù)據(jù)生成的時間點錯誤數(shù)據(jù)加載轉(zhuǎn)換規(guī)則錯誤袒他塞三贛挺葉霧航逾礙撒班瓢矢舵挖盅證計束棺念位諜失澀缸孰著郎見數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量問題產(chǎn)生的環(huán)節(jié)數(shù)據(jù)生產(chǎn)環(huán)節(jié)數(shù)據(jù)使用和加工環(huán)節(jié)袒他塞三9如何才能獲取高質(zhì)量數(shù)據(jù)訪問和評估數(shù)據(jù)數(shù)據(jù)質(zhì)量規(guī)劃和目標(biāo)數(shù)據(jù)質(zhì)量策略選擇和實施上游策略下游策略盡焦桓曳滋暴嬰勘院編篇遲棵冶襯狀群稈男棒瞪帛抄塑籬礙壘抗鑿姻淚鈍數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)如何才能獲取高質(zhì)量數(shù)據(jù)訪問和評估數(shù)據(jù)盡焦桓曳滋暴嬰勘院編篇遲10如何才能獲取高質(zhì)量數(shù)據(jù)-訪問和評估數(shù)據(jù)訪問數(shù)據(jù)質(zhì)量的當(dāng)前狀態(tài)，以了解隱藏的數(shù)據(jù)質(zhì)量問題完全性—所有必需的數(shù)據(jù)是否都存在嗎？符合性—哪些數(shù)據(jù)是以非標(biāo)準(zhǔn)格式存儲的？一致性—哪些數(shù)據(jù)值提供的信息自相矛盾？準(zhǔn)確性—數(shù)據(jù)準(zhǔn)確表示真實來源還是可驗證的來源？重復(fù)性—哪些數(shù)據(jù)記錄是重復(fù)的記錄？完整性—哪些數(shù)據(jù)失去了重要的關(guān)系聯(lián)系？時效性—數(shù)據(jù)壽命是否滿足用戶要求嗎？妙密序飼寒女冰毆說謂掘宣愈汝瑟檬皇矢師幸躥夜掣果汾貢責(zé)很把萬乎偽數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)如何才能獲取高質(zhì)量數(shù)據(jù)-訪問和評估數(shù)據(jù)訪問數(shù)據(jù)質(zhì)量的當(dāng)前狀態(tài)11如何才能獲取高質(zhì)量數(shù)據(jù)-數(shù)據(jù)質(zhì)量規(guī)劃和目標(biāo)對數(shù)據(jù)的內(nèi)容和質(zhì)量有了一個清晰的了解之后，下一步是進(jìn)行規(guī)劃和項目計劃，以糾正當(dāng)前錯誤和防止將來出現(xiàn)錯誤。有效的計劃可以解決企業(yè)現(xiàn)有應(yīng)用程序庫中的數(shù)據(jù)質(zhì)量問題，并且能夠確保新的應(yīng)用程序從開始就融入數(shù)據(jù)質(zhì)量原則。詩易換溶婪告籽臆剔牽醫(yī)派罰鞏賤撼厭叁哭述百梧梢商色第肩渙僑籃碧繼數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)如何才能獲取高質(zhì)量數(shù)據(jù)-數(shù)據(jù)質(zhì)量規(guī)劃和目標(biāo)對數(shù)據(jù)的內(nèi)容和質(zhì)量12如何才能獲取高質(zhì)量數(shù)據(jù)-數(shù)據(jù)質(zhì)量策略選擇和實施采用企業(yè)范圍內(nèi)的、反復(fù)的持續(xù)性方法解決數(shù)據(jù)質(zhì)量問題。與此同時，無法一次性解決所有數(shù)據(jù)質(zhì)量問題。要確保為企業(yè)提供準(zhǔn)確、一致和及時的數(shù)據(jù)，唯一途徑是通過可最終涵蓋所有公司數(shù)據(jù)的階段性數(shù)據(jù)質(zhì)量管理程序?qū)崿F(xiàn)。選擇用于解決長期數(shù)據(jù)質(zhì)量問題的策略要求根據(jù)每個數(shù)據(jù)質(zhì)量方案產(chǎn)生的影響平衡方案的成本。常用的策略類型有兩種：在企業(yè)中的輸入點解決數(shù)據(jù)質(zhì)量問題的方法稱為“上游策略”，而在消耗來自操作系統(tǒng)（如數(shù)據(jù)倉庫）的數(shù)據(jù)的應(yīng)用程序中實施則稱為“下游策略”。幀泳陣恭總昂硼陷塊貿(mào)修營抗利蠱以瘓謄煽砰咬奢停繡設(shè)雍汁示措臟潞沿數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)如何才能獲取高質(zhì)量數(shù)據(jù)-數(shù)據(jù)質(zhì)量策略選擇和實施采用企業(yè)范圍內(nèi)13上游策略上游策略將檢驗現(xiàn)有應(yīng)用程序的邏輯、數(shù)據(jù)和流程，以便獲得通過探查來處理未覆蓋的異常情況的機會。這可能包括更改應(yīng)用程序邏輯、增添更好的表單驗證、改進(jìn)與數(shù)據(jù)輸入相關(guān)的流程，而且會要求對準(zhǔn)備好的數(shù)據(jù)進(jìn)行清洗。它還可能強迫在應(yīng)用程序自身融入數(shù)據(jù)質(zhì)量功能，例如，在數(shù)據(jù)進(jìn)入企業(yè)時根據(jù)已知示例對數(shù)據(jù)進(jìn)行驗證。由于此方法可以在源頭上解決數(shù)據(jù)質(zhì)量問題，因此它對每個從該來源提取數(shù)據(jù)的應(yīng)用程序和每個將來會從該來源提取數(shù)據(jù)的應(yīng)用程序大有裨益。但是，上游策略耗費高。它們可能要求對應(yīng)用程序、其邏輯和數(shù)據(jù)進(jìn)行更改。企業(yè)在更改現(xiàn)有解決方案時可能會遇到阻礙。要成功實施上游策略，項目需要明確的所有權(quán)、共識和來自其它團隊的員工的支持。刑椎彈唉瑰兼?zhèn)渚昧噢I餒錢勢娘鯉毀工押必峭皖胺緒或獵閨樟渤玉奇殺勢數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)上游策略上游策略將檢驗現(xiàn)有應(yīng)用程序的邏輯、數(shù)據(jù)和流程，以便獲14下游策略下游策略在目標(biāo)應(yīng)用程序或數(shù)據(jù)倉庫中解決數(shù)據(jù)質(zhì)量問題，而不是在數(shù)據(jù)源。由于可以迅速修改數(shù)據(jù)，因此策略可以在流程中得到改進(jìn)，這通常是通過數(shù)據(jù)轉(zhuǎn)換、清洗和查找驗證來實現(xiàn)的。下游策略只對正在使用目標(biāo)應(yīng)用程序或數(shù)據(jù)倉庫的使用者有益，但是相比上游策略，下游策略實施起來要容易得多并且耗費更低。齡謬?yán)癯蛲鈸尳宕薅Y刃術(shù)周勘榜閻鈍些良驢改抬饒日娘叁塢削操伴貪訊數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)下游策略下游策略在目標(biāo)應(yīng)用程序或數(shù)據(jù)倉庫中解決數(shù)據(jù)質(zhì)量問題，15Informatica平臺如何解決數(shù)據(jù)質(zhì)量問題-

數(shù)據(jù)質(zhì)量管理流程探查和分析

多個來源數(shù)據(jù)集成將來源映射至目標(biāo)結(jié)構(gòu)業(yè)務(wù)數(shù)據(jù)構(gòu)建企業(yè)數(shù)據(jù)

質(zhì)量規(guī)則部署規(guī)則交互/

批量/實時報告數(shù)據(jù)

質(zhì)量指標(biāo)結(jié)構(gòu)分析和映射對數(shù)據(jù)質(zhì)量進(jìn)行持續(xù)清洗和監(jiān)控維持監(jiān)控實施（一次性）維持（持續(xù)不斷）清洗分析提取將問題報告

發(fā)送回來源維持（持續(xù)不斷）來源DQ

報告和管理來源DQ

報告和管理源數(shù)據(jù)檢查員企業(yè)數(shù)據(jù)檢查員數(shù)據(jù)檢查員糾正的數(shù)據(jù)和

改進(jìn)的數(shù)據(jù)質(zhì)量123345卑披母堿琺啥縣回邦時癸忻陽幫橫去盼彼疫焙烹相噸低既熙倪撞蔣弟竿菩數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Informatica平臺如何解決數(shù)據(jù)質(zhì)量問題-

數(shù)據(jù)質(zhì)量管16Step1:數(shù)據(jù)質(zhì)量探查數(shù)據(jù)質(zhì)量探查是一種描述數(shù)據(jù)的內(nèi)容、一致性和數(shù)據(jù)結(jié)構(gòu)的有效途徑來自PhilipRussom’sTDWI報告…所有的數(shù)據(jù)質(zhì)量項目都必須從數(shù)據(jù)質(zhì)量探查起步基于工具的數(shù)據(jù)探查比手工的方法具有更高的生產(chǎn)力數(shù)據(jù)質(zhì)量探查不是一次性的工作數(shù)據(jù)探查,數(shù)據(jù)集成,數(shù)據(jù)質(zhì)量是數(shù)據(jù)管理最佳實踐的三個親密兄弟

Source:TakingDataQualitytotheEnterprisethroughDataGovernance–TDWIReport,March2006byPhilipRussom覓司祁吐夏傷杯負(fù)握釀這朋妙粹牌撥辜氛禹韻似喘庇兜鎮(zhèn)疫帚頃察墟胎雅數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Step1:數(shù)據(jù)質(zhì)量探查數(shù)據(jù)質(zhì)量探查是一種描述數(shù)據(jù)的內(nèi)容17ApplicationsDatabasesFlatfilesMainframe

問題分類完整性Conformity一致性準(zhǔn)確性重復(fù)的數(shù)據(jù)數(shù)據(jù)相關(guān)性數(shù)據(jù)清理規(guī)格說明書數(shù)據(jù)轉(zhuǎn)換規(guī)格說明書數(shù)以千計的數(shù)據(jù)屬性數(shù)以百萬的紀(jì)錄DiscoverDiscoverStep1:數(shù)據(jù)質(zhì)量探查所有發(fā)現(xiàn)的問題都應(yīng)該向數(shù)據(jù)源系統(tǒng)的責(zé)任人進(jìn)行報告階哥者巋散兌瞧寅屬蕪拍從糖貓氨誣棋興餃夯明謗鈕憤竹詫化樣綿幣肪脹數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)ApplicationsDatabasesFlatfile18Step2:建立數(shù)據(jù)質(zhì)量度量和定義提升目標(biāo)僅僅知道“我的數(shù)據(jù)質(zhì)量有問題”對數(shù)據(jù)質(zhì)量項目來說是不夠的需要了解，那些數(shù)據(jù)有問題？這些問題是如何產(chǎn)生的？定義數(shù)據(jù)質(zhì)量度量度量必須和業(yè)務(wù)目標(biāo)一致（綁定）在沒有綁定之前，不要啟動項目設(shè)定改進(jìn)目標(biāo)Howwillyouknowwhenyouaredone?褂燭喬篩韌汾景綜疙瘡殆餃玉洲挎嘲滓恕晨吃鬼割侄薔嗣悸馮窘贛揍嚨因數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Step2:建立數(shù)據(jù)質(zhì)量度量和定義提升目標(biāo)僅僅知道“我的19Step2:建立數(shù)據(jù)質(zhì)量度量、并定義目標(biāo)一旦完成初步的數(shù)據(jù)質(zhì)量探查，需要馬上設(shè)定改進(jìn)的目標(biāo)針對特定的系統(tǒng)，制定有針對性，“足夠好”的改進(jìn)計劃定義100%滿足，不一定是利用資源的最佳方式荊伸慢啟妥約托螺哼癥伶撞放兄?jǐn)嚧拐亮瓿幮葮s舀氫沉麻嘴淋筆醛服婆數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Step2:建立數(shù)據(jù)質(zhì)量度量、并定義目標(biāo)一旦完成初步的數(shù)20Step3:設(shè)計&建立數(shù)據(jù)質(zhì)量規(guī)則

Standardize,Correct,andEnrich數(shù)據(jù)標(biāo)準(zhǔn)化糾正/補全有問題的數(shù)據(jù)數(shù)據(jù)增強“Onceinthesystem,poordataqualitycancostorganizationsvastsumsinlostrevenues.Defectivedataleadstobreakdownsinthesupplychain,poorbusinessdecisions,andinferiorcustomerrelationshipmanagement.”InformaticaVelocity邏僥殘畢謝浮茨極蝎謬永邯皂園惰攆曳蕩統(tǒng)芍見咒繕霓蔥戶鬧矛欄酶潤濺數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Step3:設(shè)計&建立數(shù)據(jù)質(zhì)量規(guī)則

Standard21Step4:建立數(shù)據(jù)質(zhì)量放火墻

CRMFinanceSupplyChainLegacyExternalSystemsDataQualityFireWall

OperationalDataStoreLoadTransformExtractDataQuality

ETLReconciliationFuzzyMatchingScorecardingCleansingEnrichment

DataWarehouseERPCustomerHubProductHubSupplierHub

SingleViewOfProductSingleViewofCustomerDQReportingDQScorecardingReportingBaselIIIASSOXDataMining紋刁公口閩鎖坑巒桓鞭蒙喚廷形膛稚甚址惠饋掂勤又萬曉致燕搶達(dá)檔剪螢數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Step4:建立數(shù)據(jù)質(zhì)量放火墻 CRMFinanceS22Step4:建立數(shù)據(jù)質(zhì)量放火墻在數(shù)據(jù)錄入時進(jìn)行數(shù)據(jù)質(zhì)量檢測實現(xiàn)實時的數(shù)據(jù)質(zhì)量檢測，例如：在數(shù)據(jù)錄入時進(jìn)行數(shù)據(jù)匹配和清理這個活動可以有效地阻止有問題的數(shù)據(jù)進(jìn)入系統(tǒng)嶄幌塹份肖澎厭辣基雖鄰軀稼鄧某譚舷受桓蛔芯烹店萌歷章釩士示伏蟲帝數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Step4:建立數(shù)據(jù)質(zhì)量放火墻在數(shù)據(jù)錄入時進(jìn)行數(shù)據(jù)質(zhì)量檢23Step5管理過程包含:常規(guī)的基準(zhǔn)設(shè)定監(jiān)控質(zhì)量變化趨勢保持和業(yè)務(wù)發(fā)現(xiàn)一致Step5:監(jiān)控數(shù)據(jù)質(zhì)量Vs.目標(biāo)郊襖半櫻尸垣疇幸淬敝毫臂牙蛀步莽扶埋委儡讒栓赫候棉夷陶峻呵泥續(xù)置數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Step5管理過程包含:Step5:監(jiān)控數(shù)據(jù)質(zhì)量V24CustomerObjectMaterialsObjectVendorObjectAssetObjectStep5:監(jiān)控數(shù)據(jù)質(zhì)量Vs.目標(biāo)紳瞻近嘻黃睦甥凈唱慮蘆杰盤嚷懾鞋摯燎掃乓郁晨保郊倍卿略匝眉審救賈數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)CustomerObjectMaterialsObjec25Step5:監(jiān)控數(shù)據(jù)質(zhì)量Vs.目標(biāo)

ProgressOverTime橋靠您傘蛆耪保茄淳既氮勢礫岳螺短茄娃桑惟秦狄傲猛太違呆廖妄幼本砒數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Step5:監(jiān)控數(shù)據(jù)質(zhì)量Vs.目標(biāo)

Progress26數(shù)據(jù)質(zhì)量管理過程管理

Analyze1.ProfiletheData2.EstablishMetricsandDefineTargets3.Design&BuildQualityRules5.MonitorDataQualityVersusTargetsEnhanceImplementAuditControls4.BuildaDQFirewallTargetApplicationXML,Messaging,

andWebServicesPackagedApplicationsRelationalandFlatFilesMainframe

andMidrangeSources惜紫圾舀哦言脂卡率衫熒踞掣贊黨憊背晰菌烽貫聶攙嫩阮促舜策碳瀝暗樟數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量管理過程管理Analyze1.Profile27如何保證數(shù)據(jù)使用和加工環(huán)節(jié)的數(shù)據(jù)質(zhì)量詳細(xì)的ETL設(shè)計文檔測試：根據(jù)實際情況選擇測試是貫穿整個開發(fā)過程還是在全部開發(fā)工作完成以后進(jìn)行，并確定測試的順序，此任務(wù)需在項目的開始階段就進(jìn)行考慮元數(shù)據(jù)管理：通過InformaticaMetadataManager，用戶可以清晰的了解到數(shù)據(jù)源是什么，中間做了什么轉(zhuǎn)換，即可了解：此數(shù)據(jù)來自何處？此結(jié)果是如何計算的？它的可靠程度如何？如何使用？我們的結(jié)果是否一致并具有合規(guī)性？紛蔫舊絳吼吵忍紗圖苯成祁旦龔沫危童掏捐翰躥金瘩哺識兼份虹搬群奮賺數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)如何保證數(shù)據(jù)使用和加工環(huán)節(jié)的數(shù)據(jù)質(zhì)量詳細(xì)的ETL設(shè)計文檔紛蔫28元數(shù)據(jù)管理SourcesTargetsBusinessIntelligenceMetadataMetadataMetadataCustomMetadataDataModelingMetadataMetadataManagerMetadata廠率偉腰癟誹沖碳褒闌癬要愈邏諜滋鵲挺累夢坷嘆領(lǐng)屎拙旱鎬花嘎祈吮靴數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)元數(shù)據(jù)管理SourcesTargetsBusinessMet29元數(shù)據(jù)管理-血緣分析（Datalineage）--表LaunchdatalineageforaDBtable數(shù)據(jù)模型ODS層ETL過程APP層及多個ETL過程DW層OLAP/報表魚殷宗悠螟酉加掃淮隧烷貨贓靴側(cè)寫棉伶珠煥榴毯鴦梧濤奈茫吉龍摯蓄筋數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)元數(shù)據(jù)管理-血緣分析（Datalineage）--表La30血緣分析–DrilldowntoColumnLaunchdatalineageforaDBtable-column列級血緣分析支持掂總出囪樟掘薄搏影截犢掏祭件喧嫩捧誕歇請盡飄仕采玉凜面薯忠借痊廳數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)血緣分析–DrilldowntoColumnLaunc31元數(shù)據(jù)管理-Where-Used分析LaunchwhereusedforaDBtable焰疆銀檢竊汞巫畜惑代捏店箍坊晤范蛔檻傣汽棲纏難蹦掏緬拌滿欽雜廷辮數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)元數(shù)據(jù)管理-Where-Used分析Launchwh32數(shù)據(jù)質(zhì)量更沮兄域唁墾鎂賠鎬涵腺基餓癥劊藹兇久鍛月翠甫渙贓邪墻有疼是留潤生數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量更沮兄域唁墾鎂賠鎬涵腺基餓癥劊藹兇久鍛月翠甫渙贓邪墻33數(shù)據(jù)質(zhì)量問題的危害PoorDataQualityorinconsistentdatacausesdefectsinthevaluechainandisamomentumkillerforDataAlignment,SynchronisationandCollaborationCustomerServiceLevelOOSFailedATPCosttoServeLogisticsCallCentrePriceNegotiationsInventorieslevelsEmergencyStockReturnsRetiredproducts袒迢直噴絮皚糠暑綴撫尖訃漁隨雹頭徹健傘謄瑞摸密故污涌收盛采倍渺天數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量問題的危害PoorDataQualityor34日程什么是數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量的重要性影響數(shù)據(jù)質(zhì)量問題的因素如何才能獲取高質(zhì)量數(shù)據(jù)Informatica平臺如何解決數(shù)據(jù)質(zhì)量問題蛾賺愚服親撂傅懈母著慈且瓤沾治殿滇雁瑟弄劉通闖橡汝譚薪隋桿耪聽藹數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)日程什么是數(shù)據(jù)質(zhì)量蛾賺愚服親撂傅懈母著慈且瓤沾治殿滇雁瑟弄劉35什么是數(shù)據(jù)質(zhì)量-定義數(shù)據(jù)質(zhì)量是一個涵蓋面很廣的術(shù)語，涉及某條或某組數(shù)據(jù)的準(zhǔn)確性、完備性、一致性、符合性和時效性以及數(shù)據(jù)如何進(jìn)入并在整個企業(yè)內(nèi)流動。不同的企業(yè)對數(shù)據(jù)質(zhì)量有著不同的定義和要求，但是數(shù)據(jù)質(zhì)量最終可歸結(jié)為“符合要求的數(shù)據(jù)”。并且數(shù)據(jù)質(zhì)量是個持續(xù)的過程。淋揭開繞挑椎訟榔農(nóng)淺析邦矮某驅(qū)渴逸晌液卵房砒妓層爆避里接尚墓喬袖數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)什么是數(shù)據(jù)質(zhì)量-定義數(shù)據(jù)質(zhì)量是一個涵蓋面很廣的術(shù)語，涉及某條36什么是數(shù)據(jù)質(zhì)量-符合要求的數(shù)據(jù)完全性—所有必需的數(shù)據(jù)是否都存在嗎？符合性—哪些數(shù)據(jù)是以非標(biāo)準(zhǔn)格式存儲的？一致性—哪些數(shù)據(jù)值提供的信息自相矛盾？準(zhǔn)確性—數(shù)據(jù)準(zhǔn)確表示真實來源還是可驗證的來源？重復(fù)性—哪些數(shù)據(jù)記錄是重復(fù)的記錄？完整性—哪些數(shù)據(jù)失去了重要的關(guān)系聯(lián)系？時效性—數(shù)據(jù)壽命是否滿足用戶要求嗎？域級（字段）域之間業(yè)務(wù)邏輯數(shù)據(jù)傳遞，比如etl過程腦兢淫毆顴吧鯨惱察端晝堡極衣痛澡捻籬儲藥情襖婿對作馮好午木玩潮那數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)什么是數(shù)據(jù)質(zhì)量-符合要求的數(shù)據(jù)完全性—所有必需的數(shù)據(jù)是否37數(shù)據(jù)質(zhì)量的重要性數(shù)據(jù)質(zhì)量問題是IT項目成功的最大障礙76%的數(shù)據(jù)集成項目或完全的失敗，或嚴(yán)重延遲主要的問題是缺乏對數(shù)據(jù)和數(shù)據(jù)質(zhì)量的理解平均來看,需要10個左右的迭代過程來分析數(shù)據(jù)質(zhì)量，并糾正存在的問題低質(zhì)量的數(shù)據(jù)影響決策的制定和執(zhí)行低質(zhì)量的數(shù)據(jù)影響對市場的反應(yīng)效率低質(zhì)量的數(shù)據(jù)導(dǎo)致不恰當(dāng)?shù)臎Q策投資沒價值的產(chǎn)品線關(guān)注無價值的客戶現(xiàn)代企業(yè)管理是數(shù)據(jù)質(zhì)量需求的催化劑知識工作者正在強烈的意識到數(shù)據(jù)是他們工作中最重要的資產(chǎn)全球化的組織和全球化的數(shù)據(jù)分布，使得數(shù)據(jù)集成變得愈發(fā)重要合規(guī)性的要求使得對數(shù)據(jù)管理的粗心不能再被容忍高質(zhì)量數(shù)據(jù)有利于提高客戶滿意度在與客戶交互環(huán)節(jié)的數(shù)據(jù)質(zhì)量問題更應(yīng)該得到充分的關(guān)注正確的拼寫客戶的名字、性別和Title最新的產(chǎn)品信息最新的價格信息CRM，CallCenter系統(tǒng)中精確的客戶數(shù)據(jù)有利于幫助組織提升提供更佳的客戶服務(wù)提升交叉銷售和向上銷售的有效性將更多的機會轉(zhuǎn)化為真正客戶確保法規(guī)遵從高質(zhì)量的數(shù)據(jù)幫助實現(xiàn)Sarbanes-OxleyandBASELII等法規(guī)的控制要求和對業(yè)務(wù)績效的精確報告.在法規(guī)遵從方面都要求數(shù)據(jù)是可信賴的，并且是可審計的低質(zhì)量的數(shù)據(jù)造成資源、成本的耗費TDWI估算由于客戶數(shù)據(jù)質(zhì)量問題，造成全美國$6111億美元的人力資源，打印，郵寄等成本的浪費蹈哉淑樓乍冶豌蠱戰(zhàn)鵑礙漠編弘猾叭嘿氛字癰寞馴呢辦忱詳墟竣烷獰眠物數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量的重要性數(shù)據(jù)質(zhì)量問題是IT項目成功的最大障礙低質(zhì)量38影響數(shù)據(jù)質(zhì)量問題的因素菜原倪纜垃厚煥傷侍鐵級妊副寫櫥務(wù)俊處鼠蝗帳踞糜頹鄲跡豬硼亞粵殉晃數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)影響數(shù)據(jù)質(zhì)量問題的因素菜原倪纜垃厚煥傷侍鐵級妊副寫櫥務(wù)俊處鼠39數(shù)據(jù)質(zhì)量問題歸類業(yè)務(wù)系統(tǒng)源數(shù)據(jù)的質(zhì)量問題源數(shù)據(jù)信息不正確源數(shù)據(jù)信息不完整源數(shù)據(jù)信息不一致標(biāo)準(zhǔn)代碼問題缺乏一致、完整的標(biāo)準(zhǔn)代碼，如產(chǎn)品代碼沒有可執(zhí)行的規(guī)范，或者有書面規(guī)范但執(zhí)行不力等代碼直接寫在程序中，沒有代碼表維護(hù)ETL產(chǎn)生的質(zhì)量問題技術(shù)性問題非技術(shù)性問題（如業(yè)務(wù)規(guī)則理解錯誤）廄祿肛祥芳膀養(yǎng)邊燎嘗清又煤腹著棋遏姬菜吩涸疫羞昨竟允垂虞孽銷居蟹數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量問題歸類業(yè)務(wù)系統(tǒng)源數(shù)據(jù)的質(zhì)量問題廄祿肛祥芳膀養(yǎng)邊燎嘗40數(shù)據(jù)質(zhì)量問題產(chǎn)生的環(huán)節(jié)數(shù)據(jù)生產(chǎn)環(huán)節(jié)數(shù)據(jù)和業(yè)務(wù)規(guī)則不符數(shù)據(jù)產(chǎn)生不嚴(yán)謹(jǐn)手工錄入不規(guī)范新舊系統(tǒng)的切換數(shù)據(jù)的孤立修改造成系統(tǒng)之間數(shù)據(jù)不一致數(shù)據(jù)使用和加工環(huán)節(jié)數(shù)據(jù)抽取錯誤或遺漏數(shù)據(jù)的時間段錯誤數(shù)據(jù)的重復(fù)抽取數(shù)據(jù)生成的時間點錯誤數(shù)據(jù)加載轉(zhuǎn)換規(guī)則錯誤袒他塞三贛挺葉霧航逾礙撒班瓢矢舵挖盅證計束棺念位諜失澀缸孰著郎見數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量問題產(chǎn)生的環(huán)節(jié)數(shù)據(jù)生產(chǎn)環(huán)節(jié)數(shù)據(jù)使用和加工環(huán)節(jié)袒他塞三41如何才能獲取高質(zhì)量數(shù)據(jù)訪問和評估數(shù)據(jù)數(shù)據(jù)質(zhì)量規(guī)劃和目標(biāo)數(shù)據(jù)質(zhì)量策略選擇和實施上游策略下游策略盡焦桓曳滋暴嬰勘院編篇遲棵冶襯狀群稈男棒瞪帛抄塑籬礙壘抗鑿姻淚鈍數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)如何才能獲取高質(zhì)量數(shù)據(jù)訪問和評估數(shù)據(jù)盡焦桓曳滋暴嬰勘院編篇遲42如何才能獲取高質(zhì)量數(shù)據(jù)-訪問和評估數(shù)據(jù)訪問數(shù)據(jù)質(zhì)量的當(dāng)前狀態(tài)，以了解隱藏的數(shù)據(jù)質(zhì)量問題完全性—所有必需的數(shù)據(jù)是否都存在嗎？符合性—哪些數(shù)據(jù)是以非標(biāo)準(zhǔn)格式存儲的？一致性—哪些數(shù)據(jù)值提供的信息自相矛盾？準(zhǔn)確性—數(shù)據(jù)準(zhǔn)確表示真實來源還是可驗證的來源？重復(fù)性—哪些數(shù)據(jù)記錄是重復(fù)的記錄？完整性—哪些數(shù)據(jù)失去了重要的關(guān)系聯(lián)系？時效性—數(shù)據(jù)壽命是否滿足用戶要求嗎？妙密序飼寒女冰毆說謂掘宣愈汝瑟檬皇矢師幸躥夜掣果汾貢責(zé)很把萬乎偽數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)如何才能獲取高質(zhì)量數(shù)據(jù)-訪問和評估數(shù)據(jù)訪問數(shù)據(jù)質(zhì)量的當(dāng)前狀態(tài)43如何才能獲取高質(zhì)量數(shù)據(jù)-數(shù)據(jù)質(zhì)量規(guī)劃和目標(biāo)對數(shù)據(jù)的內(nèi)容和質(zhì)量有了一個清晰的了解之后，下一步是進(jìn)行規(guī)劃和項目計劃，以糾正當(dāng)前錯誤和防止將來出現(xiàn)錯誤。有效的計劃可以解決企業(yè)現(xiàn)有應(yīng)用程序庫中的數(shù)據(jù)質(zhì)量問題，并且能夠確保新的應(yīng)用程序從開始就融入數(shù)據(jù)質(zhì)量原則。詩易換溶婪告籽臆剔牽醫(yī)派罰鞏賤撼厭叁哭述百梧梢商色第肩渙僑籃碧繼數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)如何才能獲取高質(zhì)量數(shù)據(jù)-數(shù)據(jù)質(zhì)量規(guī)劃和目標(biāo)對數(shù)據(jù)的內(nèi)容和質(zhì)量44如何才能獲取高質(zhì)量數(shù)據(jù)-數(shù)據(jù)質(zhì)量策略選擇和實施采用企業(yè)范圍內(nèi)的、反復(fù)的持續(xù)性方法解決數(shù)據(jù)質(zhì)量問題。與此同時，無法一次性解決所有數(shù)據(jù)質(zhì)量問題。要確保為企業(yè)提供準(zhǔn)確、一致和及時的數(shù)據(jù)，唯一途徑是通過可最終涵蓋所有公司數(shù)據(jù)的階段性數(shù)據(jù)質(zhì)量管理程序?qū)崿F(xiàn)。選擇用于解決長期數(shù)據(jù)質(zhì)量問題的策略要求根據(jù)每個數(shù)據(jù)質(zhì)量方案產(chǎn)生的影響平衡方案的成本。常用的策略類型有兩種：在企業(yè)中的輸入點解決數(shù)據(jù)質(zhì)量問題的方法稱為“上游策略”，而在消耗來自操作系統(tǒng)（如數(shù)據(jù)倉庫）的數(shù)據(jù)的應(yīng)用程序中實施則稱為“下游策略”。幀泳陣恭總昂硼陷塊貿(mào)修營抗利蠱以瘓謄煽砰咬奢停繡設(shè)雍汁示措臟潞沿數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)如何才能獲取高質(zhì)量數(shù)據(jù)-數(shù)據(jù)質(zhì)量策略選擇和實施采用企業(yè)范圍內(nèi)45上游策略上游策略將檢驗現(xiàn)有應(yīng)用程序的邏輯、數(shù)據(jù)和流程，以便獲得通過探查來處理未覆蓋的異常情況的機會。這可能包括更改應(yīng)用程序邏輯、增添更好的表單驗證、改進(jìn)與數(shù)據(jù)輸入相關(guān)的流程，而且會要求對準(zhǔn)備好的數(shù)據(jù)進(jìn)行清洗。它還可能強迫在應(yīng)用程序自身融入數(shù)據(jù)質(zhì)量功能，例如，在數(shù)據(jù)進(jìn)入企業(yè)時根據(jù)已知示例對數(shù)據(jù)進(jìn)行驗證。由于此方法可以在源頭上解決數(shù)據(jù)質(zhì)量問題，因此它對每個從該來源提取數(shù)據(jù)的應(yīng)用程序和每個將來會從該來源提取數(shù)據(jù)的應(yīng)用程序大有裨益。但是，上游策略耗費高。它們可能要求對應(yīng)用程序、其邏輯和數(shù)據(jù)進(jìn)行更改。企業(yè)在更改現(xiàn)有解決方案時可能會遇到阻礙。要成功實施上游策略，項目需要明確的所有權(quán)、共識和來自其它團隊的員工的支持。刑椎彈唉瑰兼?zhèn)渚昧噢I餒錢勢娘鯉毀工押必峭皖胺緒或獵閨樟渤玉奇殺勢數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)上游策略上游策略將檢驗現(xiàn)有應(yīng)用程序的邏輯、數(shù)據(jù)和流程，以便獲46下游策略下游策略在目標(biāo)應(yīng)用程序或數(shù)據(jù)倉庫中解決數(shù)據(jù)質(zhì)量問題，而不是在數(shù)據(jù)源。由于可以迅速修改數(shù)據(jù)，因此策略可以在流程中得到改進(jìn)，這通常是通過數(shù)據(jù)轉(zhuǎn)換、清洗和查找驗證來實現(xiàn)的。下游策略只對正在使用目標(biāo)應(yīng)用程序或數(shù)據(jù)倉庫的使用者有益，但是相比上游策略，下游策略實施起來要容易得多并且耗費更低。齡謬?yán)癯蛲鈸尳宕薅Y刃術(shù)周勘榜閻鈍些良驢改抬饒日娘叁塢削操伴貪訊數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)下游策略下游策略在目標(biāo)應(yīng)用程序或數(shù)據(jù)倉庫中解決數(shù)據(jù)質(zhì)量問題，47Informatica平臺如何解決數(shù)據(jù)質(zhì)量問題-

數(shù)據(jù)質(zhì)量管理流程探查和分析

多個來源數(shù)據(jù)集成將來源映射至目標(biāo)結(jié)構(gòu)業(yè)務(wù)數(shù)據(jù)構(gòu)建企業(yè)數(shù)據(jù)

質(zhì)量規(guī)則部署規(guī)則交互/

批量/實時報告數(shù)據(jù)

質(zhì)量指標(biāo)結(jié)構(gòu)分析和映射對數(shù)據(jù)質(zhì)量進(jìn)行持續(xù)清洗和監(jiān)控維持監(jiān)控實施（一次性）維持（持續(xù)不斷）清洗分析提取將問題報告

發(fā)送回來源維持（持續(xù)不斷）來源DQ

報告和管理來源DQ

報告和管理源數(shù)據(jù)檢查員企業(yè)數(shù)據(jù)檢查員數(shù)據(jù)檢查員糾正的數(shù)據(jù)和

改進(jìn)的數(shù)據(jù)質(zhì)量123345卑披母堿琺啥縣回邦時癸忻陽幫橫去盼彼疫焙烹相噸低既熙倪撞蔣弟竿菩數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Informatica平臺如何解決數(shù)據(jù)質(zhì)量問題-

數(shù)據(jù)質(zhì)量管48Step1:數(shù)據(jù)質(zhì)量探查數(shù)據(jù)質(zhì)量探查是一種描述數(shù)據(jù)的內(nèi)容、一致性和數(shù)據(jù)結(jié)構(gòu)的有效途徑來自PhilipRussom’sTDWI報告…所有的數(shù)據(jù)質(zhì)量項目都必須從數(shù)據(jù)質(zhì)量探查起步基于工具的數(shù)據(jù)探查比手工的方法具有更高的生產(chǎn)力數(shù)據(jù)質(zhì)量探查不是一次性的工作數(shù)據(jù)探查,數(shù)據(jù)集成,數(shù)據(jù)質(zhì)量是數(shù)據(jù)管理最佳實踐的三個親密兄弟

Source:TakingDataQualitytotheEnterprisethroughDataGovernance–TDWIReport,March2006byPhilipRussom覓司祁吐夏傷杯負(fù)握釀這朋妙粹牌撥辜氛禹韻似喘庇兜鎮(zhèn)疫帚頃察墟胎雅數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Step1:數(shù)據(jù)質(zhì)量探查數(shù)據(jù)質(zhì)量探查是一種描述數(shù)據(jù)的內(nèi)容49ApplicationsDatabasesFlatfilesMainframe

問題分類完整性Conformity一致性準(zhǔn)確性重復(fù)的數(shù)據(jù)數(shù)據(jù)相關(guān)性數(shù)據(jù)清理規(guī)格說明書數(shù)據(jù)轉(zhuǎn)換規(guī)格說明書數(shù)以千計的數(shù)據(jù)屬性數(shù)以百萬的紀(jì)錄DiscoverDiscoverStep1:數(shù)據(jù)質(zhì)量探查所有發(fā)現(xiàn)的問題都應(yīng)該向數(shù)據(jù)源系統(tǒng)的責(zé)任人進(jìn)行報告階哥者巋散兌瞧寅屬蕪拍從糖貓氨誣棋興餃夯明謗鈕憤竹詫化樣綿幣肪脹數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)ApplicationsDatabasesFlatfile50Step2:建立數(shù)據(jù)質(zhì)量度量和定義提升目標(biāo)僅僅知道“我的數(shù)據(jù)質(zhì)量有問題”對數(shù)據(jù)質(zhì)量項目來說是不夠的需要了解，那些數(shù)據(jù)有問題？這些問題是如何產(chǎn)生的？定義數(shù)據(jù)質(zhì)量度量度量必須和業(yè)務(wù)目標(biāo)一致（綁定）在沒有綁定之前，不要啟動項目設(shè)定改進(jìn)目標(biāo)Howwillyouknowwhenyouaredone?褂燭喬篩韌汾景綜疙瘡殆餃玉洲挎嘲滓恕晨吃鬼割侄薔嗣悸馮窘贛揍嚨因數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Step2:建立數(shù)據(jù)質(zhì)量度量和定義提升目標(biāo)僅僅知道“我的51Step2:建立數(shù)據(jù)質(zhì)量度量、并定義目標(biāo)一旦完成初步的數(shù)據(jù)質(zhì)量探查，需要馬上設(shè)定改進(jìn)的目標(biāo)針對特定的系統(tǒng)，制定有針對性，“足夠好”的改進(jìn)計劃定義100%滿足，不一定是利用資源的最佳方式荊伸慢啟妥約托螺哼癥伶撞放兄?jǐn)嚧拐亮瓿幮葮s舀氫沉麻嘴淋筆醛服婆數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Step2:建立數(shù)據(jù)質(zhì)量度量、并定義目標(biāo)一旦完成初步的數(shù)52Step3:設(shè)計&建立數(shù)據(jù)質(zhì)量規(guī)則

Standardize,Correct,andEnrich數(shù)據(jù)標(biāo)準(zhǔn)化糾正/補全有問題的數(shù)據(jù)數(shù)據(jù)增強“Onceinthesystem,poordataqualitycancostorganizationsvastsumsinlostrevenues.Defectivedataleadstobreakdownsinthesupplychain,poorbusinessdecisions,andinferiorcustomerrelationshipmanagement.”InformaticaVelocity邏僥殘畢謝浮茨極蝎謬永邯皂園惰攆曳蕩統(tǒng)芍見咒繕霓蔥戶鬧矛欄酶潤濺數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Step3:設(shè)計&建立數(shù)據(jù)質(zhì)量規(guī)則

Standard53Step4:建立數(shù)據(jù)質(zhì)量放火墻

CRMFinanceSupplyChainLegacyExternalSystemsDataQualityFireWall

OperationalDataStoreLoadTransformExtractDataQuality

ETLReconciliationFuzzyMatchingScorecardingCleansingEnrichment

DataWarehouseERPCustomerHubProductHubSupplierHub

SingleViewOfProductSingleViewofCustomerDQReportingDQScorecardingReportingBaselIIIASSOXDataMining紋刁公口閩鎖坑巒桓鞭蒙喚廷形膛稚甚址惠饋掂勤又萬曉致燕搶達(dá)檔剪螢數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Step4:建立數(shù)據(jù)質(zhì)量放火墻 CRMFinanceS54Step4:建立數(shù)據(jù)質(zhì)量放火墻在數(shù)據(jù)錄入時進(jìn)行數(shù)據(jù)質(zhì)量檢測實現(xiàn)實時的數(shù)據(jù)質(zhì)量檢測，例如：在數(shù)據(jù)錄入時進(jìn)行數(shù)據(jù)匹配和清理這個活動可以有效地阻止有問題的數(shù)據(jù)進(jìn)入系統(tǒng)嶄幌塹份肖澎厭辣基雖鄰軀稼鄧某譚舷受桓蛔芯烹店萌歷章釩士示伏蟲帝數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Step4:建立數(shù)據(jù)質(zhì)量放火墻在數(shù)據(jù)錄入時進(jìn)行數(shù)據(jù)質(zhì)量檢55Step5管理過程包含:常規(guī)的基準(zhǔn)設(shè)定監(jiān)控質(zhì)量變化趨勢保持和業(yè)務(wù)發(fā)現(xiàn)一致Step5:監(jiān)控數(shù)據(jù)質(zhì)量Vs.目標(biāo)郊襖半櫻尸垣疇幸淬敝毫臂牙蛀步莽扶埋委儡讒栓赫候棉夷陶峻呵泥續(xù)置數(shù)據(jù)質(zhì)量-培訓(xùn)數(shù)據(jù)質(zhì)量-培訓(xùn)Step5管理過程包含:Step5:監(jiān)控數(shù)據(jù)質(zhì)量V56CustomerObjectMaterialsObjectVendorObjectAssetObjectStep5:監(jiān)