數(shù)據(jù)質(zhì)量培訓

數(shù)據(jù)質(zhì)量-培訓2024/3/28數(shù)據(jù)質(zhì)量培訓數(shù)據(jù)質(zhì)量問題的危害PoorDataQualityorinconsistentdatacausesdefectsinthevaluechainandisamomentumkillerforDataAlignment,SynchronisationandCollaborationCustomerServiceLevelOOSFailedATPCosttoServeLogisticsCallCentrePriceNegotiationsInventorieslevelsEmergencyStockReturnsRetiredproducts數(shù)據(jù)質(zhì)量培訓日程什么是數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量的重要性影響數(shù)據(jù)質(zhì)量問題的因素如何才能獲取高質(zhì)量數(shù)據(jù)Informatica平臺如何解決數(shù)據(jù)質(zhì)量問題數(shù)據(jù)質(zhì)量培訓什么是數(shù)據(jù)質(zhì)量-定義數(shù)據(jù)質(zhì)量是一個涵蓋面很廣的術語，涉及某條或某組數(shù)據(jù)的準確性、完備性、一致性、符合性和時效性以及數(shù)據(jù)如何進入并在整個企業(yè)內(nèi)流動。不同的企業(yè)對數(shù)據(jù)質(zhì)量有著不同的定義和要求，但是數(shù)據(jù)質(zhì)量最終可歸結為“符合要求的數(shù)據(jù)”。并且數(shù)據(jù)質(zhì)量是個持續(xù)的過程。數(shù)據(jù)質(zhì)量培訓什么是數(shù)據(jù)質(zhì)量-符合要求的數(shù)據(jù)完全性—所有必需的數(shù)據(jù)是否都存在嗎？符合性—哪些數(shù)據(jù)是以非標準格式存儲的？一致性—哪些數(shù)據(jù)值提供的信息自相矛盾？準確性—數(shù)據(jù)準確表示真實來源還是可驗證的來源？重復性—哪些數(shù)據(jù)記錄是重復的記錄？完整性—哪些數(shù)據(jù)失去了重要的關系聯(lián)系？時效性—數(shù)據(jù)壽命是否滿足用戶要求嗎？域級（字段）域之間業(yè)務邏輯數(shù)據(jù)傳遞，比如etl過程數(shù)據(jù)質(zhì)量培訓數(shù)據(jù)質(zhì)量的重要性數(shù)據(jù)質(zhì)量問題是IT項目成功的最大障礙76%的數(shù)據(jù)集成項目或完全的失敗，或嚴重延遲主要的問題是缺乏對數(shù)據(jù)和數(shù)據(jù)質(zhì)量的理解平均來看,需要10個左右的迭代過程來分析數(shù)據(jù)質(zhì)量，并糾正存在的問題低質(zhì)量的數(shù)據(jù)影響決策的制定和執(zhí)行低質(zhì)量的數(shù)據(jù)影響對市場的反應效率低質(zhì)量的數(shù)據(jù)導致不恰當?shù)臎Q策投資沒價值的產(chǎn)品線關注無價值的客戶現(xiàn)代企業(yè)管理是數(shù)據(jù)質(zhì)量需求的催化劑知識工作者正在強烈的意識到數(shù)據(jù)是他們工作中最重要的資產(chǎn)全球化的組織和全球化的數(shù)據(jù)分布，使得數(shù)據(jù)集成變得愈發(fā)重要合規(guī)性的要求使得對數(shù)據(jù)管理的粗心不能再被容忍高質(zhì)量數(shù)據(jù)有利于提高客戶滿意度在與客戶交互環(huán)節(jié)的數(shù)據(jù)質(zhì)量問題更應該得到充分的關注正確的拼寫客戶的名字、性別和Title最新的產(chǎn)品信息最新的價格信息CRM，CallCenter系統(tǒng)中精確的客戶數(shù)據(jù)有利于幫助組織提升提供更佳的客戶服務提升交叉銷售和向上銷售的有效性將更多的機會轉化為真正客戶確保法規(guī)遵從高質(zhì)量的數(shù)據(jù)幫助實現(xiàn)Sarbanes-OxleyandBASELII等法規(guī)的控制要求和對業(yè)務績效的精確報告.在法規(guī)遵從方面都要求數(shù)據(jù)是可信賴的，并且是可審計的低質(zhì)量的數(shù)據(jù)造成資源、成本的耗費TDWI估算由于客戶數(shù)據(jù)質(zhì)量問題，造成全美國$6111億美元的人力資源，打印，郵寄等成本的浪費數(shù)據(jù)質(zhì)量培訓影響數(shù)據(jù)質(zhì)量問題的因素數(shù)據(jù)質(zhì)量培訓數(shù)據(jù)質(zhì)量問題歸類業(yè)務系統(tǒng)源數(shù)據(jù)的質(zhì)量問題源數(shù)據(jù)信息不正確源數(shù)據(jù)信息不完整源數(shù)據(jù)信息不一致標準代碼問題缺乏一致、完整的標準代碼，如產(chǎn)品代碼沒有可執(zhí)行的規(guī)范，或者有書面規(guī)范但執(zhí)行不力等代碼直接寫在程序中，沒有代碼表維護ETL產(chǎn)生的質(zhì)量問題技術性問題非技術性問題（如業(yè)務規(guī)則理解錯誤）數(shù)據(jù)質(zhì)量培訓數(shù)據(jù)質(zhì)量問題產(chǎn)生的環(huán)節(jié)數(shù)據(jù)生產(chǎn)環(huán)節(jié)數(shù)據(jù)和業(yè)務規(guī)則不符數(shù)據(jù)產(chǎn)生不嚴謹手工錄入不規(guī)范新舊系統(tǒng)的切換數(shù)據(jù)的孤立修改造成系統(tǒng)之間數(shù)據(jù)不一致數(shù)據(jù)使用和加工環(huán)節(jié)數(shù)據(jù)抽取錯誤或遺漏數(shù)據(jù)的時間段錯誤數(shù)據(jù)的重復抽取數(shù)據(jù)生成的時間點錯誤數(shù)據(jù)加載轉換規(guī)則錯誤數(shù)據(jù)質(zhì)量培訓如何才能獲取高質(zhì)量數(shù)據(jù)訪問和評估數(shù)據(jù)數(shù)據(jù)質(zhì)量規(guī)劃和目標數(shù)據(jù)質(zhì)量策略選擇和實施上游策略下游策略數(shù)據(jù)質(zhì)量培訓如何才能獲取高質(zhì)量數(shù)據(jù)-訪問和評估數(shù)據(jù)訪問數(shù)據(jù)質(zhì)量的當前狀態(tài)，以了解隱藏的數(shù)據(jù)質(zhì)量問題完全性—所有必需的數(shù)據(jù)是否都存在嗎？符合性—哪些數(shù)據(jù)是以非標準格式存儲的？一致性—哪些數(shù)據(jù)值提供的信息自相矛盾？準確性—數(shù)據(jù)準確表示真實來源還是可驗證的來源？重復性—哪些數(shù)據(jù)記錄是重復的記錄？完整性—哪些數(shù)據(jù)失去了重要的關系聯(lián)系？時效性—數(shù)據(jù)壽命是否滿足用戶要求嗎？數(shù)據(jù)質(zhì)量培訓如何才能獲取高質(zhì)量數(shù)據(jù)-數(shù)據(jù)質(zhì)量規(guī)劃和目標對數(shù)據(jù)的內(nèi)容和質(zhì)量有了一個清晰的了解之后，下一步是進行規(guī)劃和項目計劃，以糾正當前錯誤和防止將來出現(xiàn)錯誤。有效的計劃可以解決企業(yè)現(xiàn)有應用程序庫中的數(shù)據(jù)質(zhì)量問題，并且能夠確保新的應用程序從開始就融入數(shù)據(jù)質(zhì)量原則。數(shù)據(jù)質(zhì)量培訓如何才能獲取高質(zhì)量數(shù)據(jù)-數(shù)據(jù)質(zhì)量策略選擇和實施采用企業(yè)范圍內(nèi)的、反復的持續(xù)性方法解決數(shù)據(jù)質(zhì)量問題。與此同時，無法一次性解決所有數(shù)據(jù)質(zhì)量問題。要確保為企業(yè)提供準確、一致和及時的數(shù)據(jù)，唯一途徑是通過可最終涵蓋所有公司數(shù)據(jù)的階段性數(shù)據(jù)質(zhì)量管理程序?qū)崿F(xiàn)。選擇用于解決長期數(shù)據(jù)質(zhì)量問題的策略要求根據(jù)每個數(shù)據(jù)質(zhì)量方案產(chǎn)生的影響平衡方案的成本。常用的策略類型有兩種：在企業(yè)中的輸入點解決數(shù)據(jù)質(zhì)量問題的方法稱為“上游策略”，而在消耗來自操作系統(tǒng)（如數(shù)據(jù)倉庫）的數(shù)據(jù)的應用程序中實施則稱為“下游策略”。數(shù)據(jù)質(zhì)量培訓上游策略上游策略將檢驗現(xiàn)有應用程序的邏輯、數(shù)據(jù)和流程，以便獲得通過探查來處理未覆蓋的異常情況的機會。這可能包括更改應用程序邏輯、增添更好的表單驗證、改進與數(shù)據(jù)輸入相關的流程，而且會要求對準備好的數(shù)據(jù)進行清洗。它還可能強迫在應用程序自身融入數(shù)據(jù)質(zhì)量功能，例如，在數(shù)據(jù)進入企業(yè)時根據(jù)已知示例對數(shù)據(jù)進行驗證。由于此方法可以在源頭上解決數(shù)據(jù)質(zhì)量問題，因此它對每個從該來源提取數(shù)據(jù)的應用程序和每個將來會從該來源提取數(shù)據(jù)的應用程序大有裨益。但是，上游策略耗費高。它們可能要求對應用程序、其邏輯和數(shù)據(jù)進行更改。企業(yè)在更改現(xiàn)有解決方案時可能會遇到阻礙。要成功實施上游策略，項目需要明確的所有權、共識和來自其它團隊的員工的支持。數(shù)據(jù)質(zhì)量培訓下游策略下游策略在目標應用程序或數(shù)據(jù)倉庫中解決數(shù)據(jù)質(zhì)量問題，而不是在數(shù)據(jù)源。由于可以迅速修改數(shù)據(jù)，因此策略可以在流程中得到改進，這通常是通過數(shù)據(jù)轉換、清洗和查找驗證來實現(xiàn)的。下游策略只對正在使用目標應用程序或數(shù)據(jù)倉庫的使用者有益，但是相比上游策略，下游策略實施起來要容易得多并且耗費更低。數(shù)據(jù)質(zhì)量培訓Informatica平臺如何解決數(shù)據(jù)質(zhì)量問題-

數(shù)據(jù)質(zhì)量管理流程探查和分析

多個來源數(shù)據(jù)集成將來源映射至目標結構業(yè)務數(shù)據(jù)構建企業(yè)數(shù)據(jù)

質(zhì)量規(guī)則部署規(guī)則交互/

批量/實時報告數(shù)據(jù)

質(zhì)量指標結構分析和映射對數(shù)據(jù)質(zhì)量進行持續(xù)清洗和監(jiān)控維持監(jiān)控實施（一次性）維持（持續(xù)不斷）清洗分析提取將問題報告

發(fā)送回來源維持（持續(xù)不斷）來源DQ

報告和管理來源DQ

報告和管理源數(shù)據(jù)檢查員企業(yè)數(shù)據(jù)檢查員數(shù)據(jù)檢查員糾正的數(shù)據(jù)和

改進的數(shù)據(jù)質(zhì)量123345數(shù)據(jù)質(zhì)量培訓Step1:數(shù)據(jù)質(zhì)量探查數(shù)據(jù)質(zhì)量探查是一種描述數(shù)據(jù)的內(nèi)容、一致性和數(shù)據(jù)結構的有效途徑來自PhilipRussom’sTDWI報告…所有的數(shù)據(jù)質(zhì)量項目都必須從數(shù)據(jù)質(zhì)量探查起步基于工具的數(shù)據(jù)探查比手工的方法具有更高的生產(chǎn)力數(shù)據(jù)質(zhì)量探查不是一次性的工作數(shù)據(jù)探查,數(shù)據(jù)集成,數(shù)據(jù)質(zhì)量是數(shù)據(jù)管理最佳實踐的三個親密兄弟

Source:TakingDataQualitytotheEnterprisethroughDataGovernance–TDWIReport,March2006byPhilipRussom數(shù)據(jù)質(zhì)量培訓ApplicationsDatabasesFlatfilesMainframe

問題分類完整性Conformity一致性準確性重復的數(shù)據(jù)數(shù)據(jù)相關性數(shù)據(jù)清理規(guī)格說明書數(shù)據(jù)轉換規(guī)格說明書數(shù)以千計的數(shù)據(jù)屬性數(shù)以百萬的紀錄DiscoverDiscoverStep1:數(shù)據(jù)質(zhì)量探查所有發(fā)現(xiàn)的問題都應該向數(shù)據(jù)源系統(tǒng)的責任人進行報告數(shù)據(jù)質(zhì)量培訓Step2:建立數(shù)據(jù)質(zhì)量度量和定義提升目標僅僅知道“我的數(shù)據(jù)質(zhì)量有問題”對數(shù)據(jù)質(zhì)量項目來說是不夠的需要了解，那些數(shù)據(jù)有問題？這些問題是如何產(chǎn)生的？定義數(shù)據(jù)質(zhì)量度量度量必須和業(yè)務目標一致（綁定）在沒有綁定之前，不要啟動項目設定改進目標Howwillyouknowwhenyouaredone?數(shù)據(jù)質(zhì)量培訓Step2:建立數(shù)據(jù)質(zhì)量度量、并定義目標一旦完成初步的數(shù)據(jù)質(zhì)量探查，需要馬上設定改進的目標針對特定的系統(tǒng)，制定有針對性，“足夠好”的改進計劃定義100%滿足，不一定是利用資源的最佳方式數(shù)據(jù)質(zhì)量培訓Step3:設計&建立數(shù)據(jù)質(zhì)量規(guī)則

Standardize,Correct,andEnrich數(shù)據(jù)標準化糾正/補全有問題的數(shù)據(jù)數(shù)據(jù)增強“Onceinthesystem,poordataqualitycancostorganizationsvastsumsinlostrevenues.Defectivedataleadstobreakdownsinthesupplychain,poorbusinessdecisions,andinferiorcustomerrelationshipmanagement.”InformaticaVelocity數(shù)據(jù)質(zhì)量培訓Step4:建立數(shù)據(jù)質(zhì)量放火墻

CRMFinanceSupplyChainLegacyExternalSystemsDataQualityFireWall

OperationalDataStoreLoadTransformExtractDataQuality

ETLReconciliationFuzzyMatchingScorecardingCleansingEnrichment

DataWarehouseERPCustomerHubProductHubSupplierHub

SingleViewOfProductSingleViewofCustomerDQReportingDQScorecardingReportingBaselIIIASSOXDataMining數(shù)據(jù)質(zhì)量培訓Step4:建立數(shù)據(jù)質(zhì)量放火墻在數(shù)據(jù)錄入時進行數(shù)據(jù)質(zhì)量檢測實現(xiàn)實時的數(shù)據(jù)質(zhì)量檢測，例如：在數(shù)據(jù)錄入時進行數(shù)據(jù)匹配和清理這個活動可以有效地阻止有問題的數(shù)據(jù)進入系統(tǒng)數(shù)據(jù)質(zhì)量培訓Step5管理過程包含:常規(guī)的基準設定監(jiān)控質(zhì)量變化趨勢保持和業(yè)務發(fā)現(xiàn)一致Step5:監(jiān)控數(shù)據(jù)質(zhì)量Vs.目標數(shù)據(jù)質(zhì)量培訓CustomerObjectMaterialsObjectVendorObjectAssetObjectStep5:監(jiān)控數(shù)據(jù)質(zhì)量Vs.目標數(shù)據(jù)質(zhì)量培訓Step5:監(jiān)控數(shù)據(jù)質(zhì)量Vs.目標

ProgressOverTime數(shù)據(jù)質(zhì)量培訓數(shù)據(jù)質(zhì)量管理過程管理

Analyze1.ProfiletheData2.EstablishMetricsandDefineTargets3.Design&BuildQualityRules5.MonitorDataQualityVersusTargetsEnhanceImplementAuditControls4.BuildaDQFirewallTargetApplicationXML,Messaging,

andWebServicesPackagedApplicationsRelationalandFlatFilesMainframe

andMidrangeSources數(shù)據(jù)質(zhì)量培訓如何保證數(shù)據(jù)使用和加工環(huán)節(jié)的數(shù)據(jù)質(zhì)量詳細的ETL設計文檔測試：根據(jù)實際情況選擇測試是貫穿整個開發(fā)過程還是在全部開發(fā)工作完成以后進行，并確定測試的順序，此任務需在項目的開始階段就進行考慮元數(shù)據(jù)管理：通過InformaticaMetadataManager，用戶可以清晰的了解到數(shù)據(jù)源是什么，中間做了什么轉換，即可了解：此數(shù)據(jù)來自何處？此結果是如何計算的？它的可靠程度如何？如何使用？我們的結果是否一致并具有合規(guī)性？數(shù)據(jù)質(zhì)量培訓元數(shù)據(jù)管理SourcesTargetsBusinessIntelligenceMetadataMetadataMetadataCustomMetadataDataModel