2023學(xué)年完整公開課版數(shù)據(jù)的轉(zhuǎn)換

數(shù)據(jù)的轉(zhuǎn)換學(xué)習(xí)目標(biāo)2知識目標(biāo)●ODS介紹●DW介紹●數(shù)據(jù)的轉(zhuǎn)換能力目標(biāo)●了解OS●了解DW●掌握數(shù)據(jù)的轉(zhuǎn)換學(xué)習(xí)任務(wù)3初步探索ODS初步探索DW掌握數(shù)據(jù)的轉(zhuǎn)換了解如何實施轉(zhuǎn)換ODS介紹數(shù)據(jù)的轉(zhuǎn)換DW介紹4目錄ODS介紹5操作數(shù)據(jù)存儲ODS（OperationalDataStore）是數(shù)據(jù)倉庫體系結(jié)構(gòu)中的一個可選部分，ODS具備數(shù)據(jù)倉庫的部分特征和OLTP系統(tǒng)的部分特征，它是“面向主題的、集成的、當(dāng)前的、不斷變化的”數(shù)據(jù)。6DW介紹數(shù)據(jù)倉庫是一個面向主題的、集成的、隨時間變化的、但信息本身相對穩(wěn)定的數(shù)據(jù)集合，用于對管理決策過程的支持。就是整合多個數(shù)據(jù)源的歷史數(shù)據(jù)進(jìn)行粒度的、多維分析，幫助高層管理者或者業(yè)務(wù)分析人員作出商業(yè)戰(zhàn)略決策或商業(yè)報表。DW的四個特點：（1）面向主題：數(shù)據(jù)倉庫都是基于某個明確主題，僅需要與該主題相關(guān)的數(shù)據(jù)，其他的無關(guān)細(xì)節(jié)數(shù)據(jù)將被排除掉。（2）集成的：從不同的數(shù)據(jù)源采集數(shù)據(jù)到同一個數(shù)據(jù)源，此過程會有一些ETL操作。（3）隨時間變化：關(guān)鍵數(shù)據(jù)隱式或顯式的基于時間變化。（4）信息本身相對穩(wěn)定：數(shù)據(jù)裝入以后一般只進(jìn)行查詢操作，沒有傳統(tǒng)數(shù)據(jù)庫的增刪改操作。數(shù)據(jù)的轉(zhuǎn)換7一般情況下數(shù)據(jù)倉庫分為ODS、DW兩部分，通常的做法是從業(yè)務(wù)系統(tǒng)到ODS做清洗，將臟數(shù)據(jù)和不完整數(shù)據(jù)過濾掉，再從ODS到DW的過程中轉(zhuǎn)換，進(jìn)行一些業(yè)務(wù)規(guī)則的計算和聚合。數(shù)據(jù)的轉(zhuǎn)換8根據(jù)標(biāo)準(zhǔn)對數(shù)據(jù)進(jìn)行轉(zhuǎn)換，因為他們來自不的系統(tǒng)，必須保證所有數(shù)據(jù)放在一起后，數(shù)據(jù)的組合不能違反任何商業(yè)規(guī)則。數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)的轉(zhuǎn)換91.選擇：從源系統(tǒng)得到的整個記錄或部分記錄。通常構(gòu)成抽取功能本身的一部分。2.分離或合并：包括數(shù)據(jù)處理類型。3.轉(zhuǎn)化：多種對單獨字段的基本轉(zhuǎn)化：本準(zhǔn)化和可理解化。4.匯總：最細(xì)事務(wù)粒度上的前期匯總。5.豐富：從多個源字段構(gòu)成一個目標(biāo)字段時，創(chuàng)建一個更好地數(shù)據(jù)視圖?；救蝿?wù)數(shù)據(jù)的轉(zhuǎn)換10格式修正、字段的解碼、計算值和導(dǎo)出值、單個字段的分離、信息合并、特征集合轉(zhuǎn)化、度量單位的轉(zhuǎn)化、日期時間格式的轉(zhuǎn)化、匯總、鍵重構(gòu)。主要轉(zhuǎn)化類型數(shù)據(jù)的轉(zhuǎn)換11ETL功能的真正挑戰(zhàn)：從多個不同的分離的源系統(tǒng)中將所有數(shù)據(jù)有機的組織在一起供決策分析使用。數(shù)據(jù)整合就是將所有相關(guān)的數(shù)據(jù)組合成一致的數(shù)據(jù)節(jié)后，準(zhǔn)備裝載到DW中。1.實體識別的困難（1）訂單系統(tǒng)、客服系統(tǒng)、市場性-客戶信息。（2）如何匹配這三個不同系統(tǒng)中同一個客戶的問題，可以利用算法或者手工識別。2.多種數(shù)據(jù)源：多個數(shù)據(jù)源可以得到同一個數(shù)據(jù)字段，但要注意的是，值是否一樣，怎么去取舍數(shù)據(jù)。數(shù)據(jù)整合數(shù)據(jù)的轉(zhuǎn)換12數(shù)據(jù)轉(zhuǎn)換的復(fù)雜性決定了手工操作的困難性。（1）使用轉(zhuǎn)換工具缺點：價格比較昂貴，即使是最先進(jìn)的工具也可能需要手工去配合。點：具有高效率和高準(zhǔn)確性，還可以上元數(shù)據(jù)。（2）使用手工技術(shù)缺點：需要編寫程序，增加了后期的維護(hù)成本及時