2023學(xué)年完整公開課版清單層介紹

負(fù)責(zé)人：胡晶01目錄清單層介紹清單層介紹1清單層介紹考慮大數(shù)據(jù)架構(gòu)計算和存儲的特點(diǎn)，將數(shù)據(jù)倉庫分為邏輯上的幾個層次。這樣對于不同層次的數(shù)據(jù)操作，創(chuàng)建不同層次的任務(wù)，可以放到不同層次的任務(wù)流中進(jìn)行執(zhí)行，以及上層應(yīng)用對數(shù)據(jù)訪問的需求，數(shù)據(jù)分層結(jié)構(gòu)規(guī)劃為貼源層、整合層、清單層（輕度）、應(yīng)用層。清單層介紹下面我們來看一下什么是清單層。為提升大數(shù)據(jù)實(shí)時訪問的效率，規(guī)劃將上層應(yīng)用場景中需要訪問的基礎(chǔ)數(shù)據(jù)進(jìn)行分門別類和清洗，形成清單級數(shù)據(jù)表。清單層介紹1.DWD清單層：對ODS層數(shù)據(jù)進(jìn)行清洗（去除空值，臟數(shù)據(jù)，超過極限范圍的數(shù)據(jù)，行式存儲改為列存儲，改壓縮格式）。以業(yè)務(wù)過程作為建模驅(qū)動，基于每個具體的業(yè)務(wù)過程特點(diǎn)，構(gòu)建最細(xì)粒度的明細(xì)事實(shí)表?？梢越Y(jié)合企業(yè)的數(shù)據(jù)使用特點(diǎn)，將明細(xì)事實(shí)表的某些重要屬性字段做適當(dāng)冗余，也即寬表化處理。這一層主要解決一些數(shù)據(jù)質(zhì)量問題和數(shù)據(jù)的完整度問題。比如用戶的資料信息來自于很多不同表，而且經(jīng)常出現(xiàn)延遲丟數(shù)據(jù)等問題，為了方便各個使用方更好的使用數(shù)據(jù)，我們可以在這一層做一個屏蔽。清單層介紹2.功能：為DWS層提供來源明細(xì)數(shù)據(jù)，提供業(yè)務(wù)系統(tǒng)細(xì)節(jié)數(shù)據(jù)的長期沉淀，為未來分析類需求的擴(kuò)展提供歷史數(shù)據(jù)支撐。3.建模方式及原則：數(shù)據(jù)模型與ODS層一致，不做清洗轉(zhuǎn)換處理、為支持?jǐn)?shù)據(jù)重跑可額外增加數(shù)據(jù)業(yè)務(wù)日期字段、可按年月日進(jìn)行分表、用增量ODS層數(shù)據(jù)和上一次DWD相關(guān)表進(jìn)行merge處理。清單層介紹2.功能：為DWS層提供來源明細(xì)數(shù)據(jù)，提供業(yè)務(wù)系統(tǒng)細(xì)節(jié)數(shù)據(jù)的長期沉淀，為未來分析類需求的擴(kuò)展提供歷史數(shù)據(jù)支撐。3.建模方式及原則：數(shù)據(jù)模型與ODS層一致，不做清洗轉(zhuǎn)換處理、為支持?jǐn)?shù)據(jù)重跑可額外增加數(shù)據(jù)業(yè)務(wù)日期字段、可按年月日進(jìn)行分表、用增量ODS層數(shù)據(jù)和上一次DWD相關(guān)表進(jìn)行merge處理。4.清單層中的表又被稱為事實(shí)邏輯表。事實(shí)表（事實(shí)模型，又稱事實(shí)邏輯表）作為數(shù)據(jù)倉庫維度建模的核心，緊緊圍繞著業(yè)務(wù)過程進(jìn)行設(shè)計。業(yè)務(wù)過程是通過事實(shí)表的度量、引用的維度與業(yè)務(wù)過程有關(guān)屬性的方式獲取。清單層介紹5.事實(shí)表設(shè)計原則（1）盡可能包含所有與業(yè)務(wù)過程相關(guān)的事實(shí)。設(shè)計事實(shí)表的目的是度量業(yè)務(wù)過程，所以分析哪些事實(shí)與業(yè)務(wù)過程有關(guān)，是事實(shí)表設(shè)計中至關(guān)重要的。（2）只選擇與業(yè)務(wù)過程相關(guān)的事實(shí)。在選擇事實(shí)時應(yīng)該注意，只選擇與業(yè)務(wù)過程有關(guān)的事實(shí)。（3）在選擇維度和事實(shí)之前，必須先聲明粒度。粒度（數(shù)據(jù)行數(shù)的最小單位，非統(tǒng)計粒度）的聲明是事實(shí)表設(shè)計中不可忽視的重要一步。（4）在同一個事實(shí)表中，不能包含多種不同粒度的事實(shí)。事實(shí)表中所有事實(shí)的粒度需要與表聲明的粒度保持一致，在