數(shù)據(jù)清洗課件-第6章-ETL數(shù)據(jù)清洗與轉(zhuǎn)換

第6章ETL數(shù)據(jù)清洗與轉(zhuǎn)換數(shù)據(jù)倉(cāng)庫(kù)與ETL數(shù)據(jù)倉(cāng)庫(kù)(DataWarehouse)簡(jiǎn)稱DW，顧名思義，數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)很大的數(shù)據(jù)存儲(chǔ)集合，出于企業(yè)的分析性報(bào)告和決策支持目的而創(chuàng)建，并對(duì)多樣的業(yè)務(wù)數(shù)據(jù)進(jìn)行篩選與整合。。數(shù)據(jù)倉(cāng)庫(kù)可以從各種數(shù)據(jù)源中提取所需的數(shù)據(jù)，并進(jìn)行存儲(chǔ)、整合與挖掘，從而最終幫助企業(yè)的高層管理者或者業(yè)務(wù)分析人員做出商業(yè)戰(zhàn)略決策或商業(yè)報(bào)表。數(shù)據(jù)倉(cāng)庫(kù)術(shù)語(yǔ)數(shù)據(jù)源：數(shù)據(jù)源是數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)，在數(shù)據(jù)源中存儲(chǔ)了所有建立數(shù)據(jù)庫(kù)連接的信息，通常包含企業(yè)內(nèi)部信息和企業(yè)外部信息。數(shù)據(jù)集市：數(shù)據(jù)集市(DataMart)簡(jiǎn)稱DM，也叫數(shù)據(jù)市場(chǎng)。它是在企業(yè)中為了滿足特定的部門或者用戶的需求，按照多維的方式進(jìn)行存儲(chǔ)，包括定義維度、需要計(jì)算的指標(biāo)、維度的層次等，生成面向決策分析需求的數(shù)據(jù)立方體。

元數(shù)據(jù)：元數(shù)據(jù)，又稱中介數(shù)據(jù)、中繼數(shù)據(jù)，是描述數(shù)據(jù)的數(shù)據(jù)，是數(shù)據(jù)倉(cāng)庫(kù)的重要構(gòu)件，是數(shù)據(jù)倉(cāng)庫(kù)的導(dǎo)航圖，在數(shù)據(jù)源抽取、數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用開(kāi)發(fā)、業(yè)務(wù)分析以及數(shù)據(jù)倉(cāng)庫(kù)服務(wù)等過(guò)程中都發(fā)揮著重要的作用。

OLAP：OLAP又叫做聯(lián)機(jī)分析處理。

ODS：ODS也叫作操作性數(shù)據(jù)，它是是數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)中的一個(gè)可選部分事務(wù)數(shù)據(jù)庫(kù)：事務(wù)數(shù)據(jù)庫(kù)也叫做數(shù)據(jù)庫(kù)事務(wù)，它是數(shù)據(jù)庫(kù)管理系統(tǒng)執(zhí)行過(guò)程中的一個(gè)邏輯單位，由一個(gè)有限的數(shù)據(jù)庫(kù)操作序列構(gòu)成。ETL概述ETL，是英文Extract-Transform-Load的縮寫(xiě)，用來(lái)描述將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)抽取、轉(zhuǎn)換、加載至目的端的過(guò)程。在數(shù)據(jù)倉(cāng)庫(kù)的語(yǔ)境下，ETL基本上就是數(shù)據(jù)采集的代表，包括數(shù)據(jù)的提?。‥xtract)、轉(zhuǎn)換(Transform)和加載(Load)。

ETL是數(shù)據(jù)倉(cāng)庫(kù)中非常重要的一環(huán)，是承前啟后的必要的一步。目前在市場(chǎng)上常見(jiàn)的ETL工具包含有：

Talend是數(shù)據(jù)集成和數(shù)據(jù)治理解決方案領(lǐng)域的領(lǐng)袖企業(yè)，也是第一家針對(duì)的數(shù)據(jù)集成工具市場(chǎng)的ETL開(kāi)源軟件供應(yīng)商。

DataStage是IBM公司的商業(yè)軟件，是一種數(shù)據(jù)集成軟件平臺(tái)，能夠幫助企業(yè)從散布在各個(gè)系統(tǒng)中的復(fù)雜異構(gòu)信息獲得更多價(jià)值。

Kettle中文名稱叫水壺，是一款國(guó)外開(kāi)源的ETL工具，純java編寫(xiě)，可以在Windows、Linux、Unix上運(yùn)行，數(shù)據(jù)抽取高效穩(wěn)定。

ODI（OracleDataIntegrator）是Oracle的數(shù)據(jù)集成類工具，同時(shí)也是一個(gè)綜合的數(shù)據(jù)集成平臺(tái)，可滿足所有數(shù)據(jù)集成需求Kettle數(shù)據(jù)清洗與轉(zhuǎn)換基礎(chǔ)使用Kettle可以完成數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)清洗與數(shù)據(jù)轉(zhuǎn)換工作，常見(jiàn)的有：數(shù)據(jù)值的修改與映射、數(shù)據(jù)排序、重復(fù)數(shù)據(jù)的清洗、超出范圍的數(shù)據(jù)清洗、日志的寫(xiě)入、數(shù)據(jù)值的過(guò)濾以及隨機(jī)值的運(yùn)算等。清洗簡(jiǎn)單數(shù)據(jù)數(shù)據(jù)排序去除重復(fù)數(shù)據(jù)清洗超出范圍數(shù)據(jù)

Kettle數(shù)據(jù)轉(zhuǎn)換在日志中寫(xiě)入常量過(guò)濾記錄隨機(jī)數(shù)相加統(tǒng)計(jì)分析

Kettle數(shù)據(jù)倉(cāng)庫(kù)高級(jí)應(yīng)用在使用Kettle進(jìn)行ETL數(shù)據(jù)清洗與轉(zhuǎn)換時(shí)，除了上述內(nèi)容外，在更多的時(shí)候還要用Kettle連接數(shù)據(jù)庫(kù)來(lái)實(shí)現(xiàn)更高級(jí)的操作。本節(jié)主要講述使用Kettle連接并操作MySQL數(shù)據(jù)庫(kù)，讀者只需熟悉數(shù)據(jù)庫(kù)的基本操作，掌握最基本的SQL語(yǔ)句即可。本章小結(jié)1）數(shù)據(jù)倉(cāng)庫(kù)是決策支持系統(tǒng)和聯(lián)機(jī)分析應(yīng)用數(shù)據(jù)源的結(jié)構(gòu)化數(shù)據(jù)環(huán)境，它研究和解決從數(shù)據(jù)庫(kù)中獲取信息的問(wèn)題，并為企業(yè)所有級(jí)別的決策制定過(guò)程，提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合。2）數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)來(lái)源十分復(fù)雜，既有可能位于不同的平臺(tái)上，又有可能位于不同的操作系統(tǒng)中，同時(shí)數(shù)據(jù)模型也相差較大。因此，為了獲取并向數(shù)據(jù)倉(cāng)庫(kù)中加載這些數(shù)據(jù)量大同時(shí)種類較多的數(shù)據(jù)，一般人們要使用專業(yè)的工具來(lái)完成這一操作。3）Kettle中文名稱叫水壺，是