工業(yè)大數(shù)據(jù)分析-數(shù)據(jù)融合教學(xué)講義

任務(wù)2.5數(shù)據(jù)融合

任務(wù)概述

本節(jié)主要介紹常見的數(shù)據(jù)融合的原理和方法，并通過案例實現(xiàn)進(jìn)行實操演示。

數(shù)據(jù)集選用“工業(yè)用水處理投藥量數(shù)據(jù)”。

數(shù)據(jù)連接是基于連接字段按照給定的連接方式進(jìn)行兩個表格的字段組合得

到新的數(shù)據(jù)表，支持兩個數(shù)據(jù)表的單個或多個字段為連接字段的連接操作，連接

方式包括內(nèi)連接、外連接、左連接、右連接。

數(shù)據(jù)追加是針對原有業(yè)務(wù)數(shù)據(jù)庫系統(tǒng)分析基礎(chǔ)上提出的，它解決的是在數(shù)據(jù)

倉庫初始數(shù)據(jù)轉(zhuǎn)載后，如何再向數(shù)據(jù)倉庫輸入變化的數(shù)據(jù)的問題。它要求對原有

的業(yè)務(wù)系統(tǒng)作最小改造，并記錄在數(shù)據(jù)追加周期內(nèi)數(shù)據(jù)的變化過程減小由于提取

周期而影響數(shù)據(jù)分析展現(xiàn)，同時減少訪問整個業(yè)務(wù)數(shù)據(jù)庫。''數(shù)據(jù)追加周期”是

指將操作型環(huán)境的變化反映到數(shù)據(jù)倉庫中，會有一個時間延遲。

數(shù)據(jù)拆分即數(shù)據(jù)分割，是指把邏輯上是統(tǒng)一整體的數(shù)據(jù)分割成較小的、可以

獨立管理的物理單元進(jìn)行存儲，以便于重構(gòu)、重組和恢復(fù)，以提高創(chuàng)建索引和順

序掃描的效率。數(shù)據(jù)分割使數(shù)據(jù)倉庫的開發(fā)人員和使用者具有更大的靈活性。

通過本任務(wù)的學(xué)習(xí)：

（1）能夠選擇系統(tǒng)內(nèi)的數(shù)據(jù)源，通過數(shù)據(jù)融合的方式對數(shù)據(jù)進(jìn)行連接；

（2）能夠選擇系統(tǒng)內(nèi)的數(shù)據(jù)源，通過數(shù)據(jù)融合的方式對數(shù)據(jù)進(jìn)行追加；

（3）能夠選擇系統(tǒng)內(nèi)的數(shù)據(jù)源，通過數(shù)據(jù)融合的方式對數(shù)據(jù)進(jìn)行拆分。

任務(wù)實現(xiàn)

2.5.1數(shù)據(jù)連接

數(shù)據(jù)連接是基于連接字段按照給定的連接方式進(jìn)行兩個表格的字段組合，從

而得到新的數(shù)據(jù)表，支持多個數(shù)據(jù)表的單個或多個字段為連接字段的連接操作，

連接方式包括內(nèi)連接、外連接、左連接、右連接。

數(shù)據(jù)連接

?國+圖?

e

▲Q

圖2-5-1數(shù)據(jù)連接節(jié)點

數(shù)據(jù)連接案例操作步驟如下：

步驟1：在建模界面放置2個文件輸入節(jié)點，文件輸入節(jié)點中的數(shù)據(jù)文件選

擇“工業(yè)用水處理投藥量數(shù)據(jù)”，選擇“數(shù)據(jù)融合-數(shù)據(jù)連接”，拖入建模區(qū)進(jìn)行

連接，如圖2-5-2所示。

圖2-5-2數(shù)據(jù)連接建模

步驟2：雙擊打開“數(shù)據(jù)連接”節(jié)點，如圖2-5-3所示，配置兩個數(shù)據(jù)表的

連接關(guān)系。

數(shù)據(jù)連接x

點擊查看功能說明?

確定聰肖

圖2-5-3數(shù)據(jù)連接配置

步驟3：完成連接配置，點擊右上角“運行”按鈕，如圖2-5-4所示。

圖2-5-4完成連接配置

步驟4：數(shù)據(jù)連接處理后，運行結(jié)果如圖2-5-5所示。

圖2-5-5數(shù)據(jù)連接處理結(jié)果

2.5.2數(shù)據(jù)追加

數(shù)據(jù)追加支持將兩個或多個類似數(shù)據(jù)表的行進(jìn)行連接，追加成一個新的數(shù)據(jù)

集。匹配的屬性列必須具備同樣的數(shù)據(jù)類型。結(jié)果數(shù)據(jù)集包含各個輸入表中的每

行。

圖2-5-6數(shù)據(jù)追加節(jié)點

數(shù)據(jù)追加有“按列順序添加”和“自定義”兩種追加方法，如圖2-5-7所示。

數(shù)據(jù)追加X

跋口引去G按列順再氯1"；自定X

新屬性名稱下表

擊查看功能說明?

確定

圖2-5-7數(shù)據(jù)追加

數(shù)據(jù)追加提供將具有相同個數(shù)的屬性列的兩個輸入表的行記錄連接，以創(chuàng)建

一個輸出數(shù)據(jù)集。匹配的屬性列必須具備同樣的數(shù)據(jù)類型。作為結(jié)果的數(shù)據(jù)集包

含同樣多個屬性列以及各個輸入表中的每行。

參數(shù)說明:

?按列順序：將追加前的兩個或多個數(shù)據(jù)集中的屬性列按照順序合并成新

的列，依次追加相應(yīng)的行記錄。

?自定義：按照用戶指定的需求，將追加前的兩個或多個表的屬性列進(jìn)行

匹配，追加匹配列相應(yīng)的行記錄。支持新增或刪除屬性列，可進(jìn)行重復(fù)指派，部

分行沒有對應(yīng)字段時用空值填充o

數(shù)據(jù)追加案例操作步驟如下:

步驟1：參照下圖構(gòu)建模型：選擇“數(shù)據(jù)管理-文件輸入”，拖入2個“文件

輸入”節(jié)點到建模區(qū)；選擇“數(shù)據(jù)融合-數(shù)據(jù)追加”節(jié)點到建模區(qū)，建立連接，如

圖2-5-8所不。

圖2-5-8構(gòu)建模型

步驟2：分別將“工業(yè)用水投藥量數(shù)據(jù)1”和“工業(yè)用水投藥量數(shù)2”加載到

不同的“文件輸入”節(jié)點。如圖2-5-9和圖2-5-10所示。

工業(yè)用水處理投藥量數(shù)據(jù)1DX

選攜雌文件上傳刪除全部刪除

Q

數(shù)據(jù)內(nèi)容

3工^水處理投藥量數(shù)

血原水PH原水濁度出水濁度取水量PACK

婢1

2013/8/206:007.13623.461.156801.38

2013/8/207:007.12628.811.156602.01

2013/8/225:006.91294.810.785580112.01

2013/8/226:006.91293.290.785570120.65

口分區(qū)100000

點擊查看功能說明?

確定取消

圖2-5-9工業(yè)用水投藥量數(shù)據(jù)1

工業(yè)用水處理投藥量數(shù)據(jù)2□X

文件上傳刪除全部刪除

Q數(shù)據(jù)內(nèi)容

|6：Ok用水處理投藥量數(shù)

時間原水PH原水濁度出水濁度取水雖PAC耗

握2

2013/10/2323:007.228.010.78983929.68

2013/10/240:007.225.050.78985524.76

2013/10/241:007.216.910.71711427.41

2013/10/2522:007.21830.78978524.94

2013/10/2523:007.217.920.78978624.93

2013/10/260:007.216.010.74982829.81

□分區(qū)記錄條數(shù)100000

點功能弼@

確定I耽肖

圖2-5-10工業(yè)用水投藥量數(shù)據(jù)2

步驟3：數(shù)據(jù)追加配置界面如圖2-5-11所示。

數(shù)據(jù)追加x

追加方法?按列順序添加O自定義

新屬性名稱上表

時間時間

原水PH原水PH

JSzK；嫄

出水濁度出水濁度

取水量取水量

PAC耗PAC耗

點功的就?

確定耽肖

圖2-5-11數(shù)據(jù)追加配置

步驟4：數(shù)據(jù)追加“運行”后，結(jié)果如圖2-5T2所示?！肮I(yè)用水投藥量數(shù)

2”追加合并到“工業(yè)用水投藥量數(shù)據(jù)1”后面。

圖2-5-12模型運行結(jié)果

2.5.3數(shù)據(jù)拆分

數(shù)據(jù)拆分節(jié)點是將原始樣本集按照2個（訓(xùn)練集和測試集）或者3個（訓(xùn)練

集、測試集和驗證集）方式，被拆分為2或3數(shù)據(jù)子集個數(shù)，拆分后各個子集的

比例總和小于等于100%o數(shù)據(jù)拆分經(jīng)常作為回歸或者分類算法節(jié)點的前置節(jié)點。

支持近似拆分和精確拆分，默認(rèn)為近似拆分。

數(shù)據(jù)拆分

0

▲Q

圖2-5-13數(shù)據(jù)拆分節(jié)點

注：

輸入類型：數(shù)值/字符/日期/文本

數(shù)據(jù)格式：Dataframe

空值檢測：檢測NULL值

校驗規(guī)則：對拆分條件進(jìn)行檢驗，輸入數(shù)據(jù)量〈拆分?jǐn)?shù)；拆分比例＞1.0

數(shù)據(jù)拆分案例操作步驟如下:

步驟1:建模區(qū)分別拖入文件輸入和數(shù)據(jù)拆分節(jié)點，連接兩者之間的邏輯關(guān)

系,對兩個節(jié)點進(jìn)行模型構(gòu)建，將“工業(yè)用水處理投藥量數(shù)據(jù)”加載到“文件輸

入節(jié)點”，如圖2-5-14所示。

圖2-5-14文件輸入和數(shù)據(jù)拆分節(jié)點模型

步驟2：雙擊數(shù)據(jù)拆分節(jié)點，進(jìn)行參數(shù)配置，拆分成2個數(shù)據(jù)集，訓(xùn)練集占

比80%,測試集占比2096,如圖2-5-15所示。

數(shù)據(jù)拆分X

吩陵I2個:訓(xùn)練婚礴..▼|□娜例子||

名稱拆分比例(%)

訓(xùn)練集80

測共20

點擊查看功能說明?

確定取消

圖2-5-15數(shù)