數(shù)據(jù)挖掘第三部分SPSSclementine11數(shù)據(jù)處理cindy

1、Clementine的數(shù)據(jù)處理介紹Clementine的數(shù)據(jù)處理技術(shù)，學(xué)習(xí)如何合并和處理文件，樣本數(shù)據(jù)，處理缺失值和時(shí)序數(shù)據(jù)培訓(xùn)內(nèi)容 第一章 合并多個(gè)數(shù)據(jù)源數(shù)據(jù)第二章 抽取樣本，選擇和緩存數(shù)據(jù)第三章 處理缺失數(shù)據(jù)第四章 處理日期第五章 處理時(shí)序數(shù)據(jù)第六章 文件操作第七章 效率2第一章合并多個(gè)數(shù)據(jù)源數(shù)據(jù)3第一章 合并多個(gè)數(shù)據(jù)源數(shù)據(jù)內(nèi)容：使用追加節(jié)點(diǎn)串聯(lián)包含相似字段的記錄集的文件使用合并節(jié)點(diǎn)把不同數(shù)據(jù)源的信息加入到現(xiàn)有數(shù)據(jù)源使用超級(jí)節(jié)點(diǎn)簡(jiǎn)化數(shù)據(jù)流區(qū)域的內(nèi)容數(shù)據(jù)：acct97.txt， accounts98.sav， customer.dat4追加節(jié)點(diǎn)合并數(shù)據(jù)文件不同組記錄的相似信息有可能存儲(chǔ)在不同

2、數(shù)據(jù)文件不同財(cái)政年度的銀行帳目信息不同學(xué)年的考試結(jié)果不同部門(mén)的欺詐信息不同周的事務(wù)辦理數(shù)據(jù)追加節(jié)點(diǎn)可以合并兩個(gè)或者更多的數(shù)據(jù)源，可以分析和比較不同記錄組的相似信息。5文件讀入追加節(jié)點(diǎn)讀取并下傳來(lái)自同一數(shù)據(jù)源的所有記錄直至該數(shù)據(jù)源不再有記錄為止，然后讀取下一個(gè)數(shù)據(jù)源的記錄。第一個(gè)讀入的數(shù)據(jù)源的數(shù)據(jù)結(jié)構(gòu)（記錄和字段數(shù)目等）默認(rèn)為輸出數(shù)據(jù)的數(shù)據(jù)結(jié)構(gòu)。追加節(jié)點(diǎn)假定讀入的數(shù)據(jù)源和最初輸入源有相似的數(shù)據(jù)結(jié)構(gòu)，根據(jù)不同數(shù)據(jù)文件的字段名合并數(shù)據(jù)。6字段數(shù)目不同時(shí)的讀入規(guī)則如果一個(gè)輸入的字段數(shù)目比最初數(shù)據(jù)源少，輸入源記錄缺失的字段用未定義值($null$)填補(bǔ)。如果一個(gè)輸入的字段數(shù)目比最初數(shù)據(jù)源多，默認(rèn)為從流中

3、過(guò)濾掉多余的字段，有一個(gè)選項(xiàng)可以允許輸入所有數(shù)據(jù)集的字段，所有記錄缺失的字段用未定義值($null$)填補(bǔ)。7追加文件使用變量文件節(jié)點(diǎn)讀入文件acct97.txt確定選中“從文件讀取字段名”使用SPSS文件節(jié)點(diǎn)讀入文件accounts98.sav使用追加節(jié)點(diǎn)連接兩個(gè)數(shù)據(jù)源節(jié)點(diǎn)使用制表節(jié)點(diǎn)分別輸出表格8輸入條目改變主數(shù)據(jù)集9條目設(shè)置10處理字段使用導(dǎo)出節(jié)點(diǎn)和子鏈函數(shù)提取字段substring (1, 2, ACCTNO)提取字段ACCTsubstring (4, 5, ACCTNO)提取字段CUSTREF substring (10, 5, ACCTNO)提取字段ACCTREF使用過(guò)濾節(jié)點(diǎn)過(guò)濾字

4、段ACCTNO11數(shù)據(jù)流和追加文件12合并節(jié)點(diǎn)合并數(shù)據(jù)文件在很多企業(yè)里，個(gè)體的信息存放于不同數(shù)據(jù)源中消費(fèi)者信息和購(gòu)買(mǎi)信息賬目詳細(xì)資料和事務(wù)辦理數(shù)據(jù)房產(chǎn)商的信息按照個(gè)體和財(cái)產(chǎn)水平同樣本調(diào)查中每隔一段時(shí)間收集的個(gè)體的信息合并節(jié)點(diǎn)可以合并兩個(gè)或者更多的數(shù)據(jù)源，可以整體分析個(gè)體存放于不同數(shù)據(jù)源中的信息。13合并文件使用變量文件節(jié)點(diǎn)讀入文件customer.dat確認(rèn)選中從文件讀取字段名分隔符選中制表符，取消逗號(hào)分隔符使用合并節(jié)點(diǎn)連接變量文件節(jié)點(diǎn)和追加節(jié)點(diǎn)選中按照關(guān)鍵字段包括匹配和不匹配記錄使用制表節(jié)點(diǎn)輸出表格14合并方法按照順序合并數(shù)據(jù)：如每一輸入的第n 個(gè)記錄被合并生成第n 個(gè)輸出記錄。只要任一記錄

5、缺少匹配的輸入記錄，則不會(huì)生成任何輸出記錄。按照關(guān)鍵字段合并數(shù)據(jù)：如果某一關(guān)鍵字段值不止一次的出現(xiàn)，則返回所有可能的組合。只包括匹配記錄(內(nèi)部合并)包括匹配和不匹配記錄（完全外部合并）包括匹配和選中的不匹配記錄（部分全外部合并）包括第一個(gè)數(shù)據(jù)集中且不與其它數(shù)據(jù)集匹配的記錄（反向合并）合并相同的關(guān)鍵字段：每個(gè)輸出字段都有不同的字段名15外部合并選擇數(shù)據(jù)集16超級(jí)節(jié)點(diǎn)簡(jiǎn)化數(shù)據(jù)流超級(jí)節(jié)點(diǎn)在流中用星型圖標(biāo)表示，圖標(biāo)的明暗程度表示超級(jí)節(jié)點(diǎn)的類型和流的方向（流向或者流出）總共有三種類型的超級(jí)節(jié)點(diǎn)： 源超級(jí)節(jié)點(diǎn) 過(guò)程超級(jí)節(jié)點(diǎn) 終端超級(jí)節(jié)點(diǎn)17超級(jí)節(jié)點(diǎn)規(guī)則兩個(gè)選中的節(jié)點(diǎn)之間必須有路徑通過(guò)。一個(gè)完整的流不能壓縮

6、為一個(gè)超級(jí)節(jié)點(diǎn)。要壓縮的部分流不能包括分叉路徑（終端超級(jí)節(jié)點(diǎn)在每個(gè)分叉路徑包含終端節(jié)點(diǎn)除外）。操作創(chuàng)建超級(jí)節(jié)點(diǎn)編輯超級(jí)節(jié)點(diǎn)保存超級(jí)節(jié)點(diǎn)18練習(xí)custtravel1.dat，custtravel2.dat 記錄旅游公司顧客的信息，holtravel.dat記錄不同假期，公司提供的旅游信息，合并三個(gè)數(shù)據(jù)文件。使用變量文件節(jié)點(diǎn)分別讀入這三個(gè)數(shù)據(jù)文件。 連接三個(gè)制表節(jié)點(diǎn)，檢查數(shù)據(jù)文件的讀入是否正確。用Append節(jié)點(diǎn)，追加兩個(gè)記錄顧客信息的數(shù)據(jù)文件。編輯節(jié)點(diǎn)，并檢查節(jié)點(diǎn)設(shè)置是否正確（確保custtravel1.dat是第一個(gè)數(shù)據(jù)文件），用制表節(jié)點(diǎn)，查看追加結(jié)果。用Merge節(jié)點(diǎn)，合并holtrave

7、l.dat和生成的數(shù)據(jù)文件，選擇包括匹配和不匹配記錄。用制表節(jié)點(diǎn)，查看合并結(jié)果。19第二章抽取樣本，選擇和緩存數(shù)據(jù)20第二章 抽取樣本，選擇和緩存數(shù)據(jù)內(nèi)容：使用區(qū)分節(jié)點(diǎn)刪除副本使用抽樣和選擇節(jié)點(diǎn)抽取樣本使用分割節(jié)點(diǎn)分割數(shù)據(jù)為訓(xùn)練和測(cè)試樣本使用緩存數(shù)據(jù)加速數(shù)據(jù)處理和凍結(jié)樣本目的：介紹一系列對(duì)數(shù)據(jù)進(jìn)行預(yù)處理的方法數(shù)據(jù)：前一章合并生成的數(shù)據(jù)，存儲(chǔ)于文件fulldata.txt21使用區(qū)分節(jié)點(diǎn)刪除副本打開(kāi)分割數(shù)據(jù).str使用變量文件節(jié)點(diǎn)讀入文件fulldata.txt確定選中“從文件讀取字段名”使用制表節(jié)點(diǎn)輸出表格使用區(qū)分節(jié)點(diǎn)連接變量文件節(jié)點(diǎn)在字段ID選擇副本使用制表節(jié)點(diǎn)輸出表格22使用抽樣節(jié)點(diǎn)抽取樣

8、本使用抽樣節(jié)點(diǎn)連接變量文件節(jié)點(diǎn)設(shè)定抽樣節(jié)點(diǎn)選項(xiàng)包括樣本random值為60設(shè)定隨機(jī)種子數(shù)54321使用制表節(jié)點(diǎn)輸出表格23使用導(dǎo)出、選擇節(jié)點(diǎn)抽取樣本使用導(dǎo)出節(jié)點(diǎn)連接變量文件節(jié)點(diǎn)導(dǎo)出字段flag規(guī)則random0 (2) 使用制表節(jié)點(diǎn)輸出表格使用分布節(jié)點(diǎn)連接導(dǎo)出節(jié)點(diǎn)選擇字段flag輸出分布圖使用選擇節(jié)點(diǎn)連接導(dǎo)出節(jié)點(diǎn)條件flag=0 使用制表節(jié)點(diǎn)輸出表格24使用分割節(jié)點(diǎn)分割樣本使用分割節(jié)點(diǎn)連接數(shù)據(jù)文件節(jié)點(diǎn)選擇分成兩部分分割部分的和少于100%，丟棄剩余的數(shù)據(jù)設(shè)定隨機(jī)種子123使用分布節(jié)點(diǎn)連接分割節(jié)點(diǎn)選擇字段Partition輸出分布圖25數(shù)據(jù)緩存為了最優(yōu)化的執(zhí)行，用戶可以對(duì)任何沒(méi)有結(jié)束的節(jié)點(diǎn)建立一

9、個(gè)緩存。當(dāng)對(duì)一個(gè)節(jié)點(diǎn)建立一個(gè)緩存的時(shí)候，緩存區(qū)會(huì)被下一次執(zhí)行數(shù)據(jù)流時(shí)要通過(guò)節(jié)點(diǎn)的數(shù)據(jù)所填滿。以后數(shù)據(jù)就從該緩存區(qū)中讀取而不是從數(shù)據(jù)源中讀取。緩存的主要作用：避免預(yù)處理過(guò)程的重復(fù)，提高速度凍結(jié)樣本，例如導(dǎo)出和分割節(jié)點(diǎn)中使用隨機(jī)函數(shù)選擇樣本26分割節(jié)點(diǎn)中使用緩存啟用緩存帶有緩沖區(qū)的節(jié)點(diǎn)能夠以一個(gè)小的文件圖標(biāo)被顯示在右上角。當(dāng)數(shù)據(jù)在節(jié)點(diǎn)處被緩存時(shí)，這個(gè)文件圖標(biāo)是綠色的。刷新緩存保存緩存以SPSS 文件的形式來(lái)保存一個(gè)緩存區(qū)的內(nèi)容讀取緩存可以通過(guò)SPSS 文件節(jié)點(diǎn)在流中讀入可以恢復(fù)到最初生成緩存的節(jié)點(diǎn)27練習(xí)使用變量文件節(jié)點(diǎn)，讀入數(shù)據(jù)文件custandhol.dat。使用區(qū)分節(jié)點(diǎn)移除重復(fù)記錄，區(qū)分字段

10、為CUSTID。使用制表節(jié)點(diǎn)查看數(shù)據(jù)文件對(duì)上述數(shù)據(jù)文件，用抽樣節(jié)點(diǎn)隨機(jī)抽取70%的記錄 在抽樣節(jié)點(diǎn)，設(shè)置隨機(jī)種子值執(zhí)行該流，觀察每次的結(jié)果是否相同使用分割節(jié)點(diǎn)把數(shù)據(jù)文件分割成兩部分，70訓(xùn)練集，30測(cè)試集。分別使用制表節(jié)點(diǎn)和分布節(jié)點(diǎn)查看結(jié)果在抽樣節(jié)點(diǎn)，緩存數(shù)據(jù)再次執(zhí)行數(shù)據(jù)流，觀察數(shù)據(jù)流是從數(shù)據(jù)源節(jié)點(diǎn)，還是從抽樣節(jié)點(diǎn)執(zhí)行28第三章處理缺失數(shù)據(jù)29第三章 處理缺失數(shù)據(jù)內(nèi)容：使用質(zhì)量節(jié)點(diǎn)產(chǎn)生過(guò)濾和選擇節(jié)點(diǎn)包含和排除具有缺失數(shù)據(jù)的字段和記錄使用填充節(jié)點(diǎn)刪除空白使用類型節(jié)點(diǎn)自動(dòng)檢查空白處理缺失數(shù)據(jù)的建議目的：這一章引入一系列方法處理缺失數(shù)據(jù)數(shù)據(jù)：數(shù)據(jù)文件SmallSampleMissing.txt30使

11、用質(zhì)量節(jié)點(diǎn)提高數(shù)據(jù)質(zhì)量使用變量文件節(jié)點(diǎn)讀入數(shù)據(jù)SmallSampleMissing.txt 確定選中“讀取字段名”使用類型節(jié)點(diǎn)連接變量文件節(jié)點(diǎn)CHILDREN值99設(shè)定空白使用制表節(jié)點(diǎn)輸出表格使用質(zhì)量節(jié)點(diǎn)選中未定義值，空格，空白和空字符串輸出質(zhì)量報(bào)告31生成選擇節(jié)點(diǎn)和過(guò)濾節(jié)點(diǎn)質(zhì)量報(bào)告產(chǎn)生菜單生成選擇節(jié)點(diǎn)和過(guò)濾節(jié)點(diǎn)，插入類型節(jié)點(diǎn)和制表節(jié)點(diǎn)之間使用制表節(jié)點(diǎn)輸出表格生成選擇節(jié)點(diǎn)選擇帶有至少一個(gè)缺失值的記錄生成過(guò)濾節(jié)點(diǎn)過(guò)濾帶有缺失值的字段32數(shù)據(jù)流和輸出33使用填充節(jié)點(diǎn)移除空白使用類型節(jié)點(diǎn)指定空白三個(gè)填充節(jié)點(diǎn)插入類型節(jié)點(diǎn)和制表節(jié)點(diǎn)之間字段CHILDREN替換為0字段INCOME替換為23407 字段S

12、EX 替換為“unknown”使用制表節(jié)點(diǎn)輸出表格34自動(dòng)檢查缺失和超出邊界的值類型節(jié)點(diǎn)包含一種自動(dòng)檢查過(guò)程，自動(dòng)檢查數(shù)據(jù)是否符合當(dāng)前的類型和邊界設(shè)置。檢查過(guò)程會(huì)忽略空白自動(dòng)檢查設(shè)置：無(wú)，無(wú)效，強(qiáng)制，丟棄，警告，中止強(qiáng)制設(shè)置選項(xiàng)35強(qiáng)制設(shè)定結(jié)果36處理缺失數(shù)據(jù)的建議使用生成的選擇節(jié)點(diǎn)丟棄有問(wèn)題的記錄使用生成的過(guò)濾節(jié)點(diǎn)丟棄有問(wèn)題的字段使用填充節(jié)點(diǎn)填充值使用自動(dòng)檢查強(qiáng)制或丟棄不合規(guī)定的值可以用預(yù)測(cè)模型（例如神經(jīng)網(wǎng)絡(luò)）導(dǎo)出的值填充缺失值37練習(xí)變量文件節(jié)點(diǎn)讀入數(shù)據(jù)文件custandhol.dat。類型節(jié)點(diǎn)連接數(shù)據(jù)源節(jié)點(diǎn)，指定空白。 GENDER 字段White Space指定為空白HOLCOST字段

13、null指定為空白在類型節(jié)點(diǎn)上連接質(zhì)量節(jié)點(diǎn)，計(jì)算空白值數(shù)目。從質(zhì)量節(jié)點(diǎn)自動(dòng)生成選擇節(jié)點(diǎn)，選擇沒(méi)有缺失值的記錄統(tǒng)計(jì)節(jié)點(diǎn)連接生成選擇節(jié)點(diǎn)，計(jì)算HOLCOST 字段的均值。填充節(jié)點(diǎn)連接類型節(jié)點(diǎn)，均值填充HOLCOST字段缺失值。用制表節(jié)點(diǎn)查看輸出結(jié)果。用超級(jí)節(jié)點(diǎn)封裝填充節(jié)點(diǎn)和制表節(jié)點(diǎn)保存流mystream.str，以后的練習(xí)將會(huì)用到這個(gè)流。38第四章處理日期39第四章 處理日期內(nèi)容：介紹如何設(shè)定流中的日期格式介紹日期函數(shù)處理涉及日期字段的計(jì)算介紹字符串函數(shù)處理日期的格式介紹如何使用導(dǎo)出節(jié)點(diǎn)的多重模式目的：這一章我們介紹在Clementine中如何處理日期字段數(shù)據(jù)：fulldata.txt， Acco

14、unt_DateProb.dat ，MultDate.txt 40在Clementine中指定日期格式41計(jì)算時(shí)間長(zhǎng)度使用變量文件節(jié)點(diǎn)讀入數(shù)據(jù)fulldata.txt確定選中“從文件讀取字段名”使用導(dǎo)出節(jié)點(diǎn)導(dǎo)出字段LENGTH_WAIT導(dǎo)出規(guī)則date_months_difference(STARTDT,OPENDATE)使用過(guò)濾節(jié)點(diǎn)過(guò)濾除STARTDT,OPENDATE和 LENGTH_WAIT以外的字段使用制表節(jié)點(diǎn)輸出表格42日期格式化的字符串處理實(shí)例打開(kāi)流日期格式化.str 流基本上由一些導(dǎo)出節(jié)點(diǎn)組成，把字段中不正常的格式轉(zhuǎn)換成Clementine支持的日期格式。43表格顯示有問(wèn)題的日期

15、字段可以看出Open_Date 字段有兩個(gè)問(wèn)題有些記錄中部分字段名“Open_” 前綴于日期值有些記錄中只有月和年解決辦法移除前綴“Open_” 缺失天數(shù)值的記錄，填補(bǔ)1544從字段中提取日期部分45填補(bǔ)天數(shù)值46多重字段的處理打開(kāi)數(shù)據(jù)流 多重時(shí)間.str 加入導(dǎo)出節(jié)點(diǎn)選擇多重模式導(dǎo)出字段Pur1, Pur2, Pur3, Pur4 和 Pur5 字段名后綴_Time 導(dǎo)出規(guī)則date_days_difference(AcctEst, FIELD)47練習(xí)打開(kāi)數(shù)據(jù)流ex4.str通過(guò)數(shù)據(jù)流特征對(duì)話框更改日期顯示的格式為dd/mm/yy2-digit date設(shè)置為2005導(dǎo)出節(jié)點(diǎn)連接生成選擇節(jié)

16、點(diǎn)導(dǎo)出兩個(gè)字段分別表示顧客年齡和開(kāi)始旅游的月份。字段age，導(dǎo)出規(guī)則date_years_difference(date1,date2) 字段hol_month，導(dǎo)出規(guī)則substring(position, length, field)使用制表節(jié)點(diǎn)查看結(jié)果。保存流。48第五章處理時(shí)序數(shù)據(jù)49第五章 處理時(shí)序數(shù)據(jù)內(nèi)容：介紹一些CLEM時(shí)序函數(shù)介紹導(dǎo)出節(jié)點(diǎn)的計(jì)數(shù)和狀態(tài)選項(xiàng)介紹使用歷史節(jié)點(diǎn)重構(gòu)時(shí)序數(shù)據(jù)目的：這一章中我們介紹在Clementine中可用的一些處理時(shí)序數(shù)據(jù)的方法數(shù)據(jù)：year_balances.txt ，year_balances.sav50數(shù)據(jù)變量文件節(jié)點(diǎn)讀入數(shù)據(jù)文件year_bal

17、ances.txt 確定選中“從文件讀取字段名”使用類型節(jié)點(diǎn)實(shí)例化數(shù)據(jù)使用排序節(jié)點(diǎn)按照ACCTNO,MONTH 排序使用制表節(jié)點(diǎn)輸出表格51CLEM時(shí)序函數(shù)使用INDEX記錄索引使用OFFSET重新得到字段的值OFFSET(ACCTNO,1)OFFSET(ACCTNO,-3)平均，求和，比較值MIN MAX MEAN SUM SDEVSUM(BALANCE)MEAN(BALANCE,3) 52計(jì)算每個(gè)賬目字段余額3月平均 53導(dǎo)出節(jié)點(diǎn)的計(jì)數(shù)選項(xiàng)54導(dǎo)出節(jié)點(diǎn)的狀態(tài)選項(xiàng)55圖解數(shù)據(jù)經(jīng)過(guò)歷史節(jié)點(diǎn)56使用歷史節(jié)點(diǎn)重構(gòu)時(shí)序數(shù)據(jù)使用歷史節(jié)點(diǎn)連接排序節(jié)點(diǎn)選擇字段BALANCE 偏差1，間隔11使用制表節(jié)點(diǎn)輸

18、出表格使用抽樣樣本包括樣本抽樣1-in-12使用制表節(jié)點(diǎn)輸出表格57練習(xí)首先，創(chuàng)建新的字段表示假日消費(fèi)的累積總額。在創(chuàng)建新的字段前，我們必須對(duì)數(shù)據(jù)根據(jù)日期進(jìn)行排序。排序節(jié)點(diǎn)連接導(dǎo)出節(jié)點(diǎn)hol_month 。設(shè)置Sort節(jié)點(diǎn)，根據(jù)hol_month和TRAVDATE字段的升序排序?qū)С龉?jié)點(diǎn)連接排序節(jié)點(diǎn)。導(dǎo)出一個(gè)字段用以表示字段HOL_COST的累積值。導(dǎo)出規(guī)則SUM（field）使用制表節(jié)點(diǎn)查看數(shù)據(jù)。附加題：對(duì)字段HOLCODE，hol_month和TRAVDATE進(jìn)行升序排序后生成新的字段。從1開(kāi)始，每次遇到新的度假地點(diǎn)時(shí)增加1可以利用OFFSET和導(dǎo)出節(jié)點(diǎn)的計(jì)數(shù)形式58第六章文件操作59第六章

19、 文件操作內(nèi)容介紹聚合節(jié)點(diǎn)總結(jié)記錄介紹設(shè)計(jì)標(biāo)記節(jié)點(diǎn)轉(zhuǎn)換一個(gè)集字段為一組標(biāo)記字段使用合并節(jié)點(diǎn)合并聚合節(jié)點(diǎn)和設(shè)計(jì)標(biāo)記節(jié)點(diǎn)的輸出目的這一章介紹兩個(gè)能改變數(shù)據(jù)整體結(jié)構(gòu)的節(jié)點(diǎn)數(shù)據(jù)fulldata.txt60圖解數(shù)據(jù)經(jīng)過(guò)聚合節(jié)點(diǎn)61聚合數(shù)據(jù)打開(kāi)流排序節(jié)點(diǎn)連接選擇節(jié)點(diǎn)按字段ID排序聚合節(jié)點(diǎn)連接排序節(jié)點(diǎn)關(guān)鍵字段ID，關(guān)鍵字段相鄰聚合字段：AGE, INCOME和 CHILDREN 聚合模式：Max聚合字段OPEN_BAL和 CURR_BAL聚合模式：Sum使用制表節(jié)點(diǎn)輸出表格62圖解數(shù)據(jù)經(jīng)過(guò)設(shè)計(jì)標(biāo)記字段和聚合字段63設(shè)為標(biāo)志節(jié)點(diǎn)設(shè)為標(biāo)記節(jié)點(diǎn)連接排序節(jié)點(diǎn)集字段ACCOUNT 排序節(jié)點(diǎn)連接設(shè)計(jì)標(biāo)記節(jié)點(diǎn)按ID排序設(shè)計(jì)標(biāo)記節(jié)點(diǎn)中選中聚合關(guān)鍵詞ID使用制表