數(shù)據(jù)挖掘第19講SPSSModeler分類課件

1、數(shù)據(jù)挖掘課程培訓(xùn)案例背景中國電信市場的用戶通常都為剛需用戶，不存在用戶不再使用電信業(yè)務(wù)。但各大運營商之間卻存在巨大的競爭，尤其是各家運營商之間的很多服務(wù)幾乎都是交叉重疊的服務(wù)，因此用戶通常會由于某些原因離網(wǎng)轉(zhuǎn)而使用其它運營商的服務(wù)。為有效減少自家用戶的流失，運營商通常會基于自身的數(shù)據(jù)做一些分析來最大限度的挽留即將流失的用戶。ABCDABCD商業(yè)理解哪些用戶會流失流失定義特征變量選取數(shù)據(jù)時間段選取流失用戶具有哪些特征流失用戶識別規(guī)則流失用戶特征分布流失定義主動銷號停止使用服務(wù)被動欠費服務(wù)取消特征變量選取？人口屬性數(shù)據(jù)行為數(shù)據(jù)客服數(shù)據(jù)其它數(shù)據(jù)數(shù)據(jù)時間段訓(xùn)練數(shù)據(jù)時間段測試數(shù)據(jù)時間段流失預(yù)測模型分類算

2、法C5.0以“信息增益率”為度量來選擇分裂屬性以“信息增益”為度量來選擇分裂屬性C5.0(C4.5)ID3樣本數(shù)據(jù)天氣溫度濕度是否有風(fēng)是否打球晴朗熱高否否晴朗熱高是否陰天熱高否是下雨涼爽高否是下雨冷正常否是下雨冷正常是否陰天冷正常是是晴朗涼爽高否否晴朗冷正常否是下雨涼爽正常否是陰天涼爽正常是是陰天涼爽高是是陰天熱正常否是下雨涼爽高是否C5.0計算步驟計算目標(biāo)變量（是否打球）不確定性計算各個輸入變量的熵計算各個輸入變量的信息增益計算各個輸入變量的信息增益率I(是否打球)E(是否打球|天氣)、E(是否打球|是否有風(fēng))Gain(是否打球|天氣)、 、 Gain(是否打球|是否有風(fēng))GainR(是否打

3、球|天氣)、 、 GainR(是否打球|是否有風(fēng))C5.0關(guān)鍵點值（天氣為例）熵： E(是否打球|天氣) = 0.5786信息增益：Gain(是否打球|天氣) = I(是否打球) E(是否打球|天氣) = 0.3617信息增以率：Split (是否打球|天氣) = 1.5774 GainR(是否打球|天氣) = 0.2293C5.0算法缺失值處理將帶有缺失值的樣本當(dāng)做臨時剔除樣本看待，并在后面進行權(quán)數(shù)調(diào)整。C5.0算法可以自己處理字段中的缺失值帶有缺失值的樣本天氣溫度濕度是否有風(fēng)是否打球熱高否否晴朗熱高是否陰天熱高否是下雨涼爽高否是下雨冷正常否是下雨冷正常是否陰天冷正常是是晴朗涼爽高否否晴朗冷

4、正常否是下雨涼爽正常否是陰天涼爽正常是是陰天涼爽高是是陰天熱正常否是下雨涼爽高是否計算步驟是否打球CountRate是99/14否55/14Step 1：計算訓(xùn)練樣本的信息量計算步驟Step 2：計算每個屬性的信息增益（以天氣為例）天氣是否打球=“是”是否打球=“否”total晴朗123陰天505下雨325Total9513關(guān)鍵點值熵： E(是否打球|天氣) = 0.5854信息增益：Gain(是否打球|天氣) = 0.3296信息增以率：Split (是否打球|天氣) = 1.5486GainR(是否打球|天氣) = 0.2128Modeler數(shù)值型變量默認處理方法分裂屬性為數(shù)值型變量MDL

5、P算法：基于最短描述長度原則的熵分組方法。 如果分組后的輸入變量對輸出變量取值的解釋能力顯著低于分組之前，那么這樣的分組是沒有意義的。 MDLP的核心測度指標(biāo)是信息熵和信息增益。C5.0剪枝特點后剪枝誤差估計剪枝標(biāo)準(zhǔn)分類算法神經(jīng)網(wǎng)絡(luò)軸突樹突突觸細胞體神經(jīng)末梢神經(jīng)網(wǎng)絡(luò)模型降水量：x3太陽黑子數(shù)：x4徑流量：x1含沙量：x2土壤濕度：x8氣溫：x5ENSO指數(shù)：x6大氣環(huán)流指數(shù)：x7jikWikWjkW1iW1jW2iW2jW3iW3jW4iW4jW5iW5jW6iW6jW7iW7jW8iW8j輸入層隱含層2輸出層隱含層1Y:是否發(fā)大水神經(jīng)網(wǎng)絡(luò)節(jié)點介紹輸入節(jié)點接收和處理輸入的變量值其個數(shù)取決于輸入

6、變量的個數(shù)隱含層節(jié)點實現(xiàn)非線性樣本的線性變換其個數(shù)可自行設(shè)定輸出節(jié)點提供分類預(yù)測結(jié)果依據(jù)具體情況而定神經(jīng)網(wǎng)絡(luò)劃分方式神經(jīng)網(wǎng)絡(luò)劃分基于拓撲結(jié)構(gòu)基于連接方式基于學(xué)習(xí)方式神經(jīng)網(wǎng)絡(luò)節(jié)點構(gòu)成加法器W1W2激活函數(shù)神經(jīng)網(wǎng)絡(luò)激活函數(shù)閥值函數(shù)（階躍函數(shù)）分階段函數(shù)Sigmoid函數(shù)（S型函數(shù)）1 (當(dāng)v大于等于0時)0 (當(dāng)v小于0時)神經(jīng)網(wǎng)絡(luò)建立步驟數(shù)據(jù)處理（去除變量間的量綱影響、分類型變量轉(zhuǎn)化為數(shù)值型變量）確定神經(jīng)網(wǎng)絡(luò)的層數(shù)和每層的節(jié)點數(shù)神經(jīng)網(wǎng)絡(luò)權(quán)值確定訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型使用神經(jīng)網(wǎng)絡(luò)模型進行預(yù)測分類Modeler中神經(jīng)網(wǎng)絡(luò)核心算法多層感知器MLP徑向基函數(shù)RBF多層感知器MLP特點可以包含一層或者多層隱含層激活函數(shù)為sigmoid函數(shù)具有高度的連通性網(wǎng)絡(luò)中包含函數(shù)信號和誤差信號3層前向網(wǎng)絡(luò)（輸入層、隱藏層、輸出層）激活函數(shù)為基函數(shù)（高斯函數(shù)）根據(jù)隱藏層節(jié)點數(shù)量可分為正規(guī)化網(wǎng)絡(luò)和廣義網(wǎng)絡(luò)徑向基函數(shù)RBFMLP&RBF對比多層感知器MLP徑向基函數(shù)RBF多個隱含層1個隱含層隱含層、輸出層所有節(jié)點計算模型相同隱含層、輸出層節(jié)