《數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)》 課件9.3 構(gòu)建電信運(yùn)營(yíng)商用戶流失預(yù)測(cè)模型

構(gòu)建電信運(yùn)營(yíng)商用戶流失預(yù)測(cè)模型電信運(yùn)營(yíng)商用戶分析任務(wù)描述電信企業(yè)為了最大程度地控制客戶流失、挽留現(xiàn)存在網(wǎng)用戶，分析不同群體用戶的使用規(guī)律，識(shí)別各群體客戶流失的重要特征。為了系統(tǒng)地描述電信運(yùn)營(yíng)商用戶流失的規(guī)律，引入數(shù)學(xué)模型對(duì)電信運(yùn)營(yíng)商用戶數(shù)據(jù)進(jìn)行分析。運(yùn)營(yíng)商要實(shí)現(xiàn)控制客戶流失、挽留現(xiàn)存在網(wǎng)用戶，必須深入貫徹以人民為中心的發(fā)展思想。本任務(wù)的具體目標(biāo)是基于電信運(yùn)營(yíng)商用戶分群模型建立邏輯回歸模型、決策樹模型和樸素貝葉斯模型，選取最優(yōu)的用戶流失模型。任務(wù)要求分析不同群體用戶的使用規(guī)律，識(shí)別各群體客戶流失的重要特征。建立不同群體用戶流失模型，建立邏輯回歸模型、決策樹模型和樸素貝葉斯模型，判斷模型建立的效果。選取最優(yōu)的用戶流失模型。相關(guān)知識(shí)所有與消費(fèi)者掛鉤行業(yè)都會(huì)關(guān)注客戶流失。由于發(fā)展一個(gè)新客戶是需要一定成本的，如果客戶流失，不僅浪費(fèi)了拉新成本，還需要花費(fèi)更多的用戶召回成本。因此，基于電信行業(yè)在競(jìng)爭(zhēng)日益激烈的情況，如何挽留更多用戶成為一項(xiàng)關(guān)鍵業(yè)務(wù)指標(biāo)。為了更好運(yùn)營(yíng)用戶，這就要求要了解流失用戶的特征，分析流失原因，預(yù)測(cè)用戶流失，確定挽留目標(biāo)用戶并制定有效方案，提升企業(yè)核心競(jìng)爭(zhēng)力。特征值提取構(gòu)建電信商用戶流失預(yù)測(cè)模型特征值提取基于樹的特征選擇導(dǎo)入開發(fā)庫(kù)特征變量選取特征抽取是數(shù)據(jù)挖掘任務(wù)最為重要的一個(gè)環(huán)節(jié)，一般而言，它對(duì)最終結(jié)果的影響要高過(guò)數(shù)據(jù)挖掘算法本身。只有先把現(xiàn)實(shí)用特征表示出來(lái)，才能借助數(shù)據(jù)挖掘的力量找到問(wèn)題的答案。特征選擇的另一個(gè)優(yōu)點(diǎn)在于：降低真實(shí)世界的復(fù)雜度，模型比現(xiàn)實(shí)更容易操縱。特征選擇能夠降低復(fù)雜度、降低噪音和增加模型可讀性。基于樹的特征選擇單個(gè)特征和某一類別之間相關(guān)性的計(jì)算方法有很多，比較有效的有卡方檢驗(yàn)（chi2）以及互信息和信息熵，本文選擇基于信息熵的方法來(lái)選取特征變量。信息熵是在決策樹中廣泛使用的一個(gè)變量，用以獲取最優(yōu)劃分的節(jié)點(diǎn)?；跇涞念A(yù)測(cè)模型能夠用來(lái)計(jì)算特征的重要程度，能用來(lái)去除不相關(guān)的特征。因此選擇基于樹的特征選擇（Tree-basedfeatureselection）來(lái)獲取特征變量。基于樹的特征選擇使用from和import導(dǎo)入sklearn.ensemble中的ExtraTreesClassifier類與sklearn.feature_selection中的SelectFromModel類。導(dǎo)入開發(fā)庫(kù)用于從模型中選擇重要的特征用于構(gòu)建極端隨機(jī)樹分類器由基于樹的特征選擇，使用sklearn庫(kù)導(dǎo)入信息熵的樹及特征值篩選模塊，使用for循環(huán)獲取前10個(gè)重要程度的特征變量，結(jié)果如下。特征變量選擇低費(fèi)用'年齡','在網(wǎng)時(shí)長(zhǎng)','本地通話次數(shù)','國(guó)內(nèi)長(zhǎng)途通話次數(shù)','國(guó)內(nèi)漫游通話次數(shù)','上網(wǎng)流量','有通話天數(shù)','有主叫天數(shù)','有被叫天數(shù)','主叫呼叫圈'中低費(fèi)用'年齡','在網(wǎng)時(shí)長(zhǎng)','本月費(fèi)用','本地通話次數(shù)','國(guó)內(nèi)長(zhǎng)途通話次數(shù)','國(guó)內(nèi)漫游通話次數(shù)','有通話天數(shù)','有主叫天數(shù)','有被叫天數(shù)','主叫呼叫圈'一般費(fèi)用'年齡','在網(wǎng)時(shí)長(zhǎng)','本地通話次數(shù)','國(guó)內(nèi)長(zhǎng)途通話次數(shù)','國(guó)內(nèi)漫游通話次數(shù)','短信發(fā)送數(shù)','上網(wǎng)流量','有通話天數(shù)','有主叫天數(shù)','有被叫天數(shù)'中高費(fèi)用'年齡','在網(wǎng)時(shí)長(zhǎng)','本地通話次數(shù)','國(guó)內(nèi)長(zhǎng)途通話次數(shù)','國(guó)內(nèi)漫游通話次數(shù)','短信發(fā)送數(shù)','有通話天數(shù)','有主叫天數(shù)','有被叫天數(shù)','主叫呼叫圈'高費(fèi)用'年齡','在網(wǎng)時(shí)長(zhǎng)','平均本地通話時(shí)長(zhǎng)','本地通話次數(shù)','國(guó)內(nèi)長(zhǎng)途通話次數(shù)','國(guó)內(nèi)漫游通話次數(shù)','國(guó)內(nèi)漫游上網(wǎng)流量','有通話天數(shù)','有主叫天數(shù)','有被叫天數(shù)'類型選取的變量構(gòu)建電信商用戶流失預(yù)測(cè)模型自定義模型構(gòu)建函數(shù)構(gòu)建邏輯回歸模型構(gòu)建決策樹模型構(gòu)建樸素貝葉斯模型選擇最優(yōu)模型由于不同的模型構(gòu)建過(guò)程類似，為了避免代碼贅余，因此自定義一個(gè)evaluate_model函數(shù)用于模型的構(gòu)建與檢測(cè)。evaluate_model函數(shù)操作的流程如下。自定義模型構(gòu)建函數(shù)基于特征變量的篩選結(jié)果，循環(huán)獲取不同用戶類型的重點(diǎn)特征提取特征和目標(biāo)變量數(shù)據(jù)對(duì)數(shù)據(jù)進(jìn)行欠采樣處理自定義模型構(gòu)建函數(shù)劃分特征和目標(biāo)變量，并劃分訓(xùn)練集和測(cè)試集對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理構(gòu)建相關(guān)的模型，并對(duì)模型進(jìn)行評(píng)估由于不同的模型構(gòu)建過(guò)程類似，為了避免代碼贅余，因此自定義一個(gè)evaluate_model函數(shù)用于模型的構(gòu)建與檢測(cè)。evaluate_model函數(shù)操作的流程如下。邏輯回歸也被稱為廣義線性回歸模型，它與線性回歸模型的形式基本上相同，最大的區(qū)別就在于它們的因變量不同，如果是連續(xù)的，就是多重線性回歸；如果是二項(xiàng)分布，就是Logistic回歸。導(dǎo)入構(gòu)建邏輯回歸模型需要的一些開發(fā)庫(kù)。調(diào)用構(gòu)建的evaluate_model函數(shù)，即可構(gòu)建邏輯回歸模型，并計(jì)算模型的準(zhǔn)確率、召回率、AUC值。構(gòu)建邏輯回歸模型決策樹是一種樹狀結(jié)構(gòu)，它的每一個(gè)葉節(jié)點(diǎn)對(duì)應(yīng)著一個(gè)分類，非葉節(jié)點(diǎn)對(duì)應(yīng)著在某個(gè)屬性上的劃分，根據(jù)樣本在該屬性上的不同取值將其劃分成若干個(gè)子集。對(duì)于非純的葉節(jié)點(diǎn)，多數(shù)類的標(biāo)號(hào)給出到達(dá)這個(gè)節(jié)點(diǎn)的樣本所屬的類。導(dǎo)入構(gòu)建決策樹模型需要的一些開發(fā)庫(kù)。調(diào)用構(gòu)建的evaluate_model函數(shù)，即可構(gòu)建決策樹模型，并計(jì)算模型的準(zhǔn)確率、召回率、AUC值。構(gòu)建決策樹模型樸素貝葉斯模型是一種基于貝葉斯定理和特征條件獨(dú)立性假設(shè)的概率統(tǒng)計(jì)分類模型。它假設(shè)每個(gè)特征在給定類別下是獨(dú)立的，并且通過(guò)計(jì)算每個(gè)類別下特征的條件概率來(lái)進(jìn)行分類。導(dǎo)入構(gòu)建樸素貝葉斯模型需要的一些開發(fā)庫(kù)。調(diào)用構(gòu)建的evaluate_model函數(shù)，即可構(gòu)建樸素貝葉斯模型，并計(jì)算模型的準(zhǔn)確率、召回率、AUC值。構(gòu)建樸素貝葉斯模型比較邏輯回歸、決策樹、樸素貝葉斯三個(gè)模型的正確率、召回率、以及AUC值，選擇各個(gè)類的最優(yōu)模型。選擇最優(yōu)模型

低費(fèi)用中低費(fèi)用一般費(fèi)用中高費(fèi)用高費(fèi)用邏輯回歸準(zhǔn)確率0.75780.77980.78400.76700.7774召回率0.77070.81270.81500.79150.8027AUC值0.8293084570.84360.83610.8459決策樹準(zhǔn)確率0.70690.71460.7092073380.7100召回率0.70240.71400.72130.70710.7AUC值0.70680.71450.70930.71370.71樸素貝葉斯準(zhǔn)確率0.73280.75220.75700.74560.7442召回率0.80630.83980.84570.81960.8205AUC值0.80120.80530.81950.80380.8100不同的運(yùn)行環(huán)境，得到的結(jié)果可能存在一定的差異性。以低費(fèi)用為例，邏輯回歸模型在準(zhǔn)確率、AUC值方面表現(xiàn)出色，召回率方面也相對(duì)較好，顯示出較好的分類性能。決策樹模型在準(zhǔn)確率、召回率、AUC值方面表現(xiàn)較低，相對(duì)而言不是最佳選擇。樸素貝葉斯模型的準(zhǔn)確率、AUC值都比邏輯回歸模型的低，召回率會(huì)比邏輯回歸模型好一些。綜合考慮準(zhǔn)確率、召回率和AUC值，邏輯回歸模型在整體上表現(xiàn)出較