《數(shù)據(jù)挖掘與機器學習》 課件9.3 構建電信運營商用戶流失預測模型

構建電信運營商用戶流失預測模型電信運營商用戶分析任務描述電信企業(yè)為了最大程度地控制客戶流失、挽留現(xiàn)存在網(wǎng)用戶，分析不同群體用戶的使用規(guī)律，識別各群體客戶流失的重要特征。為了系統(tǒng)地描述電信運營商用戶流失的規(guī)律，引入數(shù)學模型對電信運營商用戶數(shù)據(jù)進行分析。運營商要實現(xiàn)控制客戶流失、挽留現(xiàn)存在網(wǎng)用戶，必須深入貫徹以人民為中心的發(fā)展思想。本任務的具體目標是基于電信運營商用戶分群模型建立邏輯回歸模型、決策樹模型和樸素貝葉斯模型，選取最優(yōu)的用戶流失模型。任務要求分析不同群體用戶的使用規(guī)律，識別各群體客戶流失的重要特征。建立不同群體用戶流失模型，建立邏輯回歸模型、決策樹模型和樸素貝葉斯模型，判斷模型建立的效果。選取最優(yōu)的用戶流失模型。相關知識所有與消費者掛鉤行業(yè)都會關注客戶流失。由于發(fā)展一個新客戶是需要一定成本的，如果客戶流失，不僅浪費了拉新成本，還需要花費更多的用戶召回成本。因此，基于電信行業(yè)在競爭日益激烈的情況，如何挽留更多用戶成為一項關鍵業(yè)務指標。為了更好運營用戶，這就要求要了解流失用戶的特征，分析流失原因，預測用戶流失，確定挽留目標用戶并制定有效方案，提升企業(yè)核心競爭力。特征值提取構建電信商用戶流失預測模型特征值提取基于樹的特征選擇導入開發(fā)庫特征變量選取特征抽取是數(shù)據(jù)挖掘任務最為重要的一個環(huán)節(jié)，一般而言，它對最終結果的影響要高過數(shù)據(jù)挖掘算法本身。只有先把現(xiàn)實用特征表示出來，才能借助數(shù)據(jù)挖掘的力量找到問題的答案。特征選擇的另一個優(yōu)點在于：降低真實世界的復雜度，模型比現(xiàn)實更容易操縱。特征選擇能夠降低復雜度、降低噪音和增加模型可讀性?；跇涞奶卣鬟x擇單個特征和某一類別之間相關性的計算方法有很多，比較有效的有卡方檢驗（chi2）以及互信息和信息熵，本文選擇基于信息熵的方法來選取特征變量。信息熵是在決策樹中廣泛使用的一個變量，用以獲取最優(yōu)劃分的節(jié)點。基于樹的預測模型能夠用來計算特征的重要程度，能用來去除不相關的特征。因此選擇基于樹的特征選擇（Tree-basedfeatureselection）來獲取特征變量?；跇涞奶卣鬟x擇使用from和import導入sklearn.ensemble中的ExtraTreesClassifier類與sklearn.feature_selection中的SelectFromModel類。導入開發(fā)庫用于從模型中選擇重要的特征用于構建極端隨機樹分類器由基于樹的特征選擇，使用sklearn庫導入信息熵的樹及特征值篩選模塊，使用for循環(huán)獲取前10個重要程度的特征變量，結果如下。特征變量選擇低費用'年齡','在網(wǎng)時長','本地通話次數(shù)','國內長途通話次數(shù)','國內漫游通話次數(shù)','上網(wǎng)流量','有通話天數(shù)','有主叫天數(shù)','有被叫天數(shù)','主叫呼叫圈'中低費用'年齡','在網(wǎng)時長','本月費用','本地通話次數(shù)','國內長途通話次數(shù)','國內漫游通話次數(shù)','有通話天數(shù)','有主叫天數(shù)','有被叫天數(shù)','主叫呼叫圈'一般費用'年齡','在網(wǎng)時長','本地通話次數(shù)','國內長途通話次數(shù)','國內漫游通話次數(shù)','短信發(fā)送數(shù)','上網(wǎng)流量','有通話天數(shù)','有主叫天數(shù)','有被叫天數(shù)'中高費用'年齡','在網(wǎng)時長','本地通話次數(shù)','國內長途通話次數(shù)','國內漫游通話次數(shù)','短信發(fā)送數(shù)','有通話天數(shù)','有主叫天數(shù)','有被叫天數(shù)','主叫呼叫圈'高費用'年齡','在網(wǎng)時長','平均本地通話時長','本地通話次數(shù)','國內長途通話次數(shù)','國內漫游通話次數(shù)','國內漫游上網(wǎng)流量','有通話天數(shù)','有主叫天數(shù)','有被叫天數(shù)'類型選取的變量構建電信商用戶流失預測模型自定義模型構建函數(shù)構建邏輯回歸模型構建決策樹模型構建樸素貝葉斯模型選擇最優(yōu)模型由于不同的模型構建過程類似，為了避免代碼贅余，因此自定義一個evaluate_model函數(shù)用于模型的構建與檢測。evaluate_model函數(shù)操作的流程如下。自定義模型構建函數(shù)基于特征變量的篩選結果，循環(huán)獲取不同用戶類型的重點特征提取特征和目標變量數(shù)據(jù)對數(shù)據(jù)進行欠采樣處理自定義模型構建函數(shù)劃分特征和目標變量，并劃分訓練集和測試集對數(shù)據(jù)進行標準化處理構建相關的模型，并對模型進行評估由于不同的模型構建過程類似，為了避免代碼贅余，因此自定義一個evaluate_model函數(shù)用于模型的構建與檢測。evaluate_model函數(shù)操作的流程如下。邏輯回歸也被稱為廣義線性回歸模型，它與線性回歸模型的形式基本上相同，最大的區(qū)別就在于它們的因變量不同，如果是連續(xù)的，就是多重線性回歸；如果是二項分布，就是Logistic回歸。導入構建邏輯回歸模型需要的一些開發(fā)庫。調用構建的evaluate_model函數(shù)，即可構建邏輯回歸模型，并計算模型的準確率、召回率、AUC值。構建邏輯回歸模型決策樹是一種樹狀結構，它的每一個葉節(jié)點對應著一個分類，非葉節(jié)點對應著在某個屬性上的劃分，根據(jù)樣本在該屬性上的不同取值將其劃分成若干個子集。對于非純的葉節(jié)點，多數(shù)類的標號給出到達這個節(jié)點的樣本所屬的類。導入構建決策樹模型需要的一些開發(fā)庫。調用構建的evaluate_model函數(shù)，即可構建決策樹模型，并計算模型的準確率、召回率、AUC值。構建決策樹模型樸素貝葉斯模型是一種基于貝葉斯定理和特征條件獨立性假設的概率統(tǒng)計分類模型。它假設每個特征在給定類別下是獨立的，并且通過計算每個類別下特征的條件概率來進行分類。導入構建樸素貝葉斯模型需要的一些開發(fā)庫。調用構建的evaluate_model函數(shù)，即可構建樸素貝葉斯模型，并計算模型的準確率、召回率、AUC值。構建樸素貝葉斯模型比較邏輯回歸、決策樹、樸素貝葉斯三個模型的正確率、召回率、以及AUC值，選擇各個類的最優(yōu)模型。選擇最優(yōu)模型

低費用中低費用一般費用中高費用高費用邏輯回歸準確率0.75780.77980.78400.76700.7774召回率0.77070.81270.81500.79150.8027AUC值0.8293084570.84360.83610.8459決策樹準確率0.70690.71460.7092073380.7100召回率0.70240.71400.72130.70710.7AUC值0.70680.71450.70930.71370.71樸素貝葉斯準確率0.73280.75220.75700.74560.7442召回率0.80630.83980.84570.81960.8205AUC值0.80120.80530.81950.80380.8100不同的運行環(huán)境，得到的結果可能存在一定的差異性。以低費用為例，邏輯回歸模型在準確率、AUC值方面表現(xiàn)出色，召回率方面也相對較好，顯示出較好的分類性能。決策樹模型在準確率、召回率、AUC值方面表現(xiàn)較低，相對而言不是最佳選擇。樸素貝葉斯模型的準確率、AUC值都比邏輯回歸模型的低，召回率會比邏輯回歸模型好一些。綜合考慮準確率、召回率和AUC值，邏輯回歸模型在整體上表現(xiàn)出較