VBBA方法用于電信客戶流失預(yù)測(cè)

1、VBBAT法用于電信客戶流失預(yù)測(cè)冉建榮摘 要 ： 對(duì)于電信客戶流失預(yù)測(cè)問(wèn)題， 流失客戶相對(duì)于非流失客戶來(lái)說(shuō)比例非常小， 這 種比率的嚴(yán)重失衡通常會(huì)污染預(yù)測(cè)模型，導(dǎo)致客戶流失預(yù)測(cè)效果大幅下降；另外， 單一的 統(tǒng)計(jì)學(xué)模型或人工智能模型用于客戶流失預(yù)測(cè)時(shí)， 存在對(duì)不同數(shù)據(jù)集模型的適應(yīng) 性不同的問(wèn)題。 本文提出采用最優(yōu)算法投票( VBBA )方法來(lái)解決這些問(wèn)題。文章用中國(guó) 移動(dòng)某公司的客戶數(shù)據(jù)進(jìn)行實(shí)證研究，用 ROC 曲線對(duì)預(yù)測(cè)結(jié)果進(jìn)行評(píng)估，結(jié)果表明：采用 最優(yōu)算法投票(VBBA )方法，其預(yù)測(cè)效果優(yōu)于任何單一算法模型直接預(yù)測(cè)的效果，這為電信業(yè)客戶流失管理實(shí)踐提供了一套有效的提升客戶流失預(yù)測(cè)精度的方法

2、。Abstract: In telecom customer churn prediction, customer churn rate is a very small proportion, usually that will pollute prediction model and lead to reduce prediction effect; in addition, single statistical model or single artificial intelligence model is difficult to satisfy various datum. So, t

3、his article proposes a V oting Based on the Best Arithmetic (VBBA) method to solve those problems. It conducts empirical study with customer data of a subsidiary company of China Mobile Communications Corporation (CMCC), and assess prediction effect using receiver operating characteristic curve (ROC

4、). The results show that the prediction effect of VBBA method is better than that of single arithmetic model, so VBBA method is effectual to lift prediction precision of customer churn in telecommunication customer churn management.關(guān)鍵詞 ：最優(yōu)算法投票客戶流失預(yù)測(cè) ROC 曲線Key words: Voting Based on the Best Arithmet

5、ic; Customer Churn Prediction; Receiver Operating Characteristic Curve (ROC)0 引言客戶流失是指客戶終止與企業(yè)的服務(wù)合同或轉(zhuǎn)向其它公司提供的服務(wù) 1 。 據(jù)中華人民共和國(guó)國(guó)家統(tǒng)計(jì)局統(tǒng)計(jì)數(shù)據(jù)表明，截止2011年12月，中國(guó)移動(dòng)電話用戶數(shù)達(dá)9.86億戶，比去年同期增長(zhǎng)14.8%；固定電話用戶數(shù)達(dá)2.85億戶，比去年同期減少3.14%2，表明國(guó)內(nèi)電信市場(chǎng)逐漸趨于飽和。 對(duì)電信運(yùn)營(yíng)企業(yè)來(lái)說(shuō)， 在這樣一個(gè)相對(duì)成熟的市場(chǎng)中競(jìng)爭(zhēng)， 防御性市場(chǎng)策略變得越來(lái)越重要。 防御性市場(chǎng)策略重點(diǎn)關(guān)注的是如何減少客戶流失， 而不是發(fā)展新客戶和誘使競(jìng)

6、爭(zhēng)對(duì)手的客戶轉(zhuǎn)網(wǎng)3。Reichheld4研究表明，客戶保持率每提高5%,行業(yè)平均利潤(rùn)增加幅度在25 %85 %之間。另有研究表明，贏得一個(gè)新客戶所花費(fèi)的成本大約是保留一個(gè)老客戶所花費(fèi)成本的56倍 5 。因此，如何構(gòu)建適合于自己的客戶流失管理系統(tǒng)，管理好客戶流失問(wèn)題是各電信運(yùn)營(yíng)企業(yè)提高盈利能力的關(guān)鍵。 客戶流失管理主要包括預(yù)測(cè)可能流失的客戶，客戶收益的評(píng)估及減少客戶流失的客戶保持策略及方法等幾方面6 。本文以提高客戶流失預(yù)測(cè)精度為目標(biāo)，提出基于最優(yōu)算法投票( VBBA ， Voting Based on the Best Arithmetic )方法， 對(duì)中國(guó)移動(dòng)某公司客戶數(shù)據(jù)進(jìn)行實(shí)證研究， 并

7、用 ROC 曲線對(duì)采用 VBBA 方法前后各算法模型的預(yù)測(cè)結(jié)果比較評(píng)估，結(jié)果表明 VBBA 方法能夠大幅度提高客戶流失預(yù)測(cè)效果。文章的組織結(jié)構(gòu)如下： 第一部分介紹了客戶流失預(yù)測(cè)一般方法； 第二部分提出 VBBA 方法的框架；第三部分用 VBBA 方法進(jìn)行實(shí)證研究；第四部分對(duì)研究結(jié)論作簡(jiǎn)單評(píng)述，并給出實(shí)踐建議。1 相關(guān)研究評(píng)述由于客戶流失預(yù)測(cè)是客戶保持策略的關(guān)鍵環(huán)節(jié)，在電信客戶流失管理中具有十分重要的地位和作用， 近年來(lái)受到越來(lái)越多的學(xué)者和電信運(yùn)營(yíng)管理人員的重視。 一般來(lái)說(shuō)， 電信業(yè)客戶流失預(yù)測(cè)是利用客戶記錄的歷史數(shù)據(jù)對(duì)潛在的流失客戶進(jìn)行判斷的過(guò)程6 。 其研究方法一般分為統(tǒng)計(jì)學(xué)方法和人工智能方

8、法。統(tǒng)計(jì)學(xué)方法包括決策樹(shù)( Decision Tree) 、 Logistic 回歸( Logistic Regression) 、貝葉斯分類器( Bayesian Classifier )和聚類( Clustering )等，該類方法的主要優(yōu)點(diǎn)是對(duì)所構(gòu)建的模型可解釋性強(qiáng)。 應(yīng)用這些統(tǒng)計(jì)學(xué)方法于電信客戶流失預(yù)測(cè)， 很多學(xué)者做了有價(jià)值的研究7-10 。但統(tǒng)計(jì)學(xué)方法在處理大規(guī)模、 高維度、 含非線性關(guān)系的客戶數(shù)據(jù)時(shí)效果并不理想， 且不能保證學(xué)習(xí)和泛化能力， 缺乏靈活性。因此， 近年來(lái)越來(lái)越多的學(xué)者將學(xué)習(xí)能力強(qiáng)，預(yù)測(cè)精度更高的人工智能方法引入客戶流失預(yù)測(cè)研究 11-17 。 人工智能方法主要包括人工

9、神經(jīng)網(wǎng)絡(luò) ( ANN,Artificial Neural Networks ) 、自組織映射( SOM, Self-organizing Map ) 、支持向量機(jī)( SVM, Support Vector Machine )和進(jìn)化學(xué)習(xí)( EL, Evolutionary Learning )算法等。不論是統(tǒng)計(jì)學(xué)方法還是人工智能方法，目前的研究目標(biāo)主要集中于單個(gè)算法(或改進(jìn)算法) 對(duì)原始數(shù)據(jù)建?；?qū)讉€(gè)單一算法組合成混合模型用于原始數(shù)據(jù)建模。 但由于電信客戶流失預(yù)測(cè)所用數(shù)據(jù)復(fù)雜多變， 很難找到普遍適用的最優(yōu)單一模型； 另外， 在客戶數(shù)據(jù)庫(kù)中，流失客戶的比例往往非常小， 這可能污染模型， 導(dǎo)致流失

10、預(yù)測(cè)模型的預(yù)測(cè)效果大幅下降。 鑒于此，本文提出基于最優(yōu)算法投票( VBBA ， Voting Based on the Best Arithmetic )方法來(lái)系統(tǒng)性的解決這些問(wèn)題。2 VBBA 方法的提出本文提出的最優(yōu)算法投票( VBBA ， Voting Based on the Best Arithmetic )方法框架如圖1 所示。主要分為選擇最優(yōu)算法和對(duì)最優(yōu)算法的預(yù)測(cè)結(jié)果組合投票兩部分。具體構(gòu)建過(guò)程如下：訓(xùn)練子集1結(jié)果A1模型A1結(jié)果B1模型B1訓(xùn)練集結(jié)果M2 .模型An肅_f上二一*模型Bn原始數(shù)據(jù)數(shù)據(jù)分區(qū)訓(xùn)練子集n.模型M1 +結(jié)果M1 *結(jié)果A2結(jié)果B2 - r -模型Mn .

11、結(jié)果Mn ./模型A2-I . t./ 一 模型 B2訓(xùn)練子集2.評(píng)估選 最優(yōu)模型*結(jié)果An* 結(jié)果Bn最優(yōu)模型1結(jié)果1/ ,-，/ .最優(yōu)用g型2測(cè)試集.,結(jié)果2組合投票結(jié)論餐最優(yōu)才g型n圖1最優(yōu)算法投票策略框架第1步：數(shù)據(jù)分區(qū)。將整理好的原始數(shù)據(jù)分成訓(xùn)練集和測(cè)試集兩部分，根據(jù)原始數(shù)據(jù)樣本多少可以按50/50、60/40、70/30等比例劃分，但一般來(lái)說(shuō)測(cè)試集數(shù)據(jù)不得少于總樣本的 20%18。第2步：抽取訓(xùn)練子集。對(duì)于客戶流失預(yù)測(cè)等分類問(wèn)題，由于流失率一般較低，流失客戶數(shù)和非流失客戶數(shù)嚴(yán)重失衡，導(dǎo)致大多數(shù)分類模型被污染，影響模型預(yù)測(cè)效果。 為提高流失客戶在訓(xùn)練數(shù)據(jù)集中的比例，一般采用保留所有

12、流失客戶數(shù)據(jù)的同時(shí)，抽取部分非流失客戶數(shù)據(jù)組成訓(xùn)練子集，以平衡訓(xùn)練集中流失客戶和非流失客戶的比例。對(duì)非流失客戶數(shù)據(jù)多次隨機(jī)抽樣從而可以形成多個(gè)訓(xùn)練子集，記為n, n取奇數(shù)。一般建議將數(shù)據(jù)子集中流失客戶和非流失客戶比率平衡為 20/8018。第3步：訓(xùn)練模型。選用多種（記為 M）基本分類算法（如決策樹(shù)、神經(jīng)網(wǎng)絡(luò)、邏輯 回歸、支持向量機(jī)、粗糙集等）分別對(duì)n個(gè)訓(xùn)練子集建模。第4步：選擇最優(yōu)算法模型。對(duì)M個(gè)算法模型分別在 n個(gè)訓(xùn)練子集的預(yù)測(cè)結(jié)果進(jìn)行比較評(píng)估，選取n次結(jié)果中平均精度最高、標(biāo)準(zhǔn)差最小的算法模型作為最優(yōu)模型。第5步：最優(yōu)模型組合投票。分別將n個(gè)最優(yōu)模型用于測(cè)試集， 對(duì)預(yù)測(cè)結(jié)果采用少數(shù)服 從多

13、少的投票策略，得票數(shù)大于等于（n 1）2票的目標(biāo)類（即流失或非流失）作為對(duì)該客戶的預(yù)測(cè)結(jié)果。如：在 9次預(yù)測(cè)中，對(duì)某客戶有 5次（或5次以上）預(yù)測(cè)為流失，4次（或 4次以下）預(yù)測(cè)為不流失，則最終投票結(jié)果為該客戶流失。3實(shí)證研究3.1 研究數(shù)據(jù)及評(píng)估方法（1）研究數(shù)據(jù)本文以中國(guó)移動(dòng)某公司客戶數(shù)據(jù)作為研究對(duì)象。由于臨時(shí)卡客戶（即購(gòu)買臨時(shí)卡將所含費(fèi)用用完即丟棄或換號(hào)的客戶）的消費(fèi)行為具有極大的不穩(wěn)定性，運(yùn)營(yíng)企業(yè)記錄的相關(guān)數(shù)據(jù)甚少，文章在研究時(shí)考慮先將此部分客戶排除。因此，我們隨機(jī)抽取該公司2012年13月一直在網(wǎng)的用戶25075戶，取其協(xié)議數(shù)據(jù)、消費(fèi)行為數(shù)據(jù)和賬單數(shù)據(jù)，以 2012年4月1日 至20

14、12年5月30日作為客戶流失判別窗口。對(duì)所提取客戶數(shù)據(jù)進(jìn)行清理、集成、變換、離散化等預(yù)處理后，得到數(shù)據(jù)有效樣本 24862戶，占總樣本數(shù)的99.2%;其中，流失用戶2345 戶，流失率9.4%o通過(guò)特征選擇方法對(duì)所有變量進(jìn)行篩選，得到與流失預(yù)測(cè)問(wèn)題強(qiáng)相關(guān)的 變量21個(gè)作為參與流失預(yù)測(cè)的特征變量，其中類別型特征變量4個(gè)，數(shù)值型特征變量17個(gè)。（2）評(píng)估方法本文選用Clementine12.0中的Neural Net、C5.0、Logistic和SVM四種模型作為研究的基 礎(chǔ)模型，采用ROC曲線（Receiver Operating Characteristic Curve） 19對(duì)預(yù)測(cè)結(jié)果進(jìn)行比

15、較評(píng) 估。ROC分析50年代起源于統(tǒng)計(jì)決策理論，廣泛應(yīng)用于分類器性能的評(píng)價(jià)20,21。流失預(yù)測(cè)問(wèn)題實(shí)質(zhì)就是一個(gè)二元分類問(wèn)題，因此可以借助ROC曲線來(lái)評(píng)價(jià)預(yù)測(cè)預(yù)測(cè)模型的預(yù)測(cè)效果。ROC曲線定義如下：假設(shè)有關(guān)于流失和非流失兩個(gè)類的混淆矩陣如表1所示。表1 一個(gè)關(guān)于客戶流失預(yù)測(cè)問(wèn)題的混淆矩陣實(shí)際狀態(tài)預(yù)測(cè)結(jié)果合計(jì)流失非流失流失A （真正）B （假負(fù)）A+B非流失C （假正）D （真負(fù)）C+D合計(jì)A+CB+DA+B+C+D由上表可以計(jì)算如下參數(shù):正真率（靈敏度）弘a B”靈敏度即流失客戶被預(yù)測(cè)為流失客戶的比率。假正率（1特異度）1 %C d）,特異度即非流失客戶被預(yù)測(cè)為非流失客戶的 比率。ROC曲線是以

16、真正率為縱坐標(biāo)，假正率為橫坐標(biāo)繪制的曲線。ROC曲線越靠近左上角，則模型預(yù)測(cè)的準(zhǔn)確性就越高，可用曲線下方的面積（ Area Under Curve ,即AUC ）度量預(yù)測(cè) 效果，AUC的值一般在1.0和0.5之間，面積值越接近1.0的表示預(yù)測(cè)效果越好。 一般：AUC 在0.50.7時(shí)有較低準(zhǔn)確性，AUC在0.70.9時(shí)有一定準(zhǔn)確性，AUC在0.9以上時(shí)有較高準(zhǔn)確性。3.2 單個(gè)模型用于客戶流失預(yù)測(cè)在建模之前我們將原始數(shù)據(jù)分區(qū)為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，分別占比60%和40%。采用Clementine12.0中的Neural Net、C5.0、Logistic和SVM四種模型用于分區(qū)后的原始數(shù) 據(jù)

17、建模。其中，C5.0模型選擇 use boosting和cross-validate,其他為默認(rèn)選項(xiàng)；Neural Net模型選擇默認(rèn)選項(xiàng)，即用 quick算法；Logistic模型選擇binomial算法，其他為默認(rèn)選項(xiàng)； SVM選擇默認(rèn)選項(xiàng)。用 SPSS15.0中的ROC構(gòu)造方法對(duì)訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集的預(yù)測(cè)結(jié) 果繪制ROC曲線并計(jì)算曲線下方面積（AUC）如表2所示。由表2可以看出，直接將四種 基本模型用于原始數(shù)據(jù)的預(yù)測(cè)結(jié)果中，Neural Net的預(yù)測(cè)效果相對(duì)較好，但總體來(lái)說(shuō)預(yù)測(cè)效果不理想。表2單個(gè)模型用于原始數(shù)據(jù)預(yù)測(cè)結(jié)果的AUC值模型訓(xùn)練集測(cè)試集Neural Net0.8140.811

18、C5.00.7900.755Logistic0.8140.808SVM0.8220.7093.3 VBBA方法用于客戶流失預(yù)測(cè)(1)數(shù)據(jù)分區(qū)將原始數(shù)據(jù)分區(qū)為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集，分別占比60%和40% (與3.2中分區(qū)方法同)。(2)抽取訓(xùn)練子集在占60%的訓(xùn)練數(shù)據(jù)集中，流失客戶和非流失客戶分別為1457戶和13615戶，按20/80的比率平衡數(shù)據(jù)集，則需從13615戶非流失客戶中隨機(jī)抽取5828戶( 1457 80 5828)20與1457戶流失客戶組成訓(xùn)練子集。其中抽取的 5828戶非流失客戶占非流失客戶總數(shù)的5828 一一一 ,一，42.8% ( 100% 42.8% ),按此比例改變

19、隨機(jī)種子再重復(fù)抽取8次，共得到9個(gè)訓(xùn)13615練子集。每次都按42.8%的比例從非流失客戶中隨機(jī)抽取，由于隨機(jī)種子的差異導(dǎo)致所得到的非流失客戶樣本數(shù)并不完全等于5828戶。各訓(xùn)練子集樣本數(shù)如表3所示。表3 9個(gè)訓(xùn)練子集樣本數(shù)統(tǒng)計(jì)樣本編號(hào)D1D2D3D4D5D6D7D8D9流失客戶樣本數(shù)145714571457145714571457145714571457非流失客戶樣本數(shù)579158865896580358335803579758995818樣本總數(shù)724873437353726072907260725473567275(3)訓(xùn)練模型選用 SPSS Clementine12.0 中的 Neur

20、al Net、C5.0、Logistic 和 SVM 四種模型分別對(duì) 9 個(gè)訓(xùn)練子集進(jìn)行建模。在建模過(guò)程中，C5.0模型選擇use boosting和cross-validate,其他為默認(rèn)選項(xiàng)；Neural Net模型選擇默認(rèn)選項(xiàng)， 即用quick算法；Logistic模型選擇binomial算法， 其他為默認(rèn)選項(xiàng)； SVM選擇默認(rèn)選項(xiàng)。得到 Neural Net、C5.0、Logistic和SVM模型各9(4)選擇最優(yōu)模型分別將從9個(gè)訓(xùn)練子集訓(xùn)練得到的9個(gè)Neural Net模型、9個(gè)C5.0模型、9個(gè)Logistic模型和9個(gè)SVM模型的預(yù)測(cè)結(jié)果輸出轉(zhuǎn)化成適合于SPSS15.0的數(shù)據(jù)格式

21、，采用 SPSS15.0中構(gòu)建ROC曲線的方法繪制 ROC曲線并計(jì)算得到 ROC曲線下方面積(AUC)如表4所示。 由表4可知：Neural Net模型9次預(yù)測(cè)結(jié)果的平均 AUC最大(0.846),表明其預(yù)測(cè)效果最優(yōu)； SVM模型9次預(yù)測(cè)結(jié)果的 AUC標(biāo)準(zhǔn)差最小(0.0039),表明其最為穩(wěn)定。我們?cè)诖艘灶A(yù)測(cè) 效果作為首要評(píng)判條件，選用 Neural Net模型作為最優(yōu)模型。表4各模型對(duì)9個(gè)訓(xùn)練子集預(yù)測(cè)的評(píng)估結(jié)果模型D1D2D3D4D5D6D7D8D9平均標(biāo)準(zhǔn)差C5.00.8370.8430.8490.8410.8370.8390.8350.8470.8380.8410.0048Neural

22、Net0.8450.8460.8410.8510.8510.8410.8450.8450.8510.8460.0040Logistic0.8470.8330.8360.8370.8350.8420.8350.8340.8400.8380.0045SVM0.7350.7420.7340.7370.7350.7330.7340.7340.7440.7360.0039（5）最優(yōu)模型組合投票將從9個(gè)訓(xùn)練子集得到的 9個(gè)Neural Net模型分別用于測(cè)試數(shù)據(jù)集， 采用少數(shù)服從多數(shù) 的投票策略對(duì)預(yù)測(cè)結(jié)果進(jìn)行綜合。在9次預(yù)測(cè)中，將有5次（或5次以上）預(yù)測(cè)結(jié)果為流失的客戶確定為流失客戶，其他為非流失客戶。采

23、用ROC曲線對(duì)測(cè)試結(jié)果進(jìn)行評(píng)估， 得到ROC 曲線下方面積（AUC）如表5所示。由表5可知：投票后的預(yù)測(cè)結(jié)果的AUC為0.855,高于9個(gè)模型預(yù)測(cè)結(jié)果的平均 AUC值（0.846）,表明采用少數(shù)服從多數(shù)的原則投票綜合后的 預(yù)測(cè)效果明顯提高。表5 9個(gè)Neural Net模型測(cè)試及投票的評(píng)估結(jié)果Source o Cmvea優(yōu)模祭技祭 C5.0Heursilnet Locisiic STIRef eiL eiice Line模型N1N2N3N4N5N6N7N8N9平均投票結(jié)果AUC0.8470.8310.8430.8550.8520.8330.8510.8540.8490.8460.8553.4比

24、較評(píng)估由表2和表5結(jié)果可得到表6,由表6可知，通過(guò)采用 VBBA方法后，對(duì)測(cè)試數(shù)據(jù)集 預(yù)測(cè)結(jié)果的AUC值從單個(gè)模型中最優(yōu)的 0.811 （Neural Net結(jié)果）提升為0.855,表明預(yù)測(cè) 效果有明顯提高。表6 VBBA方法與單一模型的預(yù)測(cè)結(jié)果比較模型VBBAC5.0Neural NetLogisticSVMAUC0.8550.7550.8110.8080.709另外，我們基于測(cè)試數(shù)據(jù)集的預(yù)測(cè)結(jié)果， 分別構(gòu)建Neural Net模型、C5.0模型、Logistic 模型、SVM模型和VBBA方法的預(yù)測(cè)結(jié)果的 ROC曲線，如圖2所示。從圖2可以直觀看 出VBBA方法的ROC曲線明顯高于其它四種

25、單一模型的 ROC曲線，表明采用VBBA方法 后，預(yù)測(cè)效果得到大幅提升。圖2 VBBA方法與四種單一模型方法的預(yù)測(cè)結(jié)果ROC曲線對(duì)比4結(jié)論本文針對(duì)電信運(yùn)營(yíng)企業(yè)客戶流失預(yù)測(cè)時(shí)客戶數(shù)據(jù)中流失客戶和非流失客戶比例嚴(yán)重失衡，可能影響大多數(shù)分類模型預(yù)測(cè)效果的問(wèn)題，提出最優(yōu)算法投票（ VBBA ）方法框架，并用中國(guó)移動(dòng)某公司客戶數(shù)據(jù)進(jìn)行了實(shí)證研究，分別采用VBBA方法構(gòu)建流失預(yù)測(cè)混合模型 和采用 Neural Net、 C5.0、 Logistic 和 SVM 四種單一算法構(gòu)建流失預(yù)測(cè)模型，用 SPSS15.0對(duì)實(shí)證結(jié)果數(shù)據(jù)進(jìn)行處理，并繪制 ROC 曲線進(jìn)行評(píng)估，結(jié)果表明：采用最優(yōu)算法投票方法后，其預(yù)測(cè)結(jié)

26、果的ROC曲線下方面積（AUC）為0.855,優(yōu)于最優(yōu)算法模型9次預(yù)測(cè)結(jié)果的平均 AUC 值（0.846）和單個(gè)模型中預(yù)測(cè)效果最好的Neural Net 模型的預(yù)測(cè)結(jié)果AUC 值（0.811） 。 這表明 VBBA 方法能夠大幅提高客戶流失預(yù)測(cè)精度， 對(duì)電信運(yùn)營(yíng)企業(yè)客戶流失實(shí)踐來(lái)說(shuō)又提供了一套有效的方法。參考文獻(xiàn)1詹穆斯德阿克.企業(yè)的泛風(fēng)險(xiǎn)管理M.吉林人民出版社,2001: 4659.2 中華人民共和國(guó)國(guó)家統(tǒng)計(jì)局網(wǎng)站 . 3 Fornell C, Wernerfelt B. Defensive marketing strategy by customer complaint managemen

27、t: A theoretical analysis. Journal of Marketing ResearchJ. 1987, 24(4):337346.4 Reichheld F F, Sasser W E. Zero defections: quality comes to servicesJ.Harvard Business Review,1990,9-10:105-111.5 Bhattacharya C B. When customers are members: customer retention in paid membership contextsJ. Journal of

28、 the Academy of Marketing Science, 1998, 26(1): 3144.6 Lian Y , Richard H W, Robert D. Predicting customer behavior in telecommunicationsJ. IEEE Intelligent System, 2004, 4: 5058.7 Chih-Ping Wei, Chiu I T. Turning telecommunications call details to churn prediction: a data mining approachJ. Expert S

29、ystems with Applications, 2002, 23(2): 103112.8 Kim H S, Yoon C H. Determinants of subscriber churn and customer loyalty in the Korean mobile telephony marketJ. Telecommunications Policy, 2003, 28(9): 751765.9 葉進(jìn)，程澤凱，林士敏 . 基于貝葉斯網(wǎng)絡(luò)的電信客戶流失預(yù)測(cè)分析J. 計(jì)算機(jī)工程與應(yīng)用, 2005,14: 212214.10 Yang Y M, Hui W, Lei L. Mul

30、ti-dimensional model-based clustering for user-behavior mining in telecommunications industryC. Proceeding of the third international conference on machine learning and cybernetics, shanghai, 2004: 2629.11 Shin-Yuan Hung, David C. Yen, Hsiu-Yu Wang.Applying data mining to telecom churn managementJ. Expert Systems with Applications. 2006.31: 515524.12 Wai-Ho Au, Keith C.C.Chan, Xin Yao.A novel evolutionary data mining algorithm with applicaions to shurn predictionJ. Evolutionary Computation,IEEE Transactions.2003,7(6):532545.13 Ultch