Python數(shù)據(jù)分析與應(yīng)用（第2版）（微課版）-拓展案例 財(cái)政收入預(yù)測(cè)分析

財(cái)政收入預(yù)測(cè)分析1了解相關(guān)性分析目錄分析財(cái)政收入預(yù)測(cè)背景2使用Lasso回歸選取財(cái)政收入預(yù)測(cè)的關(guān)鍵特征3使用灰色預(yù)測(cè)和SVR構(gòu)建財(cái)政收入預(yù)測(cè)模型4小結(jié)5財(cái)政收入簡(jiǎn)介和需求

財(cái)政收入，是指政府為履行其職能、實(shí)施公共政策和提供公共物品與服務(wù)需要而籌集的一切資金的總和。財(cái)政收入表現(xiàn)為政府部門在一定時(shí)期內(nèi)（一般為一個(gè)財(cái)政年度）所取得的貨幣收入。財(cái)政收入是衡量一國(guó)政府財(cái)力的重要特征，政府在社會(huì)經(jīng)濟(jì)活動(dòng)中提供公共物品和服務(wù)的范圍和數(shù)量，在很大程度上取決于財(cái)政收入的充裕狀況。

在我國(guó)現(xiàn)行的分稅制財(cái)政管理體制下，地方財(cái)政收入不但是國(guó)家財(cái)政收入的重要組成部分，而且具有其相對(duì)獨(dú)立的構(gòu)成內(nèi)容。如何制定地方財(cái)政支出計(jì)劃，合理分配地方財(cái)政收入，促進(jìn)地方的發(fā)展，提高市民的收入和生活質(zhì)量是每個(gè)地方政府需要考慮的首要問題。因此，地方財(cái)政收入預(yù)測(cè)是非常必要的。分析財(cái)政收入預(yù)測(cè)背景財(cái)政收入預(yù)測(cè)數(shù)據(jù)基礎(chǔ)情況考慮到數(shù)據(jù)的可得性，本項(xiàng)目所用的財(cái)政收入分為地方一般預(yù)算收入和政府性基金收入。地方一般預(yù)算收入包括以下2個(gè)部分。

稅收收入。主要包括企業(yè)所得稅與地方所得稅中中央和地方共享的40%，地方享有的25%的增值稅，營(yíng)業(yè)稅和印花稅等。非稅收收入。包括專項(xiàng)收入、行政事業(yè)性收費(fèi)、罰沒收入、國(guó)有資本經(jīng)營(yíng)收入和其他收入等。政府性基金收入是國(guó)家通過向社會(huì)征收以及出讓土地、發(fā)行彩票等方式取得收入，并專項(xiàng)用于支持特定基礎(chǔ)設(shè)施建設(shè)和社會(huì)事業(yè)發(fā)展的收入。分析財(cái)政收入預(yù)測(cè)背景財(cái)政收入預(yù)測(cè)數(shù)據(jù)基礎(chǔ)情況由于1994年我國(guó)對(duì)財(cái)政體制進(jìn)行了重大改革，開始實(shí)行分稅制財(cái)政體制，影響了財(cái)政收入相關(guān)數(shù)據(jù)的連續(xù)性，在1994年前后不具有可比性。由于沒有合適的方法來調(diào)整這種數(shù)據(jù)的躍變，因此本項(xiàng)目?jī)H對(duì)1994年至

2013年的數(shù)據(jù)進(jìn)行分析（本項(xiàng)目所用數(shù)據(jù)均來自《統(tǒng)計(jì)年鑒》）。各項(xiàng)特征名稱及特征說明如下（共13項(xiàng)）：社會(huì)從業(yè)人數(shù)(x1)：就業(yè)人數(shù)的上升伴隨著居民消費(fèi)水平的提高，從而間接影響財(cái)政收入的增加。

在崗職工工資總額(x2)：反映的是社會(huì)分配情況，主要影響財(cái)政收入中的個(gè)人所得稅、房產(chǎn)稅以及潛在消費(fèi)能力。分析財(cái)政收入預(yù)測(cè)背景財(cái)政收入預(yù)測(cè)數(shù)據(jù)基礎(chǔ)情況

社會(huì)消費(fèi)品零售總額(x3)：代表社會(huì)整體消費(fèi)情況，是可支配收入在經(jīng)濟(jì)生活中的實(shí)現(xiàn)。當(dāng)社會(huì)消費(fèi)品零售總額增長(zhǎng)時(shí)，表明社會(huì)消費(fèi)意愿強(qiáng)烈，部分程度上會(huì)導(dǎo)致財(cái)政收入中增值稅的增長(zhǎng)；同時(shí)當(dāng)消費(fèi)增長(zhǎng)時(shí)，也會(huì)引起經(jīng)濟(jì)系統(tǒng)中其他方面發(fā)生變動(dòng)，最終導(dǎo)致財(cái)政收入的增長(zhǎng)。

城鎮(zhèn)居民人均可支配收入(x4)：居民收入越高消費(fèi)能力越強(qiáng)，同時(shí)意味著其工作積極性越高，創(chuàng)造出的財(cái)富越多，從而能帶來財(cái)政收入的更快和持續(xù)增長(zhǎng)。

城鎮(zhèn)居民人均消費(fèi)性支出(x5)：居民在消費(fèi)商品的過程中會(huì)產(chǎn)生各種稅費(fèi)，稅費(fèi)又是調(diào)節(jié)生產(chǎn)規(guī)模的手段之一。在商品經(jīng)濟(jì)發(fā)達(dá)的如今，居民消費(fèi)的越多，對(duì)財(cái)政收入的貢獻(xiàn)就越大。年末總?cè)丝?x6)：在地方經(jīng)濟(jì)發(fā)展水平既定的條件下，人均地方財(cái)政收入與地方人口數(shù)呈反比例變化。分析財(cái)政收入預(yù)測(cè)背景財(cái)政收入預(yù)測(cè)數(shù)據(jù)基礎(chǔ)情況

全社會(huì)固定資產(chǎn)投資額(x7)：是建造和購置固定資產(chǎn)的經(jīng)濟(jì)活動(dòng)，即固定資產(chǎn)再生產(chǎn)活動(dòng)。主要通過投資來促進(jìn)經(jīng)濟(jì)增長(zhǎng)，擴(kuò)大稅源，進(jìn)而拉動(dòng)財(cái)政稅收收入整體增長(zhǎng)。

地區(qū)生產(chǎn)總值(x8)：表示地方經(jīng)濟(jì)發(fā)展水平。一般來講，政府財(cái)政收入來源于即期的地區(qū)生產(chǎn)總值。在國(guó)家經(jīng)濟(jì)政策不變、社會(huì)秩序穩(wěn)定的情況下，地方經(jīng)濟(jì)發(fā)展水平與地方財(cái)政收入之間存在著密切的相關(guān)性，越是經(jīng)濟(jì)發(fā)達(dá)的地區(qū)，其財(cái)政收入的規(guī)模就越大。第一產(chǎn)業(yè)產(chǎn)值(x9)：取消農(nóng)業(yè)稅、實(shí)施三農(nóng)政策，第一產(chǎn)業(yè)對(duì)財(cái)政收入的影響更小。

稅收(x10)：由于其具有征收的強(qiáng)制性、無償性和固定性特點(diǎn)，可以為政府履行其職能提供充足的資金來源。因此，各國(guó)都將其作為政府財(cái)政收入的最重要的收入形式和來源。分析財(cái)政收入預(yù)測(cè)背景財(cái)政收入預(yù)測(cè)數(shù)據(jù)基礎(chǔ)情況

居民消費(fèi)價(jià)格指數(shù)(x11)：反映居民家庭購買的消費(fèi)品及服務(wù)價(jià)格水平的變動(dòng)情況，影響城鄉(xiāng)居民的生活支出和國(guó)家的財(cái)政收入。

第三產(chǎn)業(yè)與第二產(chǎn)業(yè)產(chǎn)值比(x12)：表示產(chǎn)業(yè)結(jié)構(gòu)。三次產(chǎn)業(yè)生產(chǎn)總值代表國(guó)民經(jīng)濟(jì)水平，是財(cái)政收入的主要影響因素，當(dāng)產(chǎn)業(yè)結(jié)構(gòu)逐步優(yōu)化時(shí)，財(cái)政收入也會(huì)隨之增加。居民消費(fèi)水平(x13)：在很大程度上受整體經(jīng)濟(jì)狀況GDP的影響，從而間接影響地方財(cái)政收入。分析財(cái)政收入預(yù)測(cè)背景財(cái)政收入預(yù)測(cè)分析目標(biāo)結(jié)合財(cái)政收入預(yù)測(cè)的需求分析，本次數(shù)據(jù)分析建模目標(biāo)主要有以下2個(gè)。分析、識(shí)別影響地方財(cái)政收入的關(guān)鍵特征。預(yù)測(cè)2014年和2015年的財(cái)政收入。分析財(cái)政收入預(yù)測(cè)背景方法選擇——最小二乘估計(jì)方法

眾多學(xué)者已經(jīng)對(duì)財(cái)政收入的影響因素進(jìn)行了研究，但是他們大多先建立財(cái)政收入與各待定的影響因素之間的多元線性回歸模型，運(yùn)用最小二乘估計(jì)方法來估計(jì)回歸模型的系數(shù)，通過系數(shù)來檢驗(yàn)它們之間的關(guān)系，模型的結(jié)果對(duì)數(shù)據(jù)的依賴程度很大，并且普通最小二乘估計(jì)求得的解往往是局部最優(yōu)解，后續(xù)步驟的檢驗(yàn)可能就會(huì)失去應(yīng)有的意義。了解財(cái)政收入預(yù)測(cè)的方法方法選擇——Lasso特征選擇方法

本項(xiàng)目在已有研究的基礎(chǔ)上運(yùn)用Lasso特征選擇方法來研究影響地方財(cái)政收入的因素。在Lasso特征選擇的基礎(chǔ)上，鑒于灰色預(yù)測(cè)對(duì)少量數(shù)據(jù)預(yù)測(cè)的優(yōu)良性能，對(duì)單個(gè)選定的影響因素建立灰色預(yù)測(cè)模型，得到它們?cè)?014年及2015年的預(yù)測(cè)值。由于支持向量回歸較強(qiáng)的適用性和容錯(cuò)能力，對(duì)歷史數(shù)據(jù)建立訓(xùn)練模型，把灰色預(yù)測(cè)的數(shù)據(jù)結(jié)果代入訓(xùn)練完成的模型中，充分考慮歷史數(shù)據(jù)信息，可以得到較為準(zhǔn)確的預(yù)測(cè)結(jié)果，即

2014年和2015年財(cái)政收入。了解財(cái)政收入預(yù)測(cè)的方法熟悉財(cái)政收入預(yù)測(cè)的步驟與流程項(xiàng)目流程項(xiàng)目流程本項(xiàng)目的總體流程如圖所示，主要包括以下步驟。對(duì)原始數(shù)據(jù)進(jìn)行探索性分析，了解原始特征之間的相關(guān)性。利用Lasso特征選擇模型進(jìn)行特征提取。建立單個(gè)特征的灰色預(yù)測(cè)模型以及支持向量回歸預(yù)測(cè)模型。使用支持向量回歸預(yù)測(cè)模型得出2014-2015年財(cái)政收入的預(yù)測(cè)值。對(duì)上述建立的財(cái)政收入預(yù)測(cè)模型進(jìn)行評(píng)價(jià)。熟悉財(cái)政收入預(yù)測(cè)的步驟與流程1了解相關(guān)性分析目錄分析財(cái)政收入預(yù)測(cè)背景2使用Lasso回歸選取財(cái)政收入預(yù)測(cè)的關(guān)鍵特征3使用灰色預(yù)測(cè)和SVR構(gòu)建財(cái)政收入預(yù)測(cè)模型4小結(jié)5Pearson相關(guān)系數(shù)?了解相關(guān)性分析Pearson相關(guān)系數(shù)?了解相關(guān)性分析x1x2x3x4x5x6x7x8x9x10x11x12x13yx11.000.950.950.970.970.990.950.970.980.98-0.290.940.960.94x20.951.001.000.990.990.920.990.990.980.98-0.130.891.000.98x30.951.001.000.990.990.921.000.990.980.99-0.150.891.000.99x40.970.990.991.001.000.950.991.000.991.00-0.190.911.000.99x50.970.990.991.001.000.950.991.000.991.00-0.180.900.990.99x60.990.920.920.950.951.000.930.950.970.96-0.340.950.940.91x70.950.991.000.990.990.931.000.990.980.99-0.150.891.000.99x80.970.990.991.001.000.950.991.000.991.00-0.150.901.000.99x90.980.980.980.990.990.970.980.991.000.99-0.230.910.990.98x100.980.980.991.001.000.960.991.000.991.00-0.170.900.990.99x11-0.29-0.13-0.15-0.19-0.18-0.34-0.15-0.15-0.23-0.171.00-0.43-0.16-0.12x120.940.890.890.910.900.950.890.900.910.90-0.431.000.900.87x130.961.001.001.000.990.941.001.000.990.99-0.160.901.000.99y0.940.980.990.990.990.910.990.990.980.99-0.120.870.991.00分析計(jì)算結(jié)果Pearson相關(guān)系數(shù)矩陣分析

由上表可知，居民消費(fèi)價(jià)格指數(shù)（x11）與財(cái)政收入（y）的線性關(guān)系不顯著，呈現(xiàn)負(fù)相關(guān)。其余特征均與財(cái)政收入呈現(xiàn)高度的正相關(guān)關(guān)系。按相關(guān)性大小，依次是x3，x4，x5，x7，x8，x10，x13，x2，x9，x1，x6和x12。各特征之間存在著嚴(yán)重的多重共線性：特征x1，x4，x5，x6，x8，x9，x10與除了x11之外的特征均存在嚴(yán)重的共線性。特征x2，x3，x7與除了x11和x12外的其他特征存在著嚴(yán)重的多重共線性。x11與各特征的共線性不明顯。x12與除了x2，x3，x7，x11之外的其他特征有嚴(yán)重的共線性。x13與除了x11之外的各特征有嚴(yán)重的共線性。x2和x3，x2和x13，x3和x13等多對(duì)特征之間存在完全的共線性。

由上述分析可知，選取的各特征除了x11外，其他特征與y的相關(guān)性很強(qiáng)，可以用作財(cái)政收入預(yù)測(cè)分析的關(guān)鍵特征，但這些特征之間存在著信息的重復(fù)，需要對(duì)特征進(jìn)行進(jìn)一步篩選。分析計(jì)算結(jié)果1了解相關(guān)性分析目錄分析財(cái)政收入預(yù)測(cè)背景2使用Lasso回歸選取財(cái)政收入預(yù)測(cè)的關(guān)鍵特征3使用灰色預(yù)測(cè)和SVR構(gòu)建財(cái)政收入預(yù)測(cè)模型4小結(jié)5概念Lasso回歸方法屬于正則化方法的一種，是壓縮估計(jì)。

它通過構(gòu)造一個(gè)懲罰函數(shù)得到一個(gè)較為精煉的模型，使得它壓縮一些系數(shù)，同時(shí)設(shè)定一些系數(shù)為零，保留了子集收縮的優(yōu)點(diǎn)，是一種處理具有復(fù)共線性數(shù)據(jù)的有偏估計(jì)。了解Lasso回歸方法基本原理Lasso以縮小特征集（降階）為思想，是一種收縮估計(jì)方法。

Lasso方法可以將特征的系數(shù)進(jìn)行壓縮并使某些回歸系數(shù)變?yōu)?，進(jìn)而達(dá)到特征選擇的目的，可以廣泛地應(yīng)用于模型改進(jìn)與選擇。

通過選擇懲罰函數(shù)，借用Lasso思想和方法實(shí)現(xiàn)特征選擇的目的。模型選擇本質(zhì)上是尋求模型稀疏表達(dá)的過程，而這種過程可以通過優(yōu)化一個(gè)“損失”＋“懲罰”的函數(shù)問題來完成。了解Lasso回歸方法2.基本原理?了解Lasso回歸方法適用場(chǎng)景

當(dāng)原始特征中存在多重共線性時(shí)，Lasso回歸不失為一種很好的處理共線性的方法，它可以有效地對(duì)存在多重共線性的特征進(jìn)行篩選。

在機(jī)器學(xué)習(xí)中，面對(duì)海量的數(shù)據(jù)，首先想到的就是降維，爭(zhēng)取用盡可能少的數(shù)據(jù)解決問題，從這層意義上說，用Lasso模型進(jìn)行特征選擇也是一種有效的降維方法。

Lasso從理論上說，對(duì)數(shù)據(jù)類型沒有太多限制，可以接受任何類型的數(shù)據(jù)，而且一般不需要對(duì)特征進(jìn)行標(biāo)準(zhǔn)化處理。了解Lasso回歸方法Lasso回歸方法優(yōu)缺點(diǎn)

優(yōu)點(diǎn)：可以彌補(bǔ)最小二乘法和逐步回歸局部最優(yōu)估計(jì)的不足，可以很好地進(jìn)行特征的選擇，可以有效地解決各特征之間存在多重共線性的問題。

缺點(diǎn)：如果存在一組高度相關(guān)的特征時(shí)，Lasso回歸方法傾向于選擇其中的一個(gè)特征，而忽視其他所有的特征，這種情況會(huì)導(dǎo)致結(jié)果的不穩(wěn)定性。雖然Lasso回歸方法存在弊端，但是在合適的場(chǎng)景中還是可以發(fā)揮不錯(cuò)的效果。在財(cái)政收入預(yù)測(cè)中，各原始特征存在著嚴(yán)重的多重共線性，多重共線性問題已成為主要問題，這里采用Lasso回歸方法進(jìn)行特征選取是恰當(dāng)?shù)?。了解Lasso回歸方法分析系數(shù)表用Python編制相應(yīng)的程序后運(yùn)行得到如下表所示的結(jié)果。分析Lasso回歸結(jié)果x1x2x3x4x5x6x7-0.00010.0000.124-0.0100.0650.0000.317x8x9x10x11x12x130.035-0.0010.0000.0000.000-0.040由上表可看出，利用Lasso回歸方法識(shí)別影響財(cái)政收入的關(guān)鍵影響因素是社會(huì)從業(yè)人數(shù)（x1）、社會(huì)消費(fèi)品零售總額（x3）、城鎮(zhèn)居民人均可支配收入（x4）、城鎮(zhèn)居民人均消費(fèi)性支出（x5）、全社會(huì)固定資產(chǎn)投資額（x7）、地區(qū)生產(chǎn)總值（x8）、第一產(chǎn)業(yè)產(chǎn)值（x9）和居民消費(fèi)水平（x13）。1了解相關(guān)性分析目錄分析財(cái)政收入預(yù)測(cè)背景2使用Lasso回歸選取財(cái)政收入預(yù)測(cè)的關(guān)鍵特征3使用灰色預(yù)測(cè)和SVR構(gòu)建財(cái)政收入預(yù)測(cè)模型4小結(jié)5概念灰色預(yù)測(cè)法是一種對(duì)含有不確定因素的系統(tǒng)進(jìn)行預(yù)測(cè)的方法。

在建立灰色預(yù)測(cè)模型之前，需先對(duì)原始時(shí)間序列進(jìn)行數(shù)據(jù)處理，經(jīng)過數(shù)據(jù)處理后的時(shí)間序列即稱為生成列?；疑到y(tǒng)常用的數(shù)據(jù)處理方式有累加和累減兩種。了解灰色預(yù)測(cè)算法2.基本原理?了解灰色預(yù)測(cè)算法基本原理后驗(yàn)差檢驗(yàn)?zāi)Ｐ途热缦卤硭尽Ａ私饣疑A(yù)測(cè)算法PC模型精度>0.95<0.35好>0.80<0.5合格>0.70<0.65勉強(qiáng)合格<0.70>0.65不合格適用場(chǎng)景

灰色預(yù)測(cè)法的通用性比較強(qiáng)些，一般的時(shí)間序列場(chǎng)合都可以用，尤其適合那些規(guī)律性差且不清楚數(shù)據(jù)產(chǎn)生機(jī)理的情況?；疑A(yù)測(cè)優(yōu)缺點(diǎn)優(yōu)點(diǎn)：具有預(yù)測(cè)精度高、模型可檢驗(yàn)、參數(shù)估計(jì)方法簡(jiǎn)單、對(duì)小數(shù)據(jù)集有很好的預(yù)測(cè)效果。

缺點(diǎn)：對(duì)原始數(shù)據(jù)序列的光滑度要求很高，在原始數(shù)據(jù)列光滑性較差的情況下灰色預(yù)測(cè)模型的預(yù)測(cè)精度不高甚至通不過檢驗(yàn)，結(jié)果只能放棄使用灰色模型進(jìn)行預(yù)測(cè)。了解灰色預(yù)測(cè)算法1.基本原理?了解SVR算法適用場(chǎng)景

由于支持向量機(jī)擁有完善的理論基礎(chǔ)和良好的特性，人們對(duì)其進(jìn)行了廣泛的研究和應(yīng)用，涉及分類、回歸、聚類、時(shí)間序列分析、異常點(diǎn)檢測(cè)等諸多方面。具體的研究?jī)?nèi)容包括統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)、各種模型的建立、相應(yīng)優(yōu)化算法的改進(jìn)以及實(shí)際應(yīng)用。支持向量回歸也在這些研究中得到了發(fā)展和逐步完善，已有許多富有成果的研究工作。了解SVR算法SVR算法優(yōu)缺點(diǎn)

優(yōu)點(diǎn)：支持向量回歸不僅適用于線性模型，對(duì)于數(shù)據(jù)和特征之間的非線性關(guān)系也能很好抓住；持向量回歸不需要擔(dān)心多重共線性問題，可以避免局部極小化問題，提高泛化性能，解決高維問題；支持向量回歸雖然不會(huì)在過程中直接排除異常點(diǎn)，但會(huì)使得由異常點(diǎn)引起的偏差更小。缺點(diǎn)：計(jì)算復(fù)雜度高，在面臨數(shù)據(jù)量大的時(shí)候，計(jì)算耗時(shí)長(zhǎng)。了解SVR算法主要參數(shù)介紹sklearn庫的LinearSVR函數(shù)實(shí)現(xiàn)了線性支持向量回歸，其使用語法如下。class

sklearn.svm.LinearSVR(epsilon=0.0,

tol=0.0001,

C=1.0,

loss=’epsilon_insensitive’常用參數(shù)及說明如下。了解SVR算法參數(shù)名稱說明接收float。用于loss參數(shù)中的參數(shù)。默認(rèn)為0.1。epsilontol接收float。指定終止迭代的閾值。默認(rèn)為0.0001。C接收float。表示罰項(xiàng)系數(shù)。默認(rèn)為1.0。loss參數(shù)名稱說明fit_intercept接收boolean。表示是否計(jì)算模型的截距。默認(rèn)為True。intercept_scalingdual接收boolear。選擇解決對(duì)偶問題或原始問題。如果為True，則解決對(duì)偶問題；如果是False，則解決原始問題。默認(rèn)為True。接收int。表示是否開啟verbose輸出。默認(rèn)為0。verboserandom_state輸入int，或者一個(gè)RandomState實(shí)例，或者None。表示使用的隨機(jī)數(shù)生成器的種子。默認(rèn)為None。如果為整數(shù)，則它指定隨機(jī)數(shù)生成器的種子。如果為RandomState實(shí)例，則指定隨機(jī)數(shù)生成器。3.如果為None，則使用默認(rèn)的隨機(jī)數(shù)生成器。max_iter接收int。指定最大迭代次數(shù)。默認(rèn)為1000。了解SVR算法續(xù)表主要參數(shù)介紹使用sklearn構(gòu)建的SVR模型屬性及其說明如下表所示。了解SVR算法屬性名稱說明返回array。給出各個(gè)特征的權(quán)重。coef_intercept_返回array。給出截距，即決策函數(shù)中的常數(shù)項(xiàng)。2014預(yù)測(cè)值2015預(yù)測(cè)值預(yù)測(cè)精度等級(jí)x18142148.28460489.3好x37042.318166.92好x443611.8447792.22好x535046.6338384.22好x685055238627139好x74600.45214.78好x818686.2821474.47好x1344506.4749945.88好通過灰色預(yù)測(cè)模型得出的預(yù)測(cè)值

社會(huì)從業(yè)人數(shù)（x1）、社會(huì)消費(fèi)品零售總額（x3）、城鎮(zhèn)居民人均可支配收入（x4）、城鎮(zhèn)居民人均消費(fèi)性支出（x5）、全社會(huì)固定資產(chǎn)投資額（x6）、地區(qū)生產(chǎn)總值（x7）、第一產(chǎn)業(yè)產(chǎn)值（x8）和居民消費(fèi)水平（x13）特征的2014年及2015年通過建立的灰色預(yù)測(cè)模型得出的預(yù)測(cè)值，如下