偏最小二乘回歸分析—案例

1、案例 教育投入對(duì)經(jīng)濟(jì)影響問(wèn)題的pls建模與分析1 數(shù)據(jù)資料及相關(guān)概念為研究教育投入與產(chǎn)業(yè)發(fā)展之間存在著具體怎樣的相關(guān)關(guān)系，特收集了如下數(shù)據(jù)資料.表1 遼寧省1984-2005年教育投入與經(jīng)濟(jì)產(chǎn)出數(shù)據(jù)資料年份l1l2l3l4ky1y2y31984122156125644195129657396180.4268.289.619855841749552232768959810245074.9328.1115.619866702058351741070401612338392.9357.8154.61987119329394549709680861124532109.5417.0192.6198819

2、2931552615839637753155617141.9492.5246.61989176332708598834593257194395141.9545.1316.91990167733768580075591654201077168.6540.8353.31991150033530571569660343229033180.8590.1429.21992124535208573509685996254712194.6741.9536.51993130733615572612630759305120260.81039.3710.819941273359236061486367863983

3、99319.01259.1883.81995142544072635387672482439517392.21390.01011.21996196251068611379576164496190474.11537.71145.91997231649591666386500252546883474.11743.91364.21998212647557724391555892562770531.51855.21459.11999242649964658165644042642559520.82001.51649.42000291049834587000722325760719503.42344.4

4、1821.22001297160271623975679852855043544.42440.62048.12002367472791709233622536991450590.22609.92258.220035027989087884735952781108785615.82898.92487.9200467261158897922285117571387080798.43061.62812.0200593421449848159054990691629956882.43953.33173.3注釋 表中數(shù)據(jù)摘自遼寧統(tǒng)計(jì)年鑒2006.變量說(shuō)明 衡量教育投入水平的具體指標(biāo)集研究生教育程度（碩士

5、及博士）勞動(dòng)力數(shù)（單位：人）；高等教育程度（大學(xué)本科及?？疲﹦趧?dòng)力數(shù)（單位：人）；中等教育程度（高中及中專）勞動(dòng)力數(shù)（單位：人）；初等以下教育程度（小學(xué)及文盲）勞動(dòng)力數(shù)（單位：人）；教育的財(cái)政投入（單位：萬(wàn)元）. 經(jīng)濟(jì)產(chǎn)出的指標(biāo)集第一產(chǎn)業(yè)（包括林業(yè)、牧業(yè)、漁業(yè)等）產(chǎn)出值（單位：億元）；第二產(chǎn)業(yè)（包括工業(yè)和建筑業(yè)）產(chǎn)出值（單位：億元）；第三產(chǎn)業(yè)（包括流通類的交通運(yùn)輸業(yè)、郵電通訊業(yè)、商業(yè)飲食業(yè)、物資供銷和倉(cāng)儲(chǔ)業(yè)及金融、保險(xiǎn)業(yè)，地質(zhì)普查業(yè)，房地產(chǎn)、公用事業(yè)，居民服務(wù)業(yè)，旅游業(yè)，咨詢信息服務(wù)業(yè)和各類技術(shù)服務(wù)業(yè)，等等）產(chǎn)出值（單位：億元）.2 多重相關(guān)性診斷 計(jì)算自變量與因變量之間的相關(guān)系數(shù).load

6、jytrjjcc %裝載原始數(shù)據(jù) cr=corrcoef(jytrjjcc);%計(jì)算變量之間的相關(guān)系數(shù) 計(jì)算結(jié)果整理如下：表2 因變量與自變量之間的相關(guān)系數(shù)rl1l2l3l4ky1y2y3l11.00000.98470.8737-0.48470.94470.86430.89060.8895l21.00000.9117-0.49440.96950.90880.92500.9278l31.0000-0.61960.89440.89400.87760.8870l41.0000-0.4177-0.4436-0.3751-0.3803k1.00000.96350.98330.9871y11.00000.

7、98270.9818y21.00000.9961y31.0000由表中可以看出：l 自變量之間的相關(guān)系數(shù)最高達(dá)0.9847，表明自變量之間存在嚴(yán)重的自相關(guān)性.注意，初等以下教育程度勞動(dòng)力數(shù)與其它自變量之間呈負(fù)相關(guān)關(guān)系l 因變量與自變量之間的相關(guān)系數(shù)最高達(dá)0.9871，表明自變量系統(tǒng)與因變量系統(tǒng)之間存在較高的相關(guān)性.注意，研究生、高等、中等教育程度勞動(dòng)力數(shù)以及財(cái)政投入與三大產(chǎn)業(yè)產(chǎn)出之間存在著明顯的正相關(guān)關(guān)系，而初等以下教育程度勞動(dòng)力數(shù)與三大產(chǎn)業(yè)產(chǎn)出之間存在著的較弱的負(fù)相關(guān)關(guān)系. 建立普通最小二乘回歸方程原始數(shù)據(jù)標(biāo)準(zhǔn)化，得到自變量的標(biāo)準(zhǔn)化數(shù)據(jù)矩陣和因變量的標(biāo)準(zhǔn)化數(shù)據(jù)矩陣，再建立二者之間的多重（多因

8、變量）多元線性回歸方程.e0=stand(jytrjjcc(:,1:5);%標(biāo)準(zhǔn)化自變量數(shù)據(jù)f0=stand(jytrjjcc(:,6:8);%標(biāo)準(zhǔn)化因變量數(shù)據(jù)mmlr=inv(e0*e0)*(e0*f0);%估計(jì)多重多元線性回歸方程系數(shù) 根據(jù)上述計(jì)算結(jié)果，可得下列多重多元線性回歸方程： ，.從這一組回歸方程可以看出，三大產(chǎn)業(yè)產(chǎn)出值與研究生教育、高等教育竟然負(fù)相關(guān)，這與客觀事實(shí)相違背，也與相關(guān)系數(shù)矩陣中得到的結(jié)論相悖.所以，在自變量之間、以及自變量與因變量之間存在復(fù)雜的相關(guān)關(guān)系時(shí)，普通最小二乘回歸方法建立的模型不能準(zhǔn)確的反映實(shí)際情況.3 建立偏最小二乘回歸模型 提取所有可能的主成分clearl

9、oad jytrjjccx=jytrjjcc(:,1:5);y=jytrjjcc(:,6:8); e0=stand(x);f0=stand(y);a=rank(e0);w,c,t,u,p,r=plspcr(e0,f0); %提取所有可能的主成分 主成分解釋能力分析l 復(fù)測(cè)定系數(shù) ra=plsra(t,r,f0,a) ra = columns 1 through 4 0.8727 0.9209 0.9739 0.9870 column 5 0.9879 抽取不同個(gè)數(shù)的主成分時(shí)，對(duì)應(yīng)的回歸方程的復(fù)測(cè)定系數(shù)見(jiàn)表3.表3復(fù)測(cè)定系數(shù)的取值主成分累積12345復(fù)測(cè)定系數(shù)0.87270.92090.9739

10、0.98700.9879由表3可知，當(dāng)抽取一個(gè)主成分時(shí)，回歸方程的復(fù)測(cè)定系數(shù)已達(dá)到87.27.通常，系統(tǒng)信息的可解釋變異達(dá)到總變異的85即可認(rèn)為回歸方程的精度已達(dá)到滿意效果.因此，根據(jù)模型從簡(jiǎn)的原則，我們只需選取一個(gè)主成分建模.第一主成分為.l 主成分的信息解釋能力rdx,rdx,rdxt,rdy,rdy,rdyt=plsrd(e0,f0,t,a) rdx = columns 1 through 4 0.9421 0.0092 0.0444 0.0017 0.9744 0.0110 0.0083 0.0006 0.9108 0.0054 0.0306 0.0530 0.3490 0.6425

11、0.0046 0.0040 0.9335 0.0433 0.0080 0.0150 column 5 0.0025 0.0057 0.0003 0.0000 0.0001rdx = columns 1 through 4 0.8220 0.1423 0.0192 0.0149 column 5 0.0017rdxt = 1.0000rdy = columns 1 through 4 0.8573 0.0252 0.0670 0.0104 0.8650 0.0597 0.0415 0.0153 0.8728 0.0584 0.0493 0.0130 column 5 0.0001 0.0018

12、0.0009rdy = columns 1 through 4 0.8650 0.0478 0.0526 0.0129 column 5 0.0009rdyt =0.9793 表4 主成分t1和t2對(duì)變量的解釋能力rdl1l2l3l4ky1y2y3xyt10.94210.97440.91080.34900.93350.85730.86500.87280.82200.8650t20.00920.01100.00540.64250.04330.02520.05970.05840.14230.0478從表4中可以看出，主成分除綜合解釋了原自變量系統(tǒng)82.20的變異信息，對(duì)原自變量系統(tǒng)有非常好的代表性

13、.同時(shí)，綜合解釋了因變量系統(tǒng)86.50的信息，對(duì)因變量系統(tǒng)的貢獻(xiàn)很大.而第二個(gè)主成分對(duì)原自（因）變量系統(tǒng)信息變異的解釋能力較低.經(jīng)計(jì)算當(dāng)增加第二個(gè)主成分時(shí)，模型的精度沒(méi)有明顯的改善.因此，從主成分的信息解釋能力的角度以及模型從簡(jiǎn)的原則，只選一個(gè)主成分建模是適宜的.l 第一主成分間的相關(guān)性cr =plsutcor(u,t) %繪制ui/t1圖 cr = 1.0000 0.9342 0.9342 1.0000從圖中可以看出，兩個(gè)第一主成分間的相關(guān)性很強(qiáng). 求pls回歸方程的系數(shù) 求標(biāo)準(zhǔn)化變量回歸方程的系數(shù)scoeff=pls(1,5,w,p,r) scoeff = 0.2153 0.2163 0.

14、2172 0.2248 0.2258 0.2269 0.2164 0.2174 0.2184 -0.0976 -0.0980 -0.0985 0.2389 0.2399 0.2410 求原始變量回歸方程的系數(shù)coeff,intercep=plsiscoeff(x,y,scoeff) coeff = 0.0242 0.1072 0.0966 0.0017 0.0074 0.0067 0.0006 0.0027 0.0024 -0.0003 -0.0015 -0.0014 0.0001 0.0006 0.0005intercep =-17.9677 -233.0059 -388.8328 關(guān)于成分

15、的回歸方程為，；關(guān)于的回歸方程為，；原始因變量關(guān)于自變量的回歸方程為，. 可見(jiàn)，所建的回歸方程沒(méi)有出現(xiàn)反符號(hào)現(xiàn)象，受中等以上教育的勞動(dòng)力人數(shù)、財(cái)政投入與經(jīng)濟(jì)的產(chǎn)出都是呈正相關(guān)的，只有初等教育勞動(dòng)力人數(shù)（包括文盲）呈負(fù)相關(guān)，這與相關(guān)系數(shù)符號(hào)完全一致. 回歸方程中自變量對(duì)因變量的解釋能力（變量投影重要性）vip=plsvip(w,rdy,rdyt,1) vip = columns 1 through 4 0.9866 1.0303 0.9918 0.4472 column 5 1.0946變量投影重要性指標(biāo)是用來(lái)測(cè)度第j個(gè)自變量對(duì)因變量的解釋能力的. 因此，從預(yù)測(cè)的角度，如果某個(gè)自變量在解釋因變量

16、時(shí)起得作用很小，則可以考慮刪去這個(gè)變量后重新建模.由于vip4明顯較小，故刪除變量l4重新用偏最小二乘回歸方法建模，得到的回歸方程為，與未刪除變量l4前的回歸方程對(duì)比，發(fā)現(xiàn)方程的回歸系數(shù)變化很小.深入的精度分析結(jié)果見(jiàn)表5.表5改進(jìn)后模型應(yīng)用效果比對(duì)分析rdxrdysspress包含l4的模型0.82200.86508.50348.3149刪除l4的模型0.94760.88936.97146.4205表5中，ss值表示的是回歸方程對(duì)所有樣本點(diǎn)的擬合誤差平方和，press值表示的是預(yù)測(cè)誤差平方和，計(jì)算公式詳見(jiàn)偏最小二乘回歸方法及其應(yīng)用（王惠文國(guó)防工業(yè)出版社，1999）.由表5可知，刪除變量l4后的

17、模型，無(wú)論是建模的主成分t1對(duì)自（因）變量的解釋能力rdx（rdy），還是擬合與預(yù)測(cè)效果上都有很明顯的提高.因此，基于vip對(duì)自變量指標(biāo)篩選后的偏最小二乘回歸模型效果更佳.需要強(qiáng)調(diào)的是，刪除l4的模型對(duì)分析教育投入與經(jīng)濟(jì)產(chǎn)出二者之間關(guān)系來(lái)說(shuō)意義并不是很大，但若考慮對(duì)遼寧經(jīng)濟(jì)產(chǎn)出進(jìn)行短期預(yù)測(cè)，采用該模型的預(yù)測(cè)精度會(huì)更高.4 由模型得到的信息. 從因變量與自變量之間的相關(guān)系數(shù)和變量投影重要性指標(biāo)值可以看出，遼寧省的教育投入對(duì)經(jīng)濟(jì)發(fā)展有著深刻、全面的促進(jìn)作用.對(duì)三大產(chǎn)業(yè)經(jīng)濟(jì)產(chǎn)出促進(jìn)作用最大的就是教育的財(cái)政投入，然后依次是高等、中等、研究生、初等教育程度的勞動(dòng)力人數(shù).教育投入對(duì)三大產(chǎn)業(yè)經(jīng)濟(jì)產(chǎn)出的邊際作

18、用結(jié)構(gòu)上是相似的，財(cái)政投入對(duì)第三產(chǎn)業(yè)產(chǎn)出值的邊際貢獻(xiàn)最大. 由，國(guó)家的高校擴(kuò)招政策對(duì)經(jīng)濟(jì)產(chǎn)生了積極的影響.據(jù)遼寧省教育廳日前的統(tǒng)計(jì)，遼寧省高等教育35.3的毛入學(xué)率表明，遼寧省已經(jīng)率先進(jìn)入大眾化高等教育時(shí)代.表1中的數(shù)據(jù)表明，遼寧省高校招生人數(shù)的持續(xù)增長(zhǎng)，特別是2001年以來(lái)的快速增長(zhǎng)，與遼寧省的經(jīng)濟(jì)增長(zhǎng)是適應(yīng)的，反過(guò)來(lái)說(shuō)大眾化的高等教育對(duì)經(jīng)濟(jì)的增長(zhǎng)直接促進(jìn)作用開(kāi)始顯現(xiàn). 由，初等教育程度勞動(dòng)力人數(shù)對(duì)經(jīng)濟(jì)產(chǎn)出影響最小甚至是負(fù)面的.由于義務(wù)教育的普及和遼寧省較高的中等教育普及率，文盲和新增初等教育程度的勞動(dòng)力人數(shù)逐漸減少，因此該項(xiàng)指標(biāo)對(duì)經(jīng)濟(jì)產(chǎn)出的解釋能力變小.初等教育程度勞動(dòng)力人數(shù)與其它各項(xiàng)指標(biāo)的負(fù)相關(guān)性表明，中等以上教育程度勞動(dòng)力人數(shù)增加的必然結(jié)果是初等教育程度勞動(dòng)力人數(shù)的下降，而教育財(cái)政投入的增加是抑制初等教育程度勞動(dòng)力人數(shù)的最重要因素，初等教育程度勞動(dòng)力的就業(yè)對(duì)全社會(huì)經(jīng)濟(jì)的增長(zhǎng)是一種負(fù)擔(dān). 由，我們認(rèn)為研究生教育的規(guī)模應(yīng)當(dāng)適當(dāng)擴(kuò)大，經(jīng)費(fèi)投入應(yīng)當(dāng)增加和多樣化.研究生教育程度勞動(dòng)力人數(shù)對(duì)經(jīng)濟(jì)的影響重要性排名靠后，主要原因是研究生招生規(guī)模小、人數(shù)少，教育經(jīng)費(fèi)主要依賴財(cái)政投入.另外，研究生教育程度的勞動(dòng)力人數(shù)對(duì)經(jīng)濟(jì)的影響可能要通過(guò)科技投入類指標(biāo)間接的反映到經(jīng)濟(jì)產(chǎn)出上.這也表明教育投入對(duì)經(jīng)濟(jì)產(chǎn)出的影響是復(fù)雜的. 在至的基礎(chǔ)上深入分析，我們認(rèn)為教育投入的強(qiáng)