多元回歸分析

多元回歸分析第一頁，共二十四頁，2022年，8月28日第一節(jié)多元線性回歸數(shù)理統(tǒng)計中討論了兩個變量之間的回歸問題，解釋變量只與一個可控變量有關，然而在許多實際問題中，影響解釋變量的因素往往不是一個，我們稱這類回歸問題為多元回歸分析。一、回歸方程的建立設通過調查取得n組觀察值這些觀察值可以表示為一個p元線性函數(shù)第二頁，共二十四頁，2022年，8月28日i=1，2，…，n為y對的p元線性回歸方程。用矩陣形式來描述回歸問題。n組數(shù)據(jù)的多元回歸模型可表示為：第三頁，共二十四頁，2022年，8月28日采用最小平方法構造函數(shù)所以：……第四頁，共二十四頁，2022年，8月28日整理得：……用矩陣表示為：第五頁，共二十四頁，2022年，8月28日于是上式的矩陣形式就化為：例題:某地區(qū)鄉(xiāng)鎮(zhèn)企業(yè)總產(chǎn)出,從業(yè)勞動者人數(shù)和固定資產(chǎn)原值的資料如下:配合回歸直線方程。第六頁，共二十四頁，2022年，8月28日年份總產(chǎn)出（億元）Y從業(yè)勞動者人數(shù)x1固定資產(chǎn)原值（億元）x21997199819992000200120022003490.6543.4649.9722.3840.4999.01433.02826.52909.32999.72969.63112.93234.73848.1229.6280.2326.3375.5429.3475.7575.0回歸方程為第七頁，共二十四頁，2022年，8月28日第八頁，共二十四頁，2022年，8月28日回歸方程為：例2：衛(wèi)生陶瓷產(chǎn)量與城鎮(zhèn)住宅建筑面積、醫(yī)療衛(wèi)生機構建筑面積、辦公室建筑面積有關，要求根據(jù)下列資料建立回歸方程。第九頁，共二十四頁，2022年，8月28日序號衛(wèi)生陶瓷產(chǎn)量城鎮(zhèn)住宅建筑面積醫(yī)療衛(wèi)生機構建筑面積辦公建筑面積1234567891011121314151617181920464357104571189101418202422269910171618109910121419212022212833501.41.11.11.01.11.40.80.40.50.91.12.22.22.42.22.32.12.32.42.62.92.83.14.15.04.51.80.60.82.12.14.04.03.64.24.64.04.34.76.0第十頁，共二十四頁，2022年，8月28日二、回歸方程效果的檢驗在對一個具體問題配合出回歸方程以后，需要考慮這個方程能否在一定程度上揭示諸多變量之間的內(nèi)在規(guī)律，也就是要對回歸方程的效果進行檢驗?？傠x差平方和可分解成兩部分：即自由度為p的回歸平方和反映了可控變量重要程度；自由度為n-p-1的剩余平方和的變動對y的波動，其數(shù)值大小反映了可控變量的它反映了調查或實驗誤差以及其它未控制的因素對調查或實驗結果的影響。第十一頁，共二十四頁，2022年，8月28日如果總離差平方和中，回歸平方和所占的比重大，線性回歸效果就越顯著，若剩余平方和等于0，則回歸平面就通過了所有的觀察點；如果剩余平方和所占比重大，線性回歸效果越不好。因變量y與可控變量的線性關系如何，主要由系數(shù)表現(xiàn)出來，若y與所有可控變量均無關，則必然有所以，要檢驗y與之間是否存在線性關系，只要檢驗是否成立即可若在H0成立的條件下，數(shù)理統(tǒng)計已經(jīng)證明：第十二頁，共二十四頁，2022年，8月28日并且，回歸平方和與剩余平方和互相獨立，因而檢驗回歸方程的統(tǒng)計量F為：因此，在給定置信度為1-a的前提下，在F分布表中可以查找出將F值與臨界值比較，若則拒絕H0，說明回歸方程顯著.三、回歸參數(shù)的顯著性檢驗在回歸方程的顯著性檢驗中，只要有一個可控變量與y之間有線性關系，H0便不能成立，這顯然不能把每個自變量對變量y影響的大小分辨出來。不便于我們y第十三頁，共二十四頁，2022年，8月28日進行預報和控制，這就需要對每個回歸系數(shù)進行假設檢驗，很明顯，如果某個可控變量xi對y作用不顯著，在回歸模型中，它前面的系數(shù)bi就可以取0，因此，檢驗自變量xi是否顯著，就相當于檢驗假設H0：

i=1，2，3，…p由于回歸系數(shù)bi~N為中主對角線中第i+1個元素。所以：在假設H0成立的前提下，第十四頁，共二十四頁，2022年，8月28日就拒絕H0，說明自變量xi對y的影響是顯著的。若ti未達到顯著標準，可把xi從回歸方程中剔除。注意，每次只能剔除一個不顯著的次要變量。例3：檢驗例1回歸方程和回歸系數(shù)的顯著性。方差分析表平方和自由度回歸628548.0122S回/2=314274.006剩余2630.8024S剩/4=657.701總計631178.86取a=0.05

說明回歸方程顯著，認為鄉(xiāng)鎮(zhèn)企業(yè)總產(chǎn)出與從業(yè)人數(shù)和固定資產(chǎn)原值有明顯的線性關系。第十五頁，共二十四頁，2022年，8月28日自變量X1X27.2325.555由于所以，應拒絕F0，認為x1，x2都是回歸方程的重要變量。四、相關系數(shù)與復相關系數(shù)于是，可定義多元回歸分析中的復相關系數(shù)：叫相關指數(shù)或者叫可決系數(shù)。第十六頁，共二十四頁，2022年，8月28日復相關系數(shù)是用來說明y與之間相關關系密切程度的指標。例5：計算例1中的復相關系數(shù)第十七頁，共二十四頁，2022年，8月28日當然，我們也可對相關系數(shù)進行檢驗。相關系數(shù)的顯著性檢驗和回歸方程的顯著性檢驗是一致的。建立的F統(tǒng)計量：在多變量的情況下，變量之間的相關關系是很復雜的，因為，任意兩變量之間都可能存在相關關系。簡單相關系數(shù)往往不能正確的說明變量之間的真正關系。因為，此時所有的變量都在變化。如果需要真正表明這兩個變量之間的相關關系，就必須在除去其它變量影響的情況下，計算他們的相關系數(shù)，這就是偏相關系數(shù)。偏相關系數(shù)就是在多元回歸分析中，其它變量被固定后的任意兩個變量之間的相關關系。偏相關系數(shù)可以根據(jù)簡單相關系數(shù)計算出來。第十八頁，共二十四頁，2022年，8月28日如：在除去的影響后它們之間的相關系數(shù)為稱為對的偏相關系數(shù).類似的只有偏相關系數(shù)才能反映出兩個變量的本質聯(lián)系。而簡單相關系數(shù)可能由于其他因素的影響而反映的是非本質的聯(lián)系，甚至可能是假象。例7：計算例1中除去固定資產(chǎn)后總產(chǎn)出與勞動者人數(shù)的偏相關系數(shù)第十九頁，共二十四頁，2022年，8月28日為了給出偏相關系數(shù)的表達式，簡單相關系數(shù)構成的行列式為：則偏相關系數(shù)為：為上式的代數(shù)余子式。第二十頁，共二十四頁，2022年，8月28日第二節(jié)：可化為多元線性回歸問題變量之間的內(nèi)在聯(lián)系并非總是線性的，有時需要選擇適當?shù)姆蔷€性函數(shù)。函數(shù)的選擇，沒有標準方法，需要根據(jù)專業(yè)知識、實際經(jīng)驗以及數(shù)據(jù)特點作具體分析，以確定回歸函數(shù)的類型，然而有些函數(shù)，經(jīng)過適當?shù)淖儞Q，可轉化為多元線性回歸問題。用多元線性回歸的方法求出參數(shù)，然后再進行還原即可。(一)多項式函數(shù)（二）多元冪函數(shù)兩邊取對數(shù)后令：第二十一頁，共二十四頁，2022年，8月28日（三）指數(shù)函數(shù)兩邊取對數(shù)后，令（四）多元對數(shù)函數(shù)例題；某企業(yè)在15年中每年的年產(chǎn)量y和總成本x資料如下：根據(jù)資料建立y對x，x2，x3的多項式回歸方程。第二十二頁，共二十四頁，2022年，8月28日序號總成本（元）產(chǎn)量（件）xx2x3123456789101112131415100002860019500329005240042400629008630074100100000133900115700154800178720203100100300200400600500700900800100012001100130014001500100009000040000160000360000250000490000810000640000100000014400001210000169000019600002250000100000027000000800000064000000216000000125000000343000000729000000512000000100000000017280000001331000000219700000027440