預測與決策第七章

預測與決策第七章第一頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳2回歸分析預測法就是從各種經(jīng)濟現(xiàn)象之間的因果關系出發(fā)，通過分析與預測對象有聯(lián)系的現(xiàn)象變動趨勢，推算預測對象未來數(shù)量狀態(tài)的一種預測方法。第二頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳33.1回歸分析的基本概念3.1.1相關分析與回歸分析1)變量間的相互關系A.函數(shù)關系反映的是變量之間存在的嚴格的數(shù)量依存關系。變量之間的關系可以用函數(shù)表示。預測學中不研究這種函數(shù)關系。B.相關關系反映的是變量之間存在著非嚴格的依存關系。變量之間有一定的聯(lián)系，但不能完全用函數(shù)來表達。第三頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳4這種依存關系有兩個顯著特點：一是變量之間確實存在數(shù)量上的客觀內(nèi)在關系，表現(xiàn)在一個變量數(shù)量上發(fā)生變化時，會影響到另一個變量數(shù)量上也相應地發(fā)生變化。二是變量之間的數(shù)量依存關系不是確定的，具有一定的隨機性。當給定自變量一個數(shù)值時，因變量可能會有若干個數(shù)值與之對應。第四頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳5注意變量間的函數(shù)關系和相關關系不是絕對的，在一定的條件下兩者可以相互轉(zhuǎn)化。A.在對確定性研究對象的觀測中，往往存在測量誤差，這時函數(shù)關系常常會通過相關關系表現(xiàn)出來；B.反之，如果能找到非確定性研究對象的全部影響因素，并將其全部列入變量間的依存關系式中，則變量間的相關關系就會轉(zhuǎn)化為函數(shù)關系。第五頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳62)相關分析與回歸分析A.相關分析是研究兩個或兩個以上隨機變量之間相互依存關系的密切程度。相關關系的密切程度可用相關系數(shù)或相關指數(shù)來衡量。B.回歸分析研究某一隨機變量（因變量或被解釋變量）與其他一個或幾個確定性變量（自變量或解釋變量）之間的數(shù)量變動關系。第六頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳7C.回歸分析與相關分析的區(qū)別在相關分析中，兩個變量之間的關系是對等的，不存在自變量和因變量的劃分問題；在回歸分析中，變量之間的關系是不對等的。在相關分析中，根據(jù)兩個變量只能計算一個相關系數(shù)來反映變量之間相關程度的大小。而在回歸分析中，對于互為因果的兩個變量，有可能存在兩個回歸方程。在相關分析中，所有的變量都必須是隨機變量；而在回歸分析中，自變量是給定的，因變量才是隨機的。第七頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳8D.回歸分析與相關分析的聯(lián)系相關分析是回歸分析的基礎和前提。如果缺少對現(xiàn)象之間的相關關系作判斷，就不能作回歸分析，即使勉強做了，有時也沒有實際意義?；貧w分析是相關分析的深入和繼續(xù)。相關分析僅僅說明現(xiàn)象之間是否具有關系，它們之間的關系密切程度如何。只有通過回歸分析，建立了回歸方程，才能從數(shù)量上反映變量之間的聯(lián)系形式，才可進行相應的回歸預測，使相關分析具有實際意義。第八頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳93.1.2回歸模型的種類從不同的角度出發(fā)，可將回歸模型作如下分類：1)根據(jù)模型自變量的多少，可分為一元回歸模型和多元回歸模型。一元回歸模型是根據(jù)某一因變量與某一自變量之間的相關關系建立的模型；多元回歸模型是根據(jù)某一因變量與兩個或兩個以上自變量之間的相關關系建立的模型。第九頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳102)根據(jù)模型是否有線性特征，可分為線性回歸模型和非線性回歸模型。在線性回歸模型中，因變量與自變量之間的變動關系是呈直線型的。在非線性回歸模型中，因變量與自變量的關系是呈曲線型的。第十頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳113)根據(jù)模型是否帶虛擬變量，可分為普通回歸模型和帶虛擬變量回歸模型。普通回歸模型的自變量都是數(shù)量變量；帶虛擬變量回歸模型的自變量既有數(shù)量變量又有品質(zhì)變量。4)根據(jù)回歸模型是否用滯后的因變量作自變量，可分為無自回歸現(xiàn)象的回歸模型和自回歸模型。第十一頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳123.2一元線性回歸分析預測法一元線性回歸模型的一般形式為：其中，為被解釋變量，為解釋變量，和為模型參數(shù)，為隨機誤差項。第十二頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳13真實的回歸直線第十三頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳143.2.1一元線性回歸模型的基本假設假設1：隨機誤差項的數(shù)學期望值為零，即假設2：隨機誤差項的方差與無關，為一常數(shù)，即假設3：不同的隨機誤差項與之間相互獨立，即第十四頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳15假設4：隨機誤差項與解釋變量之間不相關，即假設5：服從正態(tài)分布，即第十五頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳163.2.2一元線性回歸模型的參數(shù)估計1）參數(shù)的最小二乘估計量設有一組樣本觀測值滿足一元線性回歸（7.1）式。我們可以找到一條直線使之盡可能好地擬合這組觀測值，能近似描述變量和之間的相互關系，稱該直線為樣本回歸直線。記作其中，為第期的預測值，分別為模型參數(shù)的估計值，如圖7.1所示。第十六頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳17第十七頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳18根據(jù)最小二乘法原理可知，擬合這條最佳直線的準則是使殘差平方和達到最小，即使達到最小。由于是關于的二次非負函數(shù)，所以它的極小值總是存在的。由微分學的極值原理可知，當對和的一階偏導數(shù)為零時，達到最小。即第十八頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳19整理上式得一元線性回歸的正規(guī)方程組：第十九頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳20解方程組得最小二乘估計量：為了減少計算工作量，可對（7.4）式進行簡化。令：第二十頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳21故（7.4）式可簡化為：（7.5）式稱為OLS估計量的離差形式。將代入（7.2）式，且，則有：（7.6）式稱為樣本回歸方程的離差形式。第二十一頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳222）最小二乘估計量的性質(zhì)最小二乘估計量和具有線性、無偏性和有效性這三種數(shù)理統(tǒng)計學中最重要的統(tǒng)計性質(zhì)。(1)線性，是指估計量，分別是觀測值的線性組合。即其中，。第二十二頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳23(2)無偏性，是指估計量，的期望值分別等于總體模型參數(shù)和，即(3)有效性（最小方差性），是指最小二乘估計量和在所有線性無偏估計量中，具有最小方差。第二十三頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳24

和的方差3）隨機誤差項的方差的估計故是的無偏估計量。第二十四頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳25由此可得和的樣本方差：第二十五頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳26的分布和的分布根據(jù)假定條件，是的線性函數(shù)，所以第二十六頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳27

可以證明是的線性函數(shù)，所以第二十七頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳28注意：區(qū)分4個式子的關系真實的統(tǒng)計模型：估計的統(tǒng)計模型：真實的回歸直線：估計的回歸直線：第二十八頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳29真實的回歸直線與估計的回歸直線第二十九頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳303.2.3一元線性回歸模型的檢驗一元線性回歸模型建立以后，該模型能否客觀揭示所研究的經(jīng)濟現(xiàn)象中諸因素之間的關系，能否用于實際預測，還需要進一步檢驗才能確定。

一元線性回歸模型的檢驗包括經(jīng)濟意義檢驗、統(tǒng)計檢驗和計量經(jīng)濟學檢驗。第三十頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳311）經(jīng)濟意義檢驗經(jīng)濟意義檢驗主要檢驗模型參數(shù)的估計量在經(jīng)濟意義上的合理性。檢驗方法是將模型參數(shù)的估計量同預先擬定的理論期望值進行比較，檢驗參數(shù)估計量的符號和大小，以判斷其合理性。A.首先，檢驗參數(shù)估計量的符號。以如下假想的社會消費品模型為例：第三十一頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳32該模型中，居民收入總額前的參數(shù)估計量為負，意味著居民收入越多，社會消費品零售總額越低。這從經(jīng)濟行為上無法解釋，所以此模型不能通過檢驗，應找出原因重建模型。B.如果參數(shù)估計量的符號正確，則要進一步檢驗參數(shù)估計量的大小。以如下假想的企業(yè)生產(chǎn)模型為例：第三十二頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳33由于此模型為對數(shù)線性模型，所以固定資產(chǎn)原值前的參數(shù)的經(jīng)濟意義是明確的，即固定資產(chǎn)原值的產(chǎn)出彈性，表示當固定資產(chǎn)原值增加1%時，產(chǎn)品產(chǎn)量增加的百分數(shù)。根據(jù)產(chǎn)出彈性的概念，該參數(shù)應該在0到1之間的一個數(shù)。模型中的參數(shù)估計量雖然符號正確，但數(shù)值范圍與理論期望值不符，所以不能通過檢驗，應找出原因重建模型。產(chǎn)出彈性：是指在其他條件不變的情況下某種生產(chǎn)要素投入量1％的變化所引起的產(chǎn)出變化的百分比。把所有生產(chǎn)要素的產(chǎn)出彈性相加得到一個和，這個和可以代表規(guī)模收益狀況，若這個和大于1則表示規(guī)模收益遞增。第三十三頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳342）統(tǒng)計檢驗統(tǒng)計檢驗的目的是檢驗模型的統(tǒng)計學性質(zhì)。對于已建立的一元線性回歸模型，檢驗其是否符合變量之間的客觀規(guī)律性，變量和之間是否具有顯著的線性相關關系等。常用的統(tǒng)計檢驗有擬合優(yōu)度檢驗、回歸系數(shù)的顯著性檢驗（t檢驗）等。第三十四頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳35(1)擬合優(yōu)度檢驗擬合優(yōu)度檢驗是指檢驗模型對樣本觀測值的擬合程度。檢驗方法是構造一個可以表征擬合程度的統(tǒng)計量，再從檢驗對象中計算出該統(tǒng)計量的數(shù)值，然后與某一標準作比較，得到檢驗結論。第三十五頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳36A.總離差平方和的分解已知由n對樣本觀測值得到如下樣本回歸直線：的第i個觀測值與樣本均值的離差可分解為兩部分之和其中，是樣本回歸擬合值與樣本均值之差，可以認為是回歸線解釋的部分；是觀測值與樣本回歸擬合值之差，是回歸線不能解釋的部分。第三十六頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳37第三十七頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳38總離差平方和，反映樣本觀測值總體離差的大小?；貧w平方和，反映由模型中解釋變量所解釋的那部分離差的大小。殘差平方和，反映樣本觀測值與估計值偏離的大小，也是模型中解釋變量未解釋的那部分離差的大小。可以證明：

第三十八頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳39B.判定系數(shù)根據(jù)，可用來檢驗模型的擬合優(yōu)度，稱為判定系數(shù)。的取值范圍是。實際計算時，可采用公式：第三十九頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳40相關系數(shù)相關系數(shù)與判定系數(shù)的比較：在二變量之間是線性關系的情況下，判定系數(shù)和樣本相關系數(shù)都給出了它們之間線性關系強度的度量。判定系數(shù)取值范圍，而樣本相關系數(shù)取值范圍。樣本相關系數(shù)的適用范圍限制在二變量之間是線性關系的情況，判定系數(shù)對非線性關系和有兩個或兩個以上自變量的相關關系都適用。

第四十頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳41(2)回歸系數(shù)的顯著性檢驗對一元線性回歸模型而言，回歸系數(shù)的顯著性檢驗主要是針對是否顯著為0進行的檢驗。若顯著為0，說明與之間不存在著線性關系，則回歸模型就失去了線性意義；若顯著不為0，則與之間存在著線性關系，所建立的回歸模型才有意義。第四十一頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳42檢驗步驟提出原假設；備擇假設。計算統(tǒng)計量。其中，給定顯著性水平，查分布表，得到臨界值。比較判斷。若，則拒絕，接受，即認為顯著不為零，從而可判斷與之間有顯著的線性關系，檢驗通過。第四十二頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳43回歸方程的顯著性檢驗檢驗假設回歸方程不顯著回歸方程顯著檢驗統(tǒng)計量

檢驗法則：給定顯著性水平，若則拒絕。

第四十三頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳44簡單線性回歸方差分析表的一般形式方差來源平方和自由度均方F回歸ESS1誤差RSSn-2統(tǒng)計TSSn-1第四十四頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳453）計量經(jīng)濟學檢驗計量經(jīng)濟學檢驗的目的在于檢驗模型的計量經(jīng)濟學性質(zhì)。(1)自相關檢驗在線性回歸模型的假設條件中，有若隨機誤差項違背了這一基本假設，則稱出現(xiàn)了自相關或序列相關。杜賓—瓦特森(Durbin-Watson)檢驗，即DW檢驗只適用于檢驗具有一階自相關的情形。第四十五頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳46自相關性第四十六頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳47自相關性產(chǎn)生的原因

經(jīng)濟變量慣性的作用引起經(jīng)濟行為的滯后性引起一些隨機因素的干擾或影響引起模型設定誤差引起觀測數(shù)據(jù)處理引起第四十七頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳48設隨機誤差項具有一階自相關形式：其中，為自相關系數(shù)，為隨機變量，且滿足DW檢驗步驟如下：提出原假設，即不具有一階自相關形式；備擇假設，即具有一階自相關形式。第四十八頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳49計算統(tǒng)計量DW。在大樣本情況下，有：由（7.16）式可知：若，則，不存在自相關；若，則，存在完全正自相關；若，則，存在完全負自相關。第四十九頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳50查DW表。根據(jù)顯著性水平，樣本容量和解釋變量個數(shù)，查DW分布表，得到下限值和上限值。比較判斷：若，則拒絕，接受，認為存在正自相關；若，則不能確定是否存在自相關；若，則接受，認為無自相關；若，則不能確定是否存在自相關；若，則拒絕，接受，認為存在負自相關。第五十頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳51為了更好地掌握以上判斷準則，給出DW檢驗判別域圖。注意DW檢驗存在著無結論區(qū)域，且只能檢驗的一階自相關，對于存在滯后被解釋變量的模型無法檢驗。dL244-dL0dU4-dU正相關無自相關負相關d不確定不確定第五十一頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳52(2)異方差檢驗在線性回歸模型的假設條件中，有若隨機誤差項違背了這一基本假設，則稱具有異方差性。例如，為了研究家庭的收入與儲蓄的關系，可建立如下儲蓄回歸模型：

其中，表示第i戶的收入，表示第i戶的儲蓄。第五十二頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳53該模型中，隨機誤差項的同方差假設就不符合實際情況，因為高收入家庭的儲蓄變動傾向比低收入家庭的儲蓄變動傾向大得多。原因是低收入家庭在必要支出后剩余較少，只是為了達到某種目的而儲蓄，因此其儲蓄行為較有規(guī)律，差異性較小。而高收入家庭在必要支出外剩余較多，有更多的選擇余地，因而，儲蓄的差異就較大。所以，對于該儲蓄回歸模型來說，隨機誤差項具有異方差性。第五十三頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳54異方差的檢驗方法——圖示檢驗法圖示檢驗法是一種簡便直觀的判斷方法，常有以下兩種圖示進行檢驗。A.

散點圖。首先繪制觀測值的散點圖，然后觀察散點的分布情況，若存在明顯的散點擴大、縮小或復雜型趨勢，則表明存在異方差。常見的有如下幾種情形，見圖7.4。第五十四頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳55第五十五頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳56B.

散點圖。先用最小二乘法(OLS)建立回歸模型，再計算，繪制散點圖。若散點分布呈一斜率為零的直線，則表明是同方差，否則存在異方差。第五十六頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳57異方差檢驗的其他方法（1）戈德菲爾德-匡特（Goldfeld-Quandt）檢驗G-Q檢驗以F檢驗為基礎，適用于樣本容量較大、異方差遞增或遞減的情況。G-Q檢驗的思想：先將樣本一分為二，對子樣①和子樣②分別作回歸，然后利用兩個子樣的殘差之比構造統(tǒng)計量進行異方差檢驗。由于該統(tǒng)計量服從F分布，因此假如存在遞增的異方差，則F遠大于1；反之就會等于1(同方差)，或小于1(遞減方差)。第五十七頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳58（2）戈里瑟(Gleiser)檢驗與帕克(Park)檢驗戈里瑟檢驗與帕克檢驗的思想：

如果存在某一種函數(shù)形式，使得方程顯著成立，則說明原模型存在異方差性。以|ei|或ei2為被解釋變量，以原模型的某一解釋變量jX為解釋變量，建立如下方程：

ijiiXfee+=)(||

i=1,2,…,n

（Gleiser）或

ijiiXfee+=)(2

i=1,2,…,n(Park)第五十八頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳59（3）懷特(White)檢驗懷特檢驗的過程：(1)利用OLS估計方法獲得模型殘差ei；(2)作輔助回歸

ei2=f(X2i,X3i,…Xki)+vi(3)建立相應的異方差檢驗統(tǒng)計量nR2。在原模型不存在異方差(原假設H0成立)的條件下,有

2=nR2~2(k-1),其中k為上述回歸模型中參數(shù)的個數(shù)。

(4)若2=nR2的值較大，則應該拒絕原假設，即模型存在異方差性。第五十九頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳603.2.4一元線性回歸模型的預測1)點預測根據(jù)樣本回歸方程，當時，利用估計的回歸方程，對于的一個特定值，求出的平均值的一個點估計；或者對于的一個給定值，預測的一個個別值。對于點估計，兩者的結果是相同的。第六十頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳612）區(qū)間預測置信區(qū)間估計它是對于的一個給定值，求出的平均值的區(qū)間估計。預測區(qū)間估計它是對的一個給定值，求出的一個個別值的區(qū)間估計。置信區(qū)間和預測區(qū)間都表明了回歸結果的精度。比較窄的區(qū)間表明有一個比較高的精度。第六十一頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳62(1)的平均值的置信區(qū)間估計對于給定的，估計值的方差的公式式中對于給定的，的置信區(qū)間估計第六十二頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳63(2)的個別值的預測區(qū)間估計對于給定的，的一個個別值的方差由兩部分組成：的個別值關于平均值的方差，它的估計量由給出；與利用估計相聯(lián)系的方差，它的估計量由給出。第六十三頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳64對于給定的，的一個個別值的預測區(qū)間估計的一般表達式為：式中，是置信系數(shù)（置信度），是自由度為的分布的水平雙側(cè)分位數(shù)。第六十四頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳65個別值得預測區(qū)間要比均值的預測區(qū)間寬。第六十五頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳663.2.5一元線性回歸分析預測實例某市1996年到2005年10年中，個人消費支出和收入資料如表7.1所示，試建立回歸模型預測2006年個人收入為213億元時的個人消費支出額。第六十六頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳673.3多元線性回歸分析預測法3.3.1回歸模型和回歸方程描述因變量如何依賴于自變量，，，和誤差項的方程稱為回歸模型。多元回歸模型

在多元回歸模型中，，，，，是參數(shù)，是隨機變量。其中，是，，，的線性函數(shù)（部分）加上誤差項。第六十七頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳68誤差項說明了包含在里面但不能被個自變量的線性關系解釋的變異性。描述的平均值如何依賴于，，，的方程稱為回歸方程。多元回歸方程

第六十八頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳69

估計的多元回歸方程參數(shù)，，，，的值通常都是未知的，我們必須利用樣本數(shù)據(jù)去估計它們。我們利用一個簡單隨機樣本計算樣本統(tǒng)計量，，，，作為參數(shù)，，，，的點估計。這些樣本統(tǒng)計量使我們得到下面估計的回歸方程。估計的多元回歸方程式中，，，，，是，，，，的估計值；是因變量的估計值。第六十九頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳70第七十頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳71

最小二乘法利用最小二乘法建立估計的多元回歸方程。最小二乘準則如下：式中——對于第次觀測，因變量的觀測值；

——對于第次觀測，因變量的估計值。

最小二乘法是利用樣本數(shù)據(jù)，通過使殘差平方和達到最小的方法求得，，，，的值。第七十一頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳723.3.4多元判定系數(shù)總的平方和能被分解為兩部分：回歸平方和和誤差平方和。TSS，RSS和ESS之間的關系：式中，第七十二頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳73多元判定系數(shù)多元判定系數(shù)理解為因變量中的變異性能被估計的多元回歸方程解釋的百分比。修正多元判定系數(shù)式中n表示觀測值的數(shù)目，p表示自變量的數(shù)目。第七十三頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳743.3.5模型的假定多元回歸模型的誤差項的假定誤差項是一個平均值或期望值為零的隨機變量；即。對自變量，，，，的所有值，的方差都是相同的，用表示的方差。的值是相互獨立的。誤差項是一個正態(tài)分布的隨機變量，它表示了的值和由給出的的期望值之間的離差。第七十四頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳75方程的理解

包含兩個自變量的多元回歸方程第七十五頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳763.3.6顯著性檢驗

在多元回歸情形，t檢驗和F檢驗有不同的目的：F檢驗被用來確定因變量和所有自變量之間是否存在一個顯著性的關系；稱之為總體的顯著性檢驗。t檢驗被用來確定每一個單個的自變量是否是顯著的自變量；稱之為單個的顯著性檢驗。第七十六頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳771.F檢驗總體顯著性的F檢驗檢驗的統(tǒng)計量拒絕法則：如果，則拒絕式中，是水平的分子自由度為p、分母自由度為n-p-1的F分布的上側(cè)分位數(shù)。第七十七頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳782.t檢驗單個參數(shù)顯著性的t檢驗對于任一個參數(shù)

檢驗的統(tǒng)計量拒絕法則：如果或，則拒絕式中，是水平的自由度為n-p-1的t分布的雙側(cè)分位數(shù)。第七十八頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳79具有p個自變量的多元回歸模型的ANOVA表

方差來源平方和自由度均方F回歸ESSP誤差RSSn-p-1總計TSSn-1第七十九頁，共八十八頁，2022年，8月28日2023/3/10南開大學濱海學院尹翠芳803.多重共線性在多元回歸分析中，我們把自變量之間的相關性稱為多重共線性。多重共線性帶來的困難是：當