多元回歸補(bǔ)充

多元回歸補(bǔ)充第1頁，課件共40頁，創(chuàng)作于2023年2月多元線性回歸分析：研究因變量（被解釋變量）與兩個(gè)或兩個(gè)以上自變量（解釋變量）之間的回歸問題，稱為多元回歸分析。多元線性回歸分析的定義線性回歸自變量個(gè)數(shù)大于等于2多元線性回歸第2頁，課件共40頁，創(chuàng)作于2023年2月10.1多元線性回歸模型b0為常數(shù)項(xiàng),b1,…,bk為偏回歸系數(shù)，表示在其它自變量保持不變時(shí)，增加或減少一個(gè)單位時(shí)Y的平均變化量，u是去除m個(gè)自變量對Y影響后的隨機(jī)誤差（殘差）。多元線性回歸的基本理論第3頁，課件共40頁，創(chuàng)作于2023年2月10.1多元線性回歸模型將n個(gè)觀察數(shù)據(jù)代入上述模型，則問題轉(zhuǎn)化為：多元線性回歸的基本理論(10-1)第4頁，課件共40頁，創(chuàng)作于2023年2月10.1多元線性回歸模型多元線性回歸的基本理論寫為矩陣形式：(10-2)第5頁，課件共40頁，創(chuàng)作于2023年2月10.1多元線性回歸模型多元線性回歸的基本理論即：(10-3)其中，Y,u是n維向量，b是k維向量，x是m×k矩陣第6頁，課件共40頁，創(chuàng)作于2023年2月10.1多元線性回歸模型多元線性回歸的基本理論基本假定：①②第7頁，課件共40頁，創(chuàng)作于2023年2月10.1多元線性回歸模型多元線性回歸的基本理論③④第8頁，課件共40頁，創(chuàng)作于2023年2月10.2參數(shù)的最小二乘估計(jì)采用最小二乘估計(jì)回歸系數(shù)b令：取最小值第9頁，課件共40頁，創(chuàng)作于2023年2月10.2參數(shù)的最小二乘估計(jì)Q在最小值處偏導(dǎo)數(shù)為0，得：（10-4）采用最小二乘估計(jì)回歸系數(shù)b第10頁，課件共40頁，創(chuàng)作于2023年2月10.2參數(shù)的最小二乘估計(jì)采用最小二乘估計(jì)回歸系數(shù)b（10-5）整理得：求解該聯(lián)立方程組即可得第11頁，課件共40頁，創(chuàng)作于2023年2月第12頁，課件共40頁，創(chuàng)作于2023年2月10.3回歸方程的顯著性檢驗(yàn)假設(shè)求得的回歸方程為：10.3.1總離差平方和分解第13頁，課件共40頁，創(chuàng)作于2023年2月10.3.1總離差平方和分解同一元回歸，可得：并且：（10-6）第14頁，課件共40頁，創(chuàng)作于2023年2月10.3.1總離差平方和分解總離差平方和：即是：回歸平方和：殘差平方和：第15頁，課件共40頁，創(chuàng)作于2023年2月10.3.2樣本決定系數(shù)對回歸方程“擬合優(yōu)度”

的檢驗(yàn)樣本決定系數(shù)Ｒ２，又稱復(fù)決定系數(shù)，或多重決定系數(shù)。定義：樣本決定系數(shù)Ｒ２第16頁，課件共40頁，創(chuàng)作于2023年2月10.3.2樣本決定系數(shù)對回歸方程“擬合優(yōu)度”

的檢驗(yàn)樣本容量增大(n↑)R2也隨之增大(R2↑)R2的大小很難說明問題Ｒ２存在的問題第17頁，課件共40頁，創(chuàng)作于2023年2月10.3.2樣本決定系數(shù)對回歸方程“擬合優(yōu)度”

的檢驗(yàn)R2的改進(jìn)當(dāng)n為小樣本，解釋變量數(shù)很大時(shí)，上式可能為負(fù)數(shù)，這時(shí)取其值為0。R2與均反映在給定樣本下，回歸方程與樣本觀測值擬合優(yōu)度，但不能據(jù)此進(jìn)行總體模型的推斷。Ｒ２改進(jìn)第18頁，課件共40頁，創(chuàng)作于2023年2月10.3.3回歸方程的顯著性檢驗(yàn)第19頁，課件共40頁，創(chuàng)作于2023年2月10.3.3回歸方程的顯著性檢驗(yàn)檢驗(yàn)的目的：檢驗(yàn)Y與解釋變量x1，x2，……xk之間的線性關(guān)系是否顯著。檢驗(yàn)的目的第20頁，課件共40頁，創(chuàng)作于2023年2月10.3.3回歸方程的顯著性檢驗(yàn)檢驗(yàn)的步驟第一步，提出假設(shè)：原假設(shè)：H0：b1=b2=……bk=0備擇假設(shè)：H1：bi不全為0（i=1，２，…，k）第21頁，課件共40頁，創(chuàng)作于2023年2月10.3.3回歸方程的顯著性檢驗(yàn)檢驗(yàn)的步驟第二步，計(jì)算統(tǒng)計(jì)量：或：（10-8）第22頁，課件共40頁，創(chuàng)作于2023年2月10.3.3回歸方程的顯著性檢驗(yàn)第三步，查表，得：檢驗(yàn)的步驟第23頁，課件共40頁，創(chuàng)作于2023年2月10.3.3回歸方程的顯著性檢驗(yàn)檢驗(yàn)的步驟第四步，做檢驗(yàn)：拒絕H0，回歸方程顯著接受H0，回歸方程不顯著檢驗(yàn)法則第24頁，課件共40頁，創(chuàng)作于2023年2月10.4回歸系數(shù)的顯著性檢驗(yàn)回歸方程顯著，并不意味著每個(gè)解釋變量對因變量Y的影響都重要,因此需要進(jìn)行檢驗(yàn)：回歸系數(shù)檢驗(yàn)的必要性回歸方程顯著每個(gè)回歸系數(shù)都顯著第25頁，課件共40頁，創(chuàng)作于2023年2月10.4回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)檢驗(yàn)的步驟第一步，提出假設(shè)：原假設(shè)：H0：bi=0(i=1，2，……k)備擇假設(shè)：H1：bi≠0(i=1，2，……k)第26頁，課件共40頁，創(chuàng)作于2023年2月10.4回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)檢驗(yàn)的步驟第二步，構(gòu)造并計(jì)算統(tǒng)計(jì)量：第27頁，課件共40頁，創(chuàng)作于2023年2月10.4回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)檢驗(yàn)的步驟第三步，查表得：第28頁，課件共40頁，創(chuàng)作于2023年2月10.4回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)檢驗(yàn)的步驟第四步，做檢驗(yàn)：接受H0

檢驗(yàn)法則拒絕H0

第29頁，課件共40頁，創(chuàng)作于2023年2月回歸分析自變量選擇的四種方法:向前選擇法向后剔除法逐步回歸法強(qiáng)迫進(jìn)入法第30頁，課件共40頁，創(chuàng)作于2023年2月1.

前進(jìn)法，回歸方程中的自變量從無到有、從少到多逐個(gè)引入回歸方程。此法已基本淘汰。后退法，先將全部自變量選入方程，然后逐步剔除無統(tǒng)計(jì)學(xué)意義的自變量。

剔除自變量的方法是在方程中選一個(gè)偏回歸平方和最小的變量，作F檢驗(yàn)決定它是否剔除，若無統(tǒng)計(jì)學(xué)意義則將其剔除，然后對剩余的自變量建立新的回歸方程。重復(fù)這一過程，直至方程中所有的自變量都不能剔除為止。理論上最好，建議使用采用此法。逐步回歸法，逐步回歸法是在前述兩種方法的基礎(chǔ)上，進(jìn)行雙向篩選的一種方法。該方法本質(zhì)上是前進(jìn)法。

第31頁，課件共40頁，創(chuàng)作于2023年2月強(qiáng)迫進(jìn)入法根據(jù)事先的對變量之間關(guān)系的理論假設(shè)，將研究變量按一定順序投入到回歸方程中，而不管其顯著還是不顯著。這種方法常用于路徑分析中。后面的內(nèi)容會講到這點(diǎn)。第32頁，課件共40頁，創(chuàng)作于2023年2月第33頁，課件共40頁，創(chuàng)作于2023年2月消除多重共線性：剔除某個(gè)造成共線性的自變量，重建回歸方程；合并自變量；采用逐步回歸方法。

多重共線性是由于一個(gè)自變量與其它所有或某些自變量間的相關(guān)太高，以致它可以由其它自變量來線性表示。多重共線性會導(dǎo)致估計(jì)值不準(zhǔn)確，估計(jì)誤差增大，甚至無法計(jì)算。自變量的多重共線性第34頁，課件共40頁，創(chuàng)作于2023年2月多重共線性的識別指標(biāo)第35頁，課件共40頁，創(chuàng)作于2023年2月虛變量的回歸方程建立方法如果自變量是離散型變量，那么就要使該自變量變成多個(gè)虛變量，虛變量的個(gè)數(shù)等于自變量水平數(shù)減1。如果自變量有兩個(gè)水平，如性別，那么我們只需要建立一個(gè)虛變量，用1表示男（女），用0表示女生。如果自變量是三個(gè)水平，如家庭狀況，它包括單親家庭組、雙親家庭組和他人照顧組三個(gè)水平，我們只需要建立兩個(gè)虛變量就可以。如下圖。第36頁，課件共40頁，創(chuàng)作于2023年2月注意虛變量的取值一般只是1和0兩個(gè)。第37頁，課件共40頁，創(chuàng)作于2023年2月第38頁，課件共40頁，創(chuàng)作于2023年2月多元回歸分析步驟根據(jù)理論假設(shè)，建立回歸方程式：在SPSS中就是分別選擇因變量和自變量?？疾焓欠翊嬖陔x散型變量，如果存在，要轉(zhuǎn)化為虛變量。檢驗(yàn)自變量是否存在多重共線性：在SPSS是點(diǎn)擊statistics對話框中的Collinearitydiagnostics。檢驗(yàn)指標(biāo)有：Tolerance、VIF和CI。選擇回歸分析的方法：一般采用Stepwise方法和Enter法。前者還要在Option對話框中選擇進(jìn)入和刪除的標(biāo)準(zhǔn)（一般采用默認(rèn)標(biāo)準(zhǔn)）。估計(jì)回歸系數(shù)和標(biāo)準(zhǔn)化回歸系數(shù)：點(diǎn)擊statistics對話框中的Estimates。第39頁，課件共40頁，創(chuàng)作于2023年2月檢驗(yàn)回歸方程的有效性：點(diǎn)擊statistics對話框中的Modelfit。比較不同模型有效性的