多元回歸分析原理和應(yīng)用

1、關(guān)于多元回歸分析的原理與應(yīng)用第一張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月提 綱多元回歸分析的統(tǒng)計(jì)原理多元回歸分析在心理學(xué)研究中的應(yīng)用第二張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月21 多元回歸分析(regression)的統(tǒng)計(jì)原理回歸分析的含義回歸分析的分類(lèi)一元線(xiàn)性回歸多元線(xiàn)性回歸在SPSS中如何做多元回歸分析第三張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月31.1 回歸分析的含義客觀(guān)世界中事物之間的關(guān)系是各種各樣的。從定量的角度看，主要有兩種：一是確定性關(guān)系，如重力加速度，即自由落體的距離與時(shí)間：S=0.5gt2；另一類(lèi)是不確定性關(guān)系，即相關(guān)關(guān)系。由于事物的變化常常受多種因素的影響，導(dǎo)致了事

2、物變化的不確定性。人們常用相關(guān)系數(shù)來(lái)描述事物之間的這種不確定性程度。但對(duì)于如何通過(guò)一個(gè)事物的值去估計(jì)和預(yù)測(cè)另一個(gè)事物的發(fā)展變化，相關(guān)系數(shù)卻無(wú)能為力。但是，通過(guò)大量的實(shí)際調(diào)查，可以總結(jié)出它們之間的關(guān)系，回歸分析即是對(duì)這種關(guān)系的描述。第四張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月41.1 回歸分析的含義“回歸”一詞最早由英國(guó)統(tǒng)計(jì)學(xué)家高爾頓（Francis Galton）在19世紀(jì)末期研究孩子的身高和他們父母身高關(guān)系時(shí)提出。研究發(fā)現(xiàn)，孩子的身高總是趨于他們父母身高的平均值。孩子的身高，比身材矮的父母要高，比身材高的父母要矮，這種趨于中間值的趨勢(shì)稱(chēng)作“回歸效應(yīng)”，而他提出的這種研究?jī)蓚€(gè)數(shù)值變量關(guān)系的方

3、法稱(chēng)作回歸分析。第五張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月51.1 回歸分析的含義含義：是借助數(shù)學(xué)模型對(duì)客觀(guān)世界所存在的事物間的不確定關(guān)系的一種數(shù)量化描寫(xiě)，即通過(guò)一個(gè)或幾個(gè)變量的變化去解釋另一變量的變化。目的：在于對(duì)相關(guān)隨機(jī)變量進(jìn)行估計(jì)、預(yù)測(cè)和控制，確定變這些量之間數(shù)量關(guān)系的可能形式，并用一個(gè)數(shù)學(xué)模型來(lái)表示。第六張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月6XYXY 自變量(independent variable)：解釋變量，給定的或可以控制的、用來(lái)解釋、預(yù)測(cè)因變量的變量。 因變量(dependent variable)：響應(yīng)變量，由自變量來(lái)解釋其變化的變量。在回歸分析中：第七張，PPT共

4、四十二頁(yè)，創(chuàng)作于2022年6月71.1 回歸分析的含義數(shù)學(xué)模型： y=f(x1,x2,x3,xi)+模型的基本含義： 因變量y受到兩部分自變量的影響，即：已知的K個(gè)自變量x1,x2,x3,xi的影響；一些未知因素或隨機(jī)因素的影響。對(duì)于K個(gè)已知自變量的影響，設(shè)想可以通過(guò)函數(shù)f(x1,x2,x3,xi)來(lái)表示，而剩下的將由那些未知因素或隨機(jī)因素的影響確定，將這些影響的結(jié)果記為，稱(chēng)為隨機(jī)誤差。對(duì)于每一組實(shí)際觀(guān)察獲得的值yi，x1,x2,x3,xi就可以表示成: yi= f(x1,x2,x3,xi)+ 第八張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月81.1 回歸分析的含義對(duì)于自變量x1,x2,x3,x

5、i的每一組確定的值，f(x1,x2,x3,xi)的值也是確定的；但由于是不確定的，所以，y也是不確定的，但在每一組確定的自變量之下，所有的服從均數(shù)為零的正態(tài)分布，因此，對(duì)于自變量的每一組確定的值，因變量也服從正態(tài)分布，其平均數(shù)就是f(x1,x2,x3,xi)，該公式即為回歸方程，記為：第九張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月9回歸分析按自變量個(gè)數(shù)分類(lèi)一元回歸簡(jiǎn)單回歸多元回歸復(fù)回歸按方程式特征分類(lèi)線(xiàn)性回歸非線(xiàn)性回歸1.2 回歸分析的分類(lèi)第十張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月101.3 一元線(xiàn)性回歸只有一個(gè)自變量的線(xiàn)性回歸叫一元線(xiàn)性回歸，也叫簡(jiǎn)單回歸。與方差分析不同，在回歸分析中，“

6、元”是指自變量，而不是指因變量。第十一張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月11總體的一元線(xiàn)性回歸模型：模型參數(shù)殘差假定：E()=0總體的一元線(xiàn)性回歸方程：第十二張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月12一元線(xiàn)性回歸方程的幾何意義一元線(xiàn)性回歸線(xiàn)的可能形態(tài)截距斜率：回歸系數(shù)10101= 0第十三張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月13樣本的一元線(xiàn)性回歸方程：(估計(jì)的回歸方程)總體未知參數(shù)以樣本統(tǒng)計(jì)量估計(jì)總體參數(shù)回歸系數(shù)第十四張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月14最小二乘法(Least squares method):以極小化 為目標(biāo)，求估計(jì)方程的過(guò)程。殘差(Residual

7、):e第十五張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月15最小二乘法因?yàn)橐唤M數(shù)據(jù)可以有多條回歸直線(xiàn)，但是哪條最理想呢？想得到比較精確的回歸方程，必須使用最小二乘法。最小二乘法就是使誤差的平方和最小。誤差e就是殘差， e=y-y，其平方和為： (yy)2=(y-a-bx)2 要使誤差最小，只要分別對(duì)a、b求偏導(dǎo)數(shù)，使其0即可。第十六張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月16判定系數(shù)(Coefficient of determination):估計(jì)的回歸方程擬合優(yōu)度的度量，表明Y 的變異性能被估計(jì)的回歸方程解釋的部分所占比例的大小。是判定回歸方程有效性高低的指標(biāo)r2當(dāng)殘差平方和為 0時(shí)，判定系

8、數(shù)為 1 ，為完全的擬合。當(dāng)殘差平方和最大時(shí)，判定系數(shù)為 0，為最差的擬合。判定系數(shù)第十七張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月17判定系數(shù)與相關(guān)系數(shù)第十八張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月18判定系數(shù)與相關(guān)系數(shù)從二者的計(jì)算公式可知，積差相關(guān)系數(shù)r的平方等于判定系數(shù)r2，即Y 的變異性能被估計(jì)的回歸方程解釋的部分所占比例的大小。如果r2=0.64,表明變量Y的變異中有64是由變量X的變異引起的。所以，r2叫判定系數(shù)。第十九張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月191.4 多元線(xiàn)性回歸(Multiple Regression)多元線(xiàn)性回歸，就是有多個(gè)自變量的線(xiàn)性回歸，也叫復(fù)回歸。

9、其數(shù)學(xué)模型為：截距：常數(shù)項(xiàng)(constant)偏回歸系數(shù)：誤差：殘差第二十張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月201.4 多元線(xiàn)性回歸多元回歸分析的基本假設(shè)多元回歸方程及其顯著性檢驗(yàn)篩選自變量的方法多元回歸方程有效性的判定第二十一張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月211.4.1 多元回歸分析的基本假設(shè)相關(guān)存在性：就自變量X1，X2，X3，XK的特殊組合而言，Y變量（單變量）是一個(gè)隨機(jī)變量，具有某種概率分配，有一定的平均數(shù)及變異數(shù)，各個(gè)變量之間都存在顯著相關(guān)關(guān)系。獨(dú)立性：每一個(gè)觀(guān)察值Y彼此間是統(tǒng)計(jì)獨(dú)立的，觀(guān)察值間沒(méi)有關(guān)聯(lián)，即非共線(xiàn)性。直線(xiàn)性：Y 變量的平均數(shù)是變量X1，X2，X3，

10、XK間的線(xiàn)性函數(shù)，此線(xiàn)性函數(shù)關(guān)系即回歸方程。方差齊性：就X1，X2，X3，XK任何一個(gè)組合而言，因變量Y的變異數(shù)均相同。正態(tài)性：就任何X1，X2，X3，XK的線(xiàn)性組合而言，因變量Y的分配是正態(tài)的。第二十二張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月221.4.2 多元回歸方程及其顯著性檢驗(yàn)多元回歸的樣本與總體的回歸方程：第二十三張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月231.4.2 多元回歸方程及其顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn),就是檢驗(yàn)樣本回歸方程的變量的線(xiàn)性關(guān)系是否顯著，即能否根據(jù)樣本來(lái)推斷總體回歸方程中的多個(gè)回歸系數(shù)中至少有一個(gè)不等于0，主要是為了說(shuō)明樣本回歸方程的r2的顯著性。檢驗(yàn)的方

11、法：用方差分析，又叫回歸的方差分析。這時(shí)因變量Y的總變異被分解為回歸平方和與誤差平方和。F值等于回歸均方除以誤差均方。第二十四張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月241.4.2 多元回歸方程及其顯著性檢驗(yàn)多元回歸方程的求法依然與一元線(xiàn)性回歸一樣，只是在求多元線(xiàn)性回歸方程時(shí)，需要對(duì)自變量進(jìn)行檢驗(yàn)和篩選，剔除那些對(duì)因變量沒(méi)有影響或影響甚小，經(jīng)檢驗(yàn)未達(dá)到顯著水平，不足以入選的自變量，以達(dá)到簡(jiǎn)化變量間關(guān)系結(jié)構(gòu)、簡(jiǎn)化所求回歸方程的目的。第二十五張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月251.4.3 篩選自變量的方法在建立回歸方程之前，任何自變量都可以作為進(jìn)入方程的目標(biāo)。但對(duì)于因變量而言，只有那些

12、對(duì)因變量具有預(yù)測(cè)作用的自變量才能被選中。選擇的依據(jù)是對(duì)回歸系數(shù)做顯著性檢驗(yàn)，只有能夠顯著地預(yù)測(cè)因變量的自變量才會(huì)被選擇進(jìn)來(lái)。好的回歸方程不但方程顯著，而且每個(gè)自變量的偏回歸系數(shù)也顯著。選擇的方法主要兩大類(lèi)，四種。第二十六張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月261.4.3 篩選自變量的方法 探索性回歸：向前選擇法（forward）向后剔除法（backward）逐步回歸法（stepwise） 驗(yàn)證性回歸（層次回歸）：人為地逐步增加變量（enter），根據(jù)理論假設(shè)決定。第二十七張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月27向前選擇(Forward)基本過(guò)程：首先將與因變量有最大正相關(guān)或最大負(fù)相

13、關(guān)的變量進(jìn)入方程，然后按假設(shè)H0：“進(jìn)入方程的變量系數(shù)為零”進(jìn)行F檢驗(yàn)，檢驗(yàn)的標(biāo)準(zhǔn)有兩個(gè)： (1)只有當(dāng)F檢驗(yàn)顯著時(shí)（概率小于或等于概率），變量才能進(jìn)入回歸方程F-to-enter-FIN 。 (2)必須達(dá)到F統(tǒng)計(jì)量的最小值（一般意義上的顯著性檢驗(yàn)） ， Probability of F-to-enter-PIN 。第二十八張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月28向前選擇(Forward)注意：隨著變量加入到方程中，殘差平方和變化的自由度在增加，使得第一種標(biāo)準(zhǔn)的顯著性水平依賴(lài)于方程中當(dāng)前變量數(shù)。這意味著原來(lái)顯著的變量可能會(huì)隨著進(jìn)入方程的變量數(shù)的增加而變得不顯著。第二十九張，PPT共四十二

14、頁(yè)，創(chuàng)作于2022年6月29向后選擇(Backward)基本過(guò)程：首先將所有變量納入到方程中，然后根據(jù)指定剔除的標(biāo)準(zhǔn)剔除不顯著的變量，標(biāo)準(zhǔn)有兩個(gè)： (1)F移出法(F-to-remove-FOUR) (2)F最大概率移出(Maximum probability of F-to-remove-POUT)第三十張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月30逐步選擇(Stepwise)基本過(guò)程：首先采用向前選擇的方式選擇第一個(gè)變量，若不滿(mǎn)足標(biāo)準(zhǔn)則終止選擇，按偏相關(guān)系數(shù)選擇下一個(gè)。同時(shí)，根據(jù)向后剔除的標(biāo)準(zhǔn)，考察已經(jīng)進(jìn)入方程的變量是否應(yīng)該剔除，直到?jīng)]有一個(gè)變量滿(mǎn)足移出標(biāo)準(zhǔn)，為防止變量重復(fù)進(jìn)入和移出，F(xiàn)-

15、進(jìn)入判據(jù)必須大于F-剔除判據(jù)。第三十一張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月311.4.4 多元回歸方程有效性的判定檢驗(yàn)殘差方差齊性檢驗(yàn)偏回歸系數(shù)與常數(shù)項(xiàng)的檢驗(yàn)共線(xiàn)性問(wèn)題的判別第三十二張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月32檢驗(yàn)殘差回歸分析中誤差項(xiàng)（殘差）的基本假設(shè)：（1）誤差項(xiàng)的均值為零；（2）誤差項(xiàng)有固定的方差；（3）各次觀(guān)察的誤差相互獨(dú)立；（4）誤差服從正態(tài)分布。第三十三張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月33檢驗(yàn)殘差看殘差圖：是以某種殘差為縱坐標(biāo)，以其他指定的變量為橫坐標(biāo)，滿(mǎn)足模型假設(shè)的殘差圖應(yīng)當(dāng)是呈水平帶狀；檢驗(yàn)相鄰誤差項(xiàng)是否有序列相關(guān)：使用Durbin-Watson

16、檢驗(yàn)，DW介于1.22.8之間時(shí)可認(rèn)為是獨(dú)立的。查找異常點(diǎn)(casewise)Outlier，通常以超出3個(gè)殘差標(biāo)準(zhǔn)差的樣品為異常點(diǎn)。檢驗(yàn)誤差正態(tài)的假設(shè)，一是看標(biāo)準(zhǔn)化殘差直方圖與正態(tài)曲線(xiàn)比較是否接近；二是看標(biāo)準(zhǔn)化殘差正態(tài)概率圖，與對(duì)角直線(xiàn)相比，若接近為正態(tài)。第三十四張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月34方差齊性檢驗(yàn)方差齊性(variance of homogeneity)：指殘差的分布是常數(shù)，與預(yù)測(cè)變量或因變量無(wú)關(guān)。即殘差應(yīng)隨機(jī)地分布在一條穿過(guò)0點(diǎn)的水平直線(xiàn)兩側(cè)。在實(shí)際應(yīng)用中，一般是繪制因變量預(yù)測(cè)值（如ZPRED-X）與學(xué)生殘差（如SRESID-Y）的散點(diǎn)圖。第三十五張，PPT共四十二

17、頁(yè)，創(chuàng)作于2022年6月35偏回歸系數(shù)與常數(shù)項(xiàng)的檢驗(yàn)檢驗(yàn)的假設(shè)是：各自變量的偏回歸系數(shù)為0，常數(shù)項(xiàng)為0。使用的統(tǒng)計(jì)量為t值：t=偏回歸系數(shù)/偏回歸系數(shù)的標(biāo)準(zhǔn)誤。第三十六張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月36共線(xiàn)性問(wèn)題的判別(collinearity diagnostic)共線(xiàn)性是指由于自變量間的相關(guān)太高，造成回歸分析之情境困擾。如果變量間有共線(xiàn)性問(wèn)題，表示一個(gè)預(yù)測(cè)變量是其自變量的線(xiàn)性組合，如若X1與X2完全共線(xiàn)性，代表X1是X2的直線(xiàn)函數(shù)，點(diǎn)（X1，X2）會(huì)在同一條直線(xiàn)上，即共線(xiàn)性，若存在嚴(yán)重的共線(xiàn)性，模型的參數(shù)就不能完全被估計(jì)出來(lái)。第三十七張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月3

18、7X1與X2共線(xiàn)X1與X3共線(xiàn)X2與X3共線(xiàn)X1、X2、X3共線(xiàn)X3X2X1共線(xiàn)性問(wèn)題圖示第三十八張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月38共線(xiàn)性問(wèn)題的判別(collinearity diagnostic)共線(xiàn)性問(wèn)題的判別標(biāo)準(zhǔn)：容忍度：(tolerance)=1-r2，介于0-1之間，太小表示有共線(xiàn)性；變異數(shù)膨脹：(variance inflation factor,VIF) 是容忍度的倒數(shù)，越大，共線(xiàn)性越嚴(yán)重；條件指針： (condition index,CI)值越大，共線(xiàn)性越嚴(yán)重,15為有問(wèn)題，超過(guò)30有嚴(yán)重問(wèn)題。第三十九張，PPT共四十二頁(yè)，創(chuàng)作于2022年6月391.5 在SPSS中如何做回歸分析AnalyzeregressionlinearDependent(Y)Independents(x1, x2, x3, xi)Method：stepwisestatisticsRegression Coefficients：Estimates，Confidence intervals（求回歸參數(shù)的置信區(qū)間）Residuals：Durbin-Watson（檢驗(yàn)序列相關(guān)）Casewise diagno