教育與心理統(tǒng)計(jì)第十章線性回歸拓展知識(shí)多重線性回歸

1、v 在回歸分析中，如果對(duì)兩個(gè)或兩個(gè)以上的自變量對(duì)因變量影響現(xiàn)象進(jìn)行分析，這就叫做多重線性回歸。v一、多重線性回歸模型的建立v設(shè)因變量為y，自變量為x1和x2，則回歸方程的一般形式為a+b1X1+b2X2。b1和b2叫做Y對(duì)X1與X2的偏回歸系數(shù)。偏回歸系數(shù)表示其它自變量假設(shè)不變時(shí)，某一個(gè)自變量變化而引起因變量變化的比率。在此模型中，b1的意義為：假設(shè)X2不變，X1變化一個(gè)單位則Y改變b1個(gè)單位。v附例1v所求的回歸方程中看如果b1b2，不能就判定自變量X1，在預(yù)測(cè)Y時(shí)起的作用大。因?yàn)閮蓚€(gè)自變量的單位不同，不能直接比較它們?cè)诠烙?jì)Y時(shí)的貢獻(xiàn)。若要進(jìn)行這種比較，需將原始數(shù)據(jù)分別轉(zhuǎn)換成標(biāo)準(zhǔn)分?jǐn)?shù)，以標(biāo)準(zhǔn)

2、分?jǐn)?shù)建立的回歸方程叫標(biāo)準(zhǔn)回歸方程。一般形式為：ZY1ZX1+2ZX2。做了標(biāo)準(zhǔn)化變換，排除了量綱不同的影響，所以可以根據(jù)標(biāo)準(zhǔn)化回歸系數(shù)的大小評(píng)價(jià)自變量對(duì)Y的貢獻(xiàn)大小，21，所以可以認(rèn)為X2對(duì)Y的影響比X1更大。v二、多重線性回歸方程的檢驗(yàn)v(一) 方差分析v（二）偏回歸系數(shù)的顯著性檢驗(yàn)v某一個(gè)偏回歸系數(shù)不顯著時(shí)回歸方程可能仍然顯著，因而在多重線性回歸的檢驗(yàn)中方差分析是對(duì)整個(gè)回歸方程的顯著性檢驗(yàn)，是整體的檢驗(yàn)，與單獨(dú)進(jìn)行每個(gè)偏回歸系數(shù)的顯著性檢驗(yàn)不一定等效。就是說(shuō)經(jīng)方差分析，結(jié)果回歸方程顯著，但回歸方程中每一個(gè)偏回歸系數(shù)不一定都顯著。v（三）測(cè)定系數(shù)v測(cè)定系數(shù)R2開(kāi)方后得R，它表示因變量Y與k個(gè)

3、自變量線性組合之間的相關(guān)，叫復(fù)相關(guān)系數(shù)?？梢酝ㄟ^(guò)復(fù)相關(guān)系數(shù)的顯著性檢驗(yàn)來(lái)對(duì)回歸方程進(jìn)行檢驗(yàn)，復(fù)相關(guān)系數(shù)顯著則回歸方程也顯著。查附表11可對(duì)復(fù)相關(guān)系數(shù)的顯著性進(jìn)行檢驗(yàn)。v三、多重線性回歸中的預(yù)測(cè)區(qū)間v四、多重回歸方程中自變量的選擇v 在多重線性回歸方程中，有些自變量的偏回歸系數(shù)顯著，也有些自變量的偏回歸系數(shù)不顯著。這意味著憑經(jīng)驗(yàn)選取的自變量中有的在回歸方程中作用顯著，有的卻無(wú)足輕重，而最優(yōu)的回歸方程，應(yīng)該方程顯著且每個(gè)自變量的偏回歸系數(shù)都顯著。因此，為了建立最優(yōu)的回歸方程，需要對(duì)自變量進(jìn)行選擇，作用不顯著的自變量不必進(jìn)入回歸方程。一般選擇自變量，建立最優(yōu)回歸方程的方法有如下幾種。v1、最優(yōu)方程選

4、擇法：即從所有可能的自變量組合建立的回歸方程中選擇最優(yōu)的。v2、同時(shí)分析法：是將所有的預(yù)測(cè)變量同時(shí)納入回歸方程中估計(jì)因變量。v 它又區(qū)分為強(qiáng)制進(jìn)入法和強(qiáng)制淘汰法。強(qiáng)制進(jìn)入法是在某一顯著水平下，將所有對(duì)于因變量具有解釋力的預(yù)測(cè)變量納入回歸方程式，不考慮預(yù)測(cè)變量間的關(guān)系，計(jì)算所有變量的回歸系數(shù)。 v與強(qiáng)迫進(jìn)入法相反，強(qiáng)制淘汰法的原理是在某一顯著水平下，將所有對(duì)于因變量沒(méi)有解釋力的預(yù)測(cè)變量，不考慮預(yù)測(cè)變量間的關(guān)系，一次全部排除在回歸方程式之外，再計(jì)算所有保留在回歸方程式中的預(yù)測(cè)變量的回歸系數(shù)。 v3、逐步分析法：是指所有的預(yù)測(cè)變量并非同時(shí)被用來(lái)進(jìn)行預(yù)測(cè)，而是依據(jù)解釋力的大小，逐步檢查每一個(gè)預(yù)測(cè)變量的

5、影響。 v根據(jù)預(yù)測(cè)變量的選取順序，把它又分為順向進(jìn)入法和反向淘汰法。順向進(jìn)入法在取用預(yù)測(cè)變量時(shí)，優(yōu)先選用具有最大預(yù)測(cè)力且達(dá)統(tǒng)計(jì)顯著水平的自變量，然后依序納入方程式中，直到所有達(dá)到顯著的預(yù)測(cè)變量均被納入回歸方程式 .v相反，反向淘汰法把所有預(yù)測(cè)變量先按同時(shí)分析法方式納入回歸方程式中運(yùn)算，然后逐步將未達(dá)到統(tǒng)計(jì)顯著水準(zhǔn)的預(yù)測(cè)變量，以最弱、次弱的順序從方程式中予以排除。直到所有未達(dá)到顯著的預(yù)測(cè)變量均被淘汰完畢為止。v4、逐步回歸法v 逐步回歸法的基本原理和過(guò)程是：按各個(gè)自變量對(duì)因變量作用的大小，從大到小逐個(gè)地引入回歸方程。 v每引入一個(gè)自變量都要對(duì)回歸方程中每一個(gè)自變量的作用進(jìn)行顯著性檢驗(yàn)，若發(fā)現(xiàn)作用

6、不顯著的自變量時(shí)，就將其剔除。每剔除一個(gè)自變量后，再對(duì)留在方程中的自變量作顯著性檢驗(yàn)，若發(fā)現(xiàn)又有的自變量變得不顯著時(shí)接著再剔除。這樣逐個(gè)地引進(jìn)或剔除，直至沒(méi)有自變量可引入也沒(méi)有自變量從方程式中被剔除時(shí)為止。這種方法是心理學(xué)研究中最常用的方法。v5、階層分析法v 在一般研究中，預(yù)測(cè)變量之間可能具有特定的先后關(guān)系，需要依照研究者的設(shè)計(jì)，以特定的順序進(jìn)行分析。v五、多重線性回歸的基本假設(shè)v線性、獨(dú)立、等方差和正態(tài)性假設(shè)，此時(shí)的正態(tài)性假設(shè)是指在給定一組X后，Y 的條件分布為正態(tài)分布。vWARNING:在多重回歸分析中，若自變量間存在相關(guān)性，稱為多重共線性，回歸分析應(yīng)避免嚴(yán)重的多重共線性存在。v在心理和教育研究中經(jīng)常