多重線回歸與相關(guān).pptVIP

第13章 多重線性回歸與相關(guān),(multiple linear regression & multiple correlation),content,第一節(jié) 多重線性回歸的概念與統(tǒng)計(jì)推斷 第二節(jié) 假設(shè)檢驗(yàn)及其評(píng)價(jià) 第三節(jié) 復(fù)相關(guān)系數(shù)與偏相關(guān)系數(shù) 第四節(jié) 自變量篩選 第五節(jié) 多元線性回歸的應(yīng)用與注意事項(xiàng),目的：作出以多個(gè)自變量估計(jì)應(yīng)變量的多元線性回歸方程。 資料：應(yīng)變量為定量指標(biāo)；自變量全部或大部分為定量指標(biāo)，若有少量定性或等級(jí)指標(biāo)需作轉(zhuǎn)換。 用途：解釋和預(yù)報(bào)。更精確 意義：由于事物間的聯(lián)系常常是多方面的，一個(gè)應(yīng)變量的變化可能受到其它多個(gè)自變量的影響，如糖尿病人的血糖變化可能受胰島素、糖化血紅蛋白、血清總膽固醇、甘油三脂等多種生化指標(biāo)的影響。,第一節(jié) 多重線性回歸的概念與統(tǒng)計(jì)推斷,變量：應(yīng)變量 1 個(gè)，自變量k 個(gè)，共 k+1 個(gè)。 樣本含量：n 數(shù)據(jù)格式見(jiàn)表13-1 回歸模型一般形式：,一、數(shù)據(jù)與多元線性回歸模型,多元回歸分析數(shù)據(jù)格式,條件,一般步驟,建立回歸方程(樣本),(2)檢驗(yàn)并評(píng)價(jià)回歸方程 及各自變量的作用大小,二、多元線性回歸方程的建立,樣本估計(jì)而得的多重線性回歸方程 bj為自變量Xj 的偏回歸系數(shù)（partial regression coefficient），是j的估計(jì)值，表示當(dāng)方程中其他自變量保持常量時(shí)，自變量Xj變化一個(gè)計(jì)量單位,反應(yīng)變量Y的平均值變化的單位數(shù)。,求偏導(dǎo)數(shù)（一階）,原 理 最小二乘法,統(tǒng)計(jì)軟件包,第二節(jié) 假設(shè)檢驗(yàn)及其評(píng)價(jià),1. 方差分析法：,（一）對(duì)回歸方程,多元線性回歸方差分析表,表13-2顯示，P 0.0001,拒絕H0。說(shuō)明從整體上而言，用這四個(gè)自變量構(gòu)成的回歸方程解釋空氣中NO濃度的變化是有統(tǒng)計(jì)學(xué)意義的。,偏回歸系數(shù)的t檢驗(yàn),偏回歸系數(shù)的t檢驗(yàn)是在回歸方程具有統(tǒng)計(jì)學(xué)意義的情況下，檢驗(yàn)?zāi)硞€(gè)總體偏回歸系數(shù)等于零的假設(shè),以判斷是否相應(yīng)的那個(gè)自變量對(duì)回歸確有貢獻(xiàn),利用SAS對(duì)例13-1的四個(gè)偏回歸系數(shù)進(jìn)行t檢驗(yàn)與標(biāo)準(zhǔn)化偏回歸系數(shù)的結(jié)果如表13-3所示。,第三節(jié) 復(fù)相關(guān)系數(shù)與偏相關(guān)系數(shù),確定系數(shù)、復(fù)相關(guān)系數(shù)與調(diào)整確定系數(shù),復(fù)相關(guān)系數(shù)的平方稱為確定系數(shù)（coefficient of determination）, 或決定系數(shù)，記為R2，用以反映線性回歸模型能在多大程度上解釋反應(yīng)變量Y的變異性。其定義為,復(fù)相關(guān)系數(shù)：確定系數(shù)的算術(shù)平方根,對(duì)例13-1，由方差分析表可得：SSR=0.06396 SSE=0.01727 SST=0.08123,表示變量Y與k個(gè)自變量（X1,X2,Xk）的線性相關(guān)的密切程度。,說(shuō)明，用包含氣車流量、氣溫、氣濕與風(fēng)速這四個(gè)自變量的回歸方程可解釋交通點(diǎn)空氣NO濃度變異性的78.74%。,表示交通點(diǎn)空氣NO濃度與氣車流量、氣溫、氣濕與風(fēng)速等四個(gè)變量的復(fù)相關(guān)系數(shù)為0.8703,調(diào)整的R2(Adjusted R-Square) 當(dāng)回歸方程中包含有很多自變量，即使其中有一些自變量（如本例中的X3 ）對(duì)解釋反應(yīng)變量變異的貢獻(xiàn)極小，隨著回歸方程的自變量的增加，R2 值表現(xiàn)為只增不減，這是復(fù)相關(guān)系數(shù)R2的缺點(diǎn)。調(diào)整的R2定義為,偏相關(guān)系數(shù),偏相關(guān)系數(shù)（partial correlation coefficient ）:一般地，扣除其他變量的影響后，變量Y與X的相關(guān).,表13-5 空氣中NO濃度與各自變量的相關(guān)系數(shù)和偏相關(guān)系數(shù),（二）對(duì)各自變量 指明方程中的每一個(gè)自變量對(duì)Y的影響（即方差分析和決定系數(shù)檢驗(yàn)整體）。,1. 偏回歸平方和,各自變量的偏回歸平方和可以通過(guò)擬合包含不同自變量的回歸方程計(jì)算得到,結(jié) 果,2. t 檢驗(yàn)法 是一種與偏回歸平方和檢驗(yàn)完全等價(jià)的一種方法。計(jì)算公式為,結(jié) 論,標(biāo)準(zhǔn)化回歸系數(shù) 變量標(biāo)準(zhǔn)化是將原始數(shù)據(jù)減去相應(yīng)變量的均數(shù)，然后再除以該變量的標(biāo)準(zhǔn)差。,計(jì)算得到的回歸方程稱作標(biāo)準(zhǔn)化回歸方程，相應(yīng)的回歸系數(shù)即為標(biāo)準(zhǔn)化回歸系數(shù)。,注意： 一般回歸系數(shù)有單位，用來(lái)解釋各自變量對(duì)應(yīng)變量的影響，表示在其它自變量保持不變時(shí)， 增加或減少一個(gè)單位時(shí)Y的平均變化量 。不能用各 來(lái)比較各 對(duì) 的影響大小。 標(biāo)準(zhǔn)化回歸系數(shù)無(wú)單位，用來(lái)比較各自變量對(duì)應(yīng)變量的影響大小， 越大， 對(duì) 的影響越大。,第四節(jié) 自變量篩選,目的：使得預(yù)報(bào)和（或）解釋效果好,自變量篩選的標(biāo)準(zhǔn)與原則,1.殘差平方和（SSE）縮小與確定系數(shù)（R2）增大 2.殘差均方（ SSE ）縮小與調(diào)整確定系數(shù)增大 3. CP統(tǒng)計(jì)量 選擇既具有較小CP值，在圖中又接近于CP =q直線的模型作為“最優(yōu)”的準(zhǔn)則,全局擇優(yōu)法,目的：預(yù)報(bào)效果好 意義：對(duì)自變量各種不同的組合所建立 的回歸方程進(jìn)行比較 擇優(yōu)。 選擇方法：,逐步選擇法,1.,1.前進(jìn)法，回歸方程中的自變量從無(wú)到有、從少到多逐個(gè)引入回歸方程。這種選擇自變量的方法基于殘差均方縮小的準(zhǔn)則，不一定能保證“最優(yōu)” . 此法已基本淘汰。 2. 后退法，先將全部自變量選入方程，然后逐步剔除無(wú)統(tǒng)計(jì)學(xué)意義的自變量。 剔除自變量的方法是在方程中選一個(gè)偏回歸平方和最小的變量，作F檢驗(yàn)決定它是否剔除，若無(wú)統(tǒng)計(jì)學(xué)意義則將其剔除，然后對(duì)剩余的自變量建立新的回歸方程。重復(fù)這一過(guò)程，直至方程中所有的自變量都不能剔除為止。理論上最好，建議使用采用此法。 3.逐步回歸法，逐步回歸法是在前述兩種方法的基礎(chǔ)上，進(jìn)行雙向篩選的一種方法。該方法本質(zhì)上是前進(jìn)法。,第五節(jié) 多元線性回歸的應(yīng)用與注意事項(xiàng),多元線性回歸的應(yīng)用,多元線性回歸應(yīng)用的注意事項(xiàng),1、非同質(zhì)資料的合并問(wèn)題 斜率相同（同質(zhì)）：可以利用男、女合并的資料擬合共同的回歸模型； 不同質(zhì)：此時(shí)應(yīng)按不同性別分別擬合回歸模型。 2、指標(biāo)的數(shù)量化,3、樣本含量: n =(510)m。 4、關(guān)于逐步回歸: 對(duì)逐步回歸得到的結(jié)果不要盲目的信任，所謂的“最優(yōu)”回歸方程并不一定是最好的，沒(méi)有選入方程的變量也未必沒(méi)有統(tǒng)計(jì)學(xué)意義。例如，例15-3中若將選入標(biāo)準(zhǔn)和剔除標(biāo)準(zhǔn)定為 和 ，選入的變量是 ，而不是 ，結(jié)果發(fā)生了改變。 不同回歸方程適應(yīng)于不同用途，依專業(yè)知識(shí)定。,5、多重共線性 即指一些自變量之間存在較強(qiáng)的線性關(guān)系。如高血壓與年齡、吸煙年限、飲白酒年限等，這些自變量通常是高度相關(guān)的，有可能使通過(guò)最小二乘法建立回歸方程失效，引起下列一些不良后果： （1）參數(shù)估計(jì)值的標(biāo)準(zhǔn)誤變得很大，從而t值變