多元回歸分析課件

第八章SPSS的相關(guān)分析和回歸分析（三）多元線性回歸分析多元線性回歸分析的主要問(wèn)題回歸方程的檢驗(yàn)自變量篩選多重共線性問(wèn)題多元線性回歸分析應(yīng)用舉例根據(jù)10個(gè)市場(chǎng)區(qū)在特定周內(nèi)某產(chǎn)品的銷(xiāo)售額、廣告費(fèi)、人口密度數(shù)據(jù),建立銷(xiāo)售額的預(yù)測(cè)模型多元線性回歸方程的檢驗(yàn)(一)擬和優(yōu)度檢驗(yàn):(1)判定系數(shù)R2:R是y和xi的復(fù)相關(guān)系數(shù)(或觀察值與預(yù)測(cè)值的相關(guān)系數(shù)),測(cè)定了因變量y與所有自變量全體之間線性相關(guān)程度(2)調(diào)整的R2:考慮的是平均的剩余平方和,克服了因自變量增加而造成R2也增大的弱點(diǎn)在某個(gè)自變量引入回歸方程后，如果該自變量是理想的且對(duì)因變量變差的解釋說(shuō)明是有意義的，那么必然使得均方誤差減少，從而使調(diào)整的R2得到提高；反之，如果某個(gè)自變量對(duì)因變量的解釋說(shuō)明沒(méi)有意義，那么引入它不會(huì)造成均方誤差減少，從而調(diào)整的R2也不會(huì)提高。多元線性回歸方程的檢驗(yàn)(二)回歸方程的顯著性檢驗(yàn)：(1)目的:檢驗(yàn)所有自變量與因變量之間的線性關(guān)系是否顯著，是否可用線性模型來(lái)表示.(2)H0:β1=β2=…=βk=0即:所有回歸系數(shù)同時(shí)與0無(wú)顯著差異(3)利用F檢驗(yàn),構(gòu)造F統(tǒng)計(jì)量:F=平均的回歸平方和/平均的剩余平方和~F(k,n-k-1)如果F值較大，則說(shuō)明自變量造成的因變量的線性變動(dòng)大于隨機(jī)因素對(duì)因變量的影響,自變量于因變量之間的線性關(guān)系較顯著(4)計(jì)算F統(tǒng)計(jì)量的值和相伴概率p(5)判斷p<=a:拒絕H0,即:所有回歸系數(shù)與0有顯著差異，自變量與因變量之間存在顯著的線性關(guān)系。反之，不能拒絕H0多元線性回歸方程的檢驗(yàn)(三)回歸系數(shù)的顯著性檢驗(yàn)(1)目的:檢驗(yàn)每個(gè)自變量對(duì)因變量的線性影響是否顯著.(2)H0:βi=0即:第i個(gè)回歸系數(shù)與0無(wú)顯著差異(3)利用t檢驗(yàn),構(gòu)造t統(tǒng)計(jì)量：其中:Sy是回歸方程標(biāo)準(zhǔn)誤差(StandardError)的估計(jì)值，由均方誤差開(kāi)方后得到，反映了回歸方程無(wú)法解釋樣本數(shù)據(jù)點(diǎn)的程度或偏離樣本數(shù)據(jù)點(diǎn)的程度如果某個(gè)回歸系數(shù)的標(biāo)準(zhǔn)誤差較小，必然得到一個(gè)相對(duì)較大的t值，表明該自變量xi解釋因變量線性變化的能力較強(qiáng)。(4)逐個(gè)計(jì)算t統(tǒng)計(jì)量的值和相伴概率p

(5)判斷多元線性回歸分析應(yīng)用舉例根據(jù)若干年國(guó)民收入和其他相關(guān)數(shù)據(jù)，對(duì)國(guó)民收入的影響因素進(jìn)行分析多元線性回歸分析中的自變量篩選(二)自變量向前篩選法(forward):即:自變量不斷進(jìn)入回歸方程的過(guò)程.首先,選擇與因變量具有最高相關(guān)系數(shù)的自變量進(jìn)入方程,并進(jìn)行各種檢驗(yàn);其次,在剩余的自變量中尋找偏相關(guān)系數(shù)最高的變量進(jìn)入回歸方程,并進(jìn)行檢驗(yàn);默認(rèn):回歸系數(shù)檢驗(yàn)的概率值小于PIN(0.05)才可以進(jìn)入方程.反復(fù)上述步驟,直到?jīng)]有可進(jìn)入方程的自變量為止. 多元線性回歸分析中的自變量篩選(三)自變量向后篩選法(backward):即:自變量不斷剔除出回歸方程的過(guò)程.首先,將所有自變量全部引入回歸方程；其次,在一個(gè)或多個(gè)t值不顯著的自變量中將t值最小的那個(gè)變量剔除出去,并重新擬和方程和進(jìn)行檢驗(yàn);默認(rèn):回歸系數(shù)檢驗(yàn)值大于POUT(0.10),則剔除出方程如果新方程中所有變量的回歸系數(shù)t值都是顯著的,則變量篩選過(guò)程結(jié)束.否則,重復(fù)上述過(guò)程,直到無(wú)變量可剔除為止.SPSS操作：options選項(xiàng):steppingmethodcriteria:逐步篩選法參數(shù)設(shè)置.useprobabilityofF:以F值相伴概率作為變量進(jìn)入和剔除方程的標(biāo)準(zhǔn).一個(gè)變量的F值顯著性水平小于entry(0.05)則進(jìn)入方程;大于removal(0.1)則剔除出方程.因此:Entry<removaluseFvalue:以F值作為變量進(jìn)入(3.84)和剔除(2.71)方程的標(biāo)準(zhǔn)多元線性回歸分析中的自變量篩選多元線性回歸中的共線性檢測(cè)(一)共線性帶來(lái)的主要問(wèn)題高度的多重共線會(huì)使回歸系數(shù)的標(biāo)準(zhǔn)差隨自變量相關(guān)性的增大而增大,至使回歸系數(shù)的置信區(qū)間不斷增大,造成估計(jì)值精度減低.有時(shí)表現(xiàn)出符號(hào)與實(shí)際情況不符。(二)共線性診斷自變量的容忍度(tolerance)和方差膨脹因子容忍度:Toli=1-Ri2.其中:Ri2是自變量xi與方程中其他自變量間的復(fù)相關(guān)系數(shù)的平方.容忍度越大則與方程中其他自變量的共線性越低,應(yīng)進(jìn)入方程.(具有太小容忍度的變量不應(yīng)進(jìn)入方程,spss會(huì)給出警)(T<0.1一般認(rèn)為具有多重共線性)方差膨脹因子(VIF):容忍度的倒數(shù)SPSS在回歸方程建立過(guò)程中不斷計(jì)算待進(jìn)入方程自變量的容忍度,并顯示目前的最小容忍度多元線性回歸中的共線性檢測(cè)用特征根刻畫(huà)自變量的方差如果自變量間確實(shí)存在較強(qiáng)的相關(guān)關(guān)系，那么它們之間必然存在信息重疊，于是可從這些自變量中提取出既能反映自變量信息(方差)又相互獨(dú)立的因素(成分)來(lái).從自變量的相關(guān)系數(shù)矩陣出發(fā)，計(jì)算相關(guān)系數(shù)矩陣的特征根，得到相應(yīng)的若干成分.如果某個(gè)特征根既能夠刻畫(huà)某個(gè)自變量方差的較大部分比例(如大于0.7),同時(shí)又可以刻畫(huà)另一個(gè)自變量方差的較大部分比例，則表明這兩個(gè)自變量間存在較強(qiáng)的多重共線性。條件指標(biāo)0<k<10無(wú)多重共線性;10<=k<=100較強(qiáng);k>=100嚴(yán)重SPSS操作Statistics選項(xiàng)中的Collinearitydignostics模型診斷交叉驗(yàn)證法(Cross-validation)訓(xùn)練集和檢驗(yàn)集：當(dāng)樣本量較小時(shí)，訓(xùn)練樣本比例可較高；反之。計(jì)算交叉診斷的收縮值通常大于0.9則可靠性差，小于0.1可靠性強(qiáng)SPSS的操作Save選項(xiàng)中的PredictiveValuesTransform中的Compute菜單例如：對(duì)隨機(jī)的數(shù)據(jù)進(jìn)行模擬模型診斷Jackknife驗(yàn)證法(Jackknifevalidation)適用于樣本量不是很大時(shí)利用n-1個(gè)樣本進(jìn)行參數(shù)估計(jì)，并根據(jù)所估計(jì)的參數(shù)計(jì)算剩余1個(gè)樣本的預(yù)測(cè)值計(jì)算擬和優(yōu)度，并與利用全部樣本時(shí)的擬和優(yōu)度進(jìn)行比較。如果擬和優(yōu)度降低，則說(shuō)明該擬和優(yōu)度可能是更客觀的，原本的高擬和可能是“機(jī)會(huì)”引起的多元回歸分析中注意的問(wèn)題個(gè)案獨(dú)立性限制例如：研究學(xué)生成績(jī)與所在地區(qū)經(jīng)濟(jì)之間的關(guān)系數(shù)據(jù)情況：學(xué)號(hào)成績(jī)所在學(xué)校學(xué)校所在地區(qū)地區(qū)經(jīng)濟(jì)指標(biāo)計(jì)量經(jīng)濟(jì)中多元回歸中的自變量的角色：觀測(cè)變量與控制變量例如：分析收入對(duì)消費(fèi)的影響時(shí)，控制變量年齡、性別、受教育程度例如：外國(guó)投資對(duì)環(huán)境的影響以及檢驗(yàn)庫(kù)茲涅茲曲線（各省市數(shù)據(jù)）二氧化碳排放量、外國(guó)直接投資額、人均GDP、人均GDP2、面積、產(chǎn)業(yè)結(jié)構(gòu)多元線性回歸分析應(yīng)用舉例分析工齡和職位對(duì)工資收入的影響特點(diǎn)：包含一個(gè)定性變量，且只有兩種分類(lèi)或狀態(tài)建立的模型為由于D只有1、0兩種取值，則模型可以為：部門(mén)經(jīng)理其他人員兩組的均值差，但在控制工齡的條件下多元線性回歸分析應(yīng)用舉例分析職位、工齡對(duì)工資收入的影響分析工齡和職位之間是否有交互影響建立的模型為由于D只有1、0兩種取值，則模型可以為：部門(mén)經(jīng)理其他人員多元線性回歸分析應(yīng)用舉例分析工齡和學(xué)歷以及工齡、學(xué)歷、職位對(duì)工資收入的影響利用SPSS的Block功能?chē)L試同時(shí)建立多個(gè)方程曲線估計(jì)(curveestimate)(三)基本操作步驟(1)繪制散點(diǎn)圖,觀察并確定模型.(2)菜單選項(xiàng):analyze->regression->curveestimation(3)選擇因變量到dependent框(4)

選擇自變量到independent框或選time以時(shí)間作自變量(5)選擇模型(R2最高擬和效果最好)曲線估計(jì)(curveestimate)(四)其他選項(xiàng)(1)displayANOVAtable:方差分析表(2)plotmodels:繪制觀察值和預(yù)測(cè)值的對(duì)比圖.(3)save選項(xiàng):predictedvalues:保存預(yù)測(cè)值.Residual:保存殘差值.pr