衛(wèi)生統(tǒng)計學(xué)第24章 多元線性回歸與相關(guān)課件

第24章多元線性回歸與相關(guān)衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)一、建立回歸方程多元線性回歸方程b1,b2…bk:為偏回歸系數(shù)partialregressioncoefficient。表示在其他自變量固定的條件下，xi

改變一個單位時應(yīng)變量的改變量采用最小二乘法計算偏回歸系數(shù)見P310,例24-1衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)二、回歸方程的假設(shè)檢驗H0：各總體偏回歸系數(shù)均為0H1：各總體偏回歸系數(shù)不等于0或不全為0F>F0.05，則多元回歸有統(tǒng)計學(xué)意義衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)三、標(biāo)準(zhǔn)化偏回歸系數(shù)由于自變量單位不同，不能用偏回歸系數(shù)的大小來說明各變量的重要性。需進(jìn)行標(biāo)準(zhǔn)化變換，再用上述的方法計算多元回歸方程的回歸系數(shù)，即為標(biāo)準(zhǔn)偏回歸系數(shù)即每一個變量值都減去該變量的平均數(shù)后再除以該變量的標(biāo)準(zhǔn)差（Z變換）所得的商就稱為標(biāo)準(zhǔn)化量。用標(biāo)準(zhǔn)化量計算得到偏回歸系數(shù)，沒有單位，其絕對值大小在一定程度上反映了各自變量的重要性。衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)四、偏回歸系數(shù)的統(tǒng)計意義檢驗不僅要對整個回歸方程進(jìn)行統(tǒng)計意義檢驗還需對每個自變量的作用，即偏回歸系數(shù)作統(tǒng)計意義檢驗x1的偏回歸平方和：是該回歸方程中由于除去變量x1后回歸平方和的減少量衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)以P310例題為例，采用SPSS進(jìn)行分析數(shù)據(jù)庫見：multiplelinearregressionAnalyze→regression→linearDependent框：yIndependent框：x1、x2、x3Method:選擇系統(tǒng)默認(rèn)的enter(強(qiáng)制納入回歸模型)OK衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)五、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)1、復(fù)相關(guān)系數(shù)multiplecorrelationcoefficient：表明多個變量間的相關(guān)程度衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)SPSS計算復(fù)相關(guān)系數(shù)采用典型相關(guān)分析：是研究兩組變量之間相關(guān)關(guān)系的一種多元統(tǒng)計分析方法。常有兩方法，其一為：采用類似于主成分分析的方法，在每一組變量中都選擇若干個有代表性的綜合指標(biāo)（變量的線性組合），通過研究兩組綜合指標(biāo)之間的關(guān)系來反映兩組變量之間的相關(guān)關(guān)系。怎樣尋找綜合指標(biāo)，使它們之間具有最大的相關(guān)性，這就是典型（則）相關(guān)canonicalcorrelation衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)當(dāng)兩個變量組均只有一個變量時，典型相關(guān)系數(shù)即簡單相關(guān)系數(shù)，當(dāng)一組變量只有一個變量時，典型相關(guān)系數(shù)即為復(fù)相關(guān)系數(shù)。SPSS可采用Manova過程來擬合，或采用專門提供的宏程序來擬合（使用非常簡單，結(jié)果又非常詳細(xì)，故常用后一種方法）衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)Include’SPSS所在路徑\canonicalcorrelation.sps’.Cancorrset1=第一組變量列表

/set2=第二組變量列表.Runall即可衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)CorrelationsforSet-1yy1.0000CorrelationsforSet-2x1x2x3x11.0000.1718.6409x2.17181.0000.4522x3.6409.45221.0000CorrelationsBetweenSet-1andSet-2x1x2x3y.6945.5864.7288衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)CanonicalCorrelations1.859Testthatremainingcorrelationsarezero:Wilk'sChi-SQDFSig.1.2638.6923.000.034StandardizedCanonicalCoefficientsforSet-11y1.000RawCanonicalCoefficientsforSet-11y.002StandardizedCanonicalCoefficientsforSet-21x1.541x2.456x3.296衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)RawCanonicalCoefficientsforSet-21x1.163x2.101x3.272CanonicalLoadingsforSet-11y1.000CrossLoadingsforSet-11y.859CanonicalLoadingsforSet-21x1.809x2.683x3.849CrossLoadingsforSet-21x1.695x2.586x3.729衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)RedundancyAnalysis:ProportionofVarianceofSet-1ExplainedbyItsOwnCan.Var.PropVarCV1-11.000ProportionofVarianceofSet-1ExplainedbyOppositeCan.Var.PropVarCV2-1.737ProportionofVarianceofSet-2ExplainedbyItsOwnCan.Var.PropVarCV2-1.614ProportionofVarianceofSet-2ExplainedbyOppositeCan.Var.PropVarCV1-1.452------ENDMATRIX-----衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)2、偏相關(guān)系數(shù)：固定其他變量，分析某兩個變量間的相關(guān)關(guān)系偏相關(guān)系數(shù)有效的條件：原始數(shù)據(jù)必須是多元正態(tài)分布數(shù)據(jù)的取得必須都是隨機(jī)的不分自變量和應(yīng)變量衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)SPSS實現(xiàn)偏相關(guān)分析Analyze→correlate→partialVariables框：x1x2Controllingfor框：x3Options:選中zeroordercorrelation:continueOK衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)六、逐步回歸

stepwiseregressionanalysis多元回歸分析中，較理想的回歸方程，應(yīng)包括所有對應(yīng)變量作用有統(tǒng)計意義的自變量，而不包括作用無統(tǒng)計意義的自變量衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)逐步回歸分析的基本原理按每個變量在方程中對應(yīng)變量作用的大小，由大到小依次引入回歸方程。具體作法：每引入一個自變量都要對回歸方程中每一個已引入的自變量的作用作統(tǒng)計意義檢驗，當(dāng)發(fā)現(xiàn)一個或幾個已被引入的自變量的作用無統(tǒng)計意義時，即行剔除。每剔除一個自變量后，也要對仍留在回歸方程中的自變量逐個作統(tǒng)計意義檢驗。如果發(fā)現(xiàn)方程中還存在作用無統(tǒng)計意義的自變量時，也就剔除，直到?jīng)]有變是可引入，也無剔除時為止衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)七、SPSS中的逐步回歸方法1、Enter:所有納入自變量框的自變量均進(jìn)入模型，不涉及變量的篩選問題，為默認(rèn)選項2、Forward前進(jìn)法：分別對k個自變量擬合它與應(yīng)變量的簡單線性模型，將P值最小的引入模型，若均無意義停止。第二步，在已引入模型的基礎(chǔ)上，再分別擬合k-1個線性回歸模型（分別包含已引入變量和其他變量），再取P值最小者，若均無統(tǒng)計意義則停止，反之。重復(fù)以上步驟，直到模型外的自變量均無統(tǒng)計學(xué)意義為止衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)3、Backward后退法：先擬合包含k個變量的模型，將其中P值最大者剔出模型，若所有自變量P值均有統(tǒng)計意義，則停止。反之重復(fù)以上步驟。4、Stepwise逐步法：將上述兩種方法結(jié)合應(yīng)用。前兩步同前進(jìn)法，第三步，考察第一步引入模型的自變量是否仍有意義，無統(tǒng)計意義，則剔除。擬合包含第二步引入模型的自變量與除第一步引入的自變量外的k-2個自變量的模型，將其中最小P值者引入，若均無統(tǒng)計意義，則停止。若第一步引的自變量有意義，則進(jìn)行第四步，在前兩個變量的基礎(chǔ)上，引入k-2個模型，如此反復(fù)衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)5、Remove移去：規(guī)定為Remove的自變量被強(qiáng)制剔除出模型。但SPSS會給出如果將其引入模型的參數(shù)估計及檢驗結(jié)果衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)八、補充說明1、統(tǒng)計學(xué)意義，以options控鈕中的entry、removal選項所規(guī)定的P值為準(zhǔn)，SPSS默認(rèn)分別為0.05和0.10。實際中，剔除的P值應(yīng)大于或等于引入的P值，否則為死循環(huán)2、自變量組合不同，偏回歸系數(shù)的檢驗結(jié)果不同，有可能出現(xiàn)有些自變量在前幾步中引入模型，而在后面的運算中被剔除衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)3、前進(jìn)、后退、逐步法的側(cè)重點不同。當(dāng)自變量間不存在簡單線性相關(guān)時，三種方法計算結(jié)果一致。當(dāng)自變量間存在一定的簡單線性相關(guān)時：前進(jìn)法側(cè)重于向模型中引入單獨作用較強(qiáng)的變量后退法側(cè)重于向模型中引入聯(lián)合作用較強(qiáng)的變量逐步法介于兩者之間衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)4、對于不同的自變量納入方法，在SPSS中可通過“NEXT”按鈕將其分為不同的“Block”，決定其進(jìn)入模型的方式，同一Block中的自變量進(jìn)入模型的方式相同衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)九、強(qiáng)影響點識別與處理1、強(qiáng)影響點：指對多重線性回歸模型參數(shù)估計有很強(qiáng)影響的數(shù)據(jù)點2、標(biāo)準(zhǔn)化殘差大于3時幾乎可以肯定該條記錄為強(qiáng)影響點3、強(qiáng)影響點統(tǒng)計量：除殘差外，SPSS中還可通過Save子對話框中的Influencestatistics復(fù)選框提供，5種，標(biāo)準(zhǔn)參與P112說明衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)4、檢測到數(shù)據(jù)中有強(qiáng)影響點時，可通過以下途徑解決：1）首先，考慮該條記錄在數(shù)據(jù)記錄、錄入時是否有錯誤，如果是，應(yīng)改正。查不到原始記錄不能修正者，應(yīng)將該條記錄刪除2）考慮該記錄是否與數(shù)據(jù)庫中的其他記錄分屬于不同亞群，若是則應(yīng)刪除3）以上兩條不滿足是，不宜武斷刪除，應(yīng)再審散點圖矩陣，考慮擬合其他形式的模型予以修正衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)4）進(jìn)行穩(wěn)健回歸Robustregression:如加權(quán)最小二乘法，以普通多元線性模型的殘差為加權(quán)變量，進(jìn)行加權(quán)最小二乘法回歸分析5）實際情況允許可考慮增加樣本量6）進(jìn)行非參數(shù)回歸衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)十、多重共線性識別與處理多重共線性：是指自變量間存在線性相關(guān)，即一個自變量可用其他一個或幾個自變量的線性表達(dá)式進(jìn)行表示。導(dǎo)致偏回歸系數(shù)存在無窮多個解或無解，出現(xiàn)偏回歸系數(shù)難以有合乎專業(yè)知識的解釋衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)多重共線性主要有以下幾種類型表現(xiàn)：1）整個模型的方差分析檢驗結(jié)果這P<α，但各自變量的偏回歸系數(shù)的統(tǒng)計檢驗結(jié)果卻P>α2)專業(yè)上認(rèn)為應(yīng)該有統(tǒng)計學(xué)意義的自變量檢驗結(jié)果卻無統(tǒng)計意義3）自變量的偏回歸系數(shù)取值大小甚至符號明顯與實際情況相違背，難以解釋4）增加或刪除一個自變量或一條記錄，自變量偏回歸系數(shù)發(fā)生較大變化衛(wèi)生統(tǒng)計學(xué)第24章多元線性回歸與相關(guān)多重共線性識別通過statistics子對話框中的collinearitydiagnostics復(fù)選框?qū)崿F(xiàn)，提供以下統(tǒng)計量1）容忍度