統(tǒng)計學教案習題11多元線性回歸與logistic回歸

〔一〕把握內容

第十一章多元線性回歸與logistic一、教學大綱要求多元線性回歸分析的概念：多元線性回歸、偏回歸系數、殘差。多元線性回歸的分析步驟：多元線性回歸中偏回歸系數及常數項的求法、多元線性回歸的應用。P值下結論。logistic回歸模型構造：模型構造、發(fā)病概率比數、比數比。5．logistic回歸參數估量方法。6．logistic回歸篩選自變量：似然比檢驗統(tǒng)計量的計算公式；篩選自變量的方法?！捕成鑳热莩Ｓ媒y(tǒng)計軟件〔SPSS及SAS〕多元線性回歸分析方法：數據預備、操作步驟與結果輸出。〔三〕了解內容標準化偏回歸系數的解釋意義。二、教學內容精要(一)多元線性回歸分析的概念將直線回歸分析方法加以推廣，用回歸方程定量地刻畫一個應變Y與多個自變量X間的線形依存關系，稱為多元線形回歸multiplelinearregressio，簡稱多元回歸multiple regressio〕bX0 1 1 2 2 k k式中Y?為各自變量取某定值條件下應變量均數的估量值，X，X ，…，X 為自變量，k為自變量個數，b為回歸方1 2 k 0程常數項，也稱為截距，其意義同直線回歸，bb1 2

，…,bk

稱為偏回歸系數partialregressioncoefficien，b 表示j

以外的自變量固定條件下，Xj

每轉變一個單位后Y的平均轉變量。j(二)多元線性回歸的分析步驟Y?是與一組自變量X，X ，…，X 相對應的變量Y的平均估量值。1 2 k多元回歸方程中的回歸系數bb1 2

，…,bk

可用最小二乘法求得，也就是求出能使估量值Y?和實際觀看值Y的殘差平方和e2i

(YY?2為最小值的一組回歸系數bb1 2

，…,bk

值。依據以上要求，用數學方法可以得出求回歸系數bb1

，…,bk

的以下正規(guī)方程組normalequatio：bl

bl

bl l111

212

k1k 1ybl121

bl222

bl lk2k 2ybl1k1

bl

bl lkkk ky式中l(wèi)

(X

X)(X X)XX

(X)(X)i jij

i i j

i j nl (Xiy

X)(YY)XY(i i

X)( Y)in常數項b0

可用下式求出：

b YbX0 1

bX2

bXk k〔三〕多元線性回歸分析中的假設檢驗在算得各回歸系數并建立回歸方程后，還應對此多元回歸方程作假設檢驗，推斷自變XX1 2

，…，Xk

是否與Y真有線性依存關系，也就是檢驗無效假設H0。檢驗時常用統(tǒng)計量F

〔0 1

3

0〕,備選假設H1

為各

0j式中nk為自變量的個數。

MSF 回歸MS誤差

l (nk1)l k回歸誤差l k回歸式中 l回歸

bl1y

bl

blkkyl l誤差

l回歸l 總

2lyy(四)logistic回歸模型構造設X,X, ,X 為一組自變量，Y為應變量。當Y是陽性反響時，記為Y=1；當Y是陰性反響時，記為Y=0。1 2 kP表示發(fā)生陽性反響的概率；用Q表示發(fā)生陰性反響的概率，明顯PQ=1。Logistic回歸模型為：1P e0X12X2kXk1同時可以寫成：

1e0X12X11Q11

kXk11e01

XX1 2

kXk式中

(jk)是與爭論因素X

有關的參數，稱為偏回歸系數。0 j

大事發(fā)生的概率P與x之間呈曲線關系，當x在

之間變化時，P或Q在〔0，1〕之間變化。假設有n例觀看對象第i名觀看對象在自變量X ,Xi1

, ,Xi2

作用下的應變量為Yi

Yi

=Yi

相應地用P表示其發(fā)生陽性反響的概率；用Q表示其發(fā)生陰性反響的概率，仍舊有PQ

=1P和Q

的計算如下：i i1 e01

Xi12

Xi2

kXik

i i i i0Pi 1e0Q

X 1 i1 1

Xi2

kXik1i 1e01

Xi12

Xi2

kXik這樣，第i個觀看對象的發(fā)病概率比數〔odds〕為PQi i

，第l個觀看對象的發(fā)病概率比數為PQl l

，而這兩個觀ORoddsrati。比照數比取自然對數得到關系式：ln

(X

X )(X

X )(X

X )PQi iPQPQi iPQ

2 i2

k ik lkl l 等式左邊是比數比的自然對數，等式右邊的X Xij lj

j

Xi

的不同暴露水平Xij

與X 之差。lj 的流行病學意義是在其它自變量固定不變的狀況下Xj

的暴露水平每轉變一個測量單位時所引起的比數比的j自然對數轉變量?；蛘哒f，在其他自變量固定不變的狀況下，當自變量X

的水平每增加一個測量單位時所引起的比數j比為增加前的ej倍。同多元線性回歸一樣，在比較暴露因素對反響變量相對奉獻的大小時，由于各自變量的取值單位不同，也不能用偏回歸系數的大小作比較，而須用標準化偏回歸系數來做比較。標準化偏回歸系數值的大小，直接反映了其相應的暴露因素對應變量的相對奉獻的大小。標準化偏回歸系數的計算，可利用有關統(tǒng)計軟件在計算機上解決?！参濉砽ogistic回歸參數估量由于logistic回歸是一種概率模型，通常用最大似然估量法〔maximumlikelihoodestimate〕求解模型中參數 的j估量值bj

(jk)。YXX1

, ,X2

作用下的陽性大事〔或疾病〕發(fā)生的指示變量。其賦值為：1，第iY i 0，第i第i個觀看對象對似然函數的奉獻量為：li

PYiii

Q1Yii當各大事是獨立發(fā)生時，則n個觀看對象所構成的似然函數L是每個觀看對象的似然函數奉獻量的乘積，即Lnl

PYQ1Y式中∏為i1到n的連乘積。

i ii i ii1 i1依最大似然估量法的原理，使得L到達最大時的參數值即為所求的參數估量值，計算時通常是將該似然函數取自然對數〔稱為對數似然函數〕后，用Newton—Raphson迭代算法求解參數估量值b〔六〕logistic回歸篩選自變量

(j2，，k)。j在logistic回歸中篩選自變量的方法有似然比檢〔likelihoodratiotes計分檢(score testWald檢test)三種。其中似然比檢驗較為常用， 用Λ 2lnL”L2(lnL”lnL)式中l(wèi)nL為方程中包含m(mk)L”為在方程中包含原m個自變量的基礎上再參加1X

后的似然函數值Hj

Λ聽從自由度為12

2(1)時，則在水平上拒絕無效假設，即認為X應參加。逆向進展即可剔除自變量?！惨弧硢雾椷x擇題

Xj三、典型試題分析

j多元線性回歸分析中，反映回歸平方和在應變Y的總離均差平方和中所占比重的統(tǒng)計量是〔 。復相關系數偏相關系數偏回歸系數確定系數答案：D[評析] 此題考點：多元線性回歸中的幾個概念的理解。多元線性回歸中的偏回歸系數〔multiplelinearregression〕表示在其它自變量固定不變的狀況下自變量X 每轉變j一個單位時，單獨引起應變量Y的平均轉變量。確定系數〔coefficientofdetermination〕表示回歸平方和SS

占總離均差平方和SS

R2。即R2總

SS SS回歸

回歸R〔multiplecorrelationcoefficient〕,p0R≤1。Logistic回歸分析適用于應變量為〔 。A．分類值的資料 B．連續(xù)型的計量資料C．正態(tài)分布資料 D．一般資料答案：A[評析]此題考點：logistic回歸的概念。logistic料，特別適用于應變量為二項分類的情形。模型中的自變量可以是定性離散值，也可以是計量觀測值?！捕秤嬎泐}依據表11-2數據，分別用SPSS統(tǒng)計軟件、SAS統(tǒng)計軟件寫出多元線性回歸的統(tǒng)計分析步驟及其簡要結果。表11-1 某學校20名一年級女大學生肺活量及有關變量測量結果編號 體重X/kg 胸圍X /cm 肩寬X/cm 肺活量Y/L1 2 3150.873.236.32.96249.084.134.53.13342.878.331.01.91455.077.131.02.63545.381.730.02.86645.374.832.01.91751.473.736.52.98853.879.437.03.28949.072.630.12.521053.979.537.13.271148.883.833.93.101252.688.438.03.281342.778.230.91.921452.588.338.13.271555.177.231.12.641645.281.630.22.851751.478.336.53.161848.772.530.02.511951.378.236.43.152045.875.032.51.94答案：SPSEXAP1sa4列20StatisticRegressionLinear...Dependent：YIndependent(s)：X，X，X1 2 3Method：Enter結果：ModelVariablesEntered ModelVariablesEntered VariablesRemovedMethod1XXX.Enter3〔肩寬〕,2〔胸圍〕,1〔體重〕Allrequestedvariablesentered.DependentVariable:Y〔肺活量〕ModelRRModelRRSquareAdjustedRSquare.662Std.ErroroftheEstimate1.846.715.2893a Predictors:(Constant),X3,X2,X1ANOVAModelSumofSquaresdfMeanSquareFSig.1 Regression3.36731.12213.413.000Residual1.339168.368E-02Total4.70619a Predictors:(Constant),b DependentVariable:Y

X ,X ,X3 2 1ModelUnstandardizedModelUnstandardizedCoefficientsStandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)XXX321-4.6761.321-3.541.0036.036E-02.021.4742.899.0103.508E-02.015.3332.272.0375.010E-02.029.3071.735.102a DependentVariable:YSAS：

數據步 過程步DATA EXAP11—2；INPUTx1x2x3y@@； PROCREG；CARDS； MODELy=x1x2x3；50.873.236.32.96?45.875.032.51.94； RUN；結果：

AnalysisofVarianceSourceDFSumofSquaresMeanSquareFValuePr>FModel33.367321.1224413.410.0001Error161.338930.08368CorrectedTotal194.70626ParameterEstimatesParameterStandardVariableDFEstimateErrortValuePr>|t|Intercept1-4.675531.32051-3.540.0027X110.060360.020822.900.0105X210.035080.015442.270.0372X310.050100.028881.730.1020[評析] 此題考點：統(tǒng)計軟件關于多元線性回歸的分析方法及主要輸出結果。依據SPSS或SAS的輸出結果，可進展以下分析：檢驗H： 0的方差分析表。F=13.413，P=0.0001，拒絕H，肺活量至少與一個自變量存在線0 1 2 3 0性關系。估量偏回歸系數b，b，bY

4.680.06X0.04X 0.05X，R2=0.715，R2=0.662。1 2 3

1 2 3 a偏回歸系數檢驗，見表11-2。表11-2 偏回歸系數估量值及其檢驗偏回歸系數估量值偏回歸系數估量值SEtPb-4.6751.321-3.540.00b0.0600.0212.900.01b0.0350.0152.270.04b0.0500.0291.730.10123〔一〕單項選擇題

四、習題可用來進展多元線性回歸方程的協(xié)作適度檢驗是：2檢驗 B．F檢驗 C．U檢驗 D．Ridit檢驗在多元回歸中，假設對某個自變量的值都增加一個常數，則相應的偏回歸系數：不變 B．增加一樣的常數 C．削減一樣的常數 D．增加但數值不定在多元回歸中，假設對某個自變量的值都乘以一個一樣的常數k，則：該偏回歸系數不變該偏回歸系數變?yōu)樵瓉淼?/k倍全部偏回歸系數均發(fā)生轉變該偏回歸系數轉變，但數值不定作多元回歸分析時，假設降低進入的F界值，則進入方程的變量一般會：增多 B．削減 C．不變 D．可增多也可削減〔二〕名詞解釋1.多元線性回歸 2.偏回歸系數 3.復相關系數 4.確定系數5.比數 6.比數比〔三〕logistic回歸模型中，偏回歸系數的解釋意義是什么？i〔四〕某學者爭論在某種養(yǎng)分缺乏狀態(tài)下兒童的體重〔Y，k〕與身高〔X，c、年齡〔X ，歲〕的關系獲得了1 212名觀看對象的觀測資料，計算得到如下根本數據：XYX 1611，X2219631，X ，X2976，Y341，Y29883，XXY1XY46439，

1 2 2 1 23079。1 2請寫出求解Y

b bX bX二元線性回歸方程的正規(guī)方程組。0 1 1 2 2設方程組的解為b0

2.114，b1

0.135，b2

0.923，請寫出回歸方程。完成以下方差分析表。 表11-3 12名兒童體重與身高、年齡回歸分析方差分析表變異來源 v SS MS F回歸殘差總和〔一〕 單項選擇題

五、習題答案要點1．B 2．A 3．B 4．A〔二〕名詞解釋用回歸方程定量地刻畫一個應變量Y與多個自變量X間的線性依存關系，稱為多元線性回歸〔multiplelinearregressio，簡稱多元回歸multiple regressio。多元線性回歸的根本形式為：bbXbX bX b，b0 1 1 2 2 k k 1 2

，…,bk

稱為偏回歸系數〔partialregressioncoefficien，bj

X

以外的自變量固定條件下，Xj

每轉變一個單位后Y的平均轉變量。j復相關系