第十二章 Logistic回歸分析

本文格式為Word版，下載可任意編輯——第十二章Logistic回歸分析第十二章Logistic回歸分析

一、Logistic回歸概述：

Logistic回歸主要用于篩選疾病的危險(xiǎn)因素、預(yù)后因素或評(píng)價(jià)治療措施；尋常以疾病的死亡、痊愈等結(jié)果發(fā)生的概率為因變量，以影響疾病發(fā)生和預(yù)后的因素為自變量建立模型。

二、Logistic回歸的分類(lèi)及資料類(lèi)型：

第一節(jié)非條件Logistic回歸分析

一、Logistic回歸模型：

Logistic回歸模型：exp(?0??1X1????pXp)p?1?exp(?0??1X1????pXp)

1?

1?exp[?(?0??1X1????pXp)]

1??(???X????X)1?e

011pplogit（P）=ln(

p1?p)=β0+β1χ1+?+βnχn

二、回歸系數(shù)的估計(jì)（參數(shù)估計(jì)）：

回歸模型的參數(shù)估計(jì)：Logistic回歸模型的參數(shù)估計(jì)尋常利用最大似然估計(jì)法。

三、假設(shè)檢驗(yàn)：

1．Logistic回歸方程的檢驗(yàn)：

·檢驗(yàn)?zāi)Ｐ椭兴凶宰兞空w來(lái)看是否與所研究事件的對(duì)數(shù)優(yōu)勢(shì)比存在線(xiàn)性關(guān)系，也即方程是否成立。

·檢驗(yàn)的方法有似然比檢驗(yàn)、比分檢驗(yàn)（scoretest）和Wald檢驗(yàn)（waldtest）。上述三種方法中，似然比檢驗(yàn)最可靠。

·似然比檢驗(yàn)（likehoodratiotest）：通過(guò)比較包含與不包含某一個(gè)或幾個(gè)待檢驗(yàn)觀測(cè)因素的兩個(gè)模型的對(duì)數(shù)似然函數(shù)變化來(lái)進(jìn)行，其統(tǒng)計(jì)量為G=-2ln(L)（又稱(chēng)Deviance）。無(wú)效假設(shè)H0：β=0。當(dāng)H0成立時(shí)，檢驗(yàn)統(tǒng)計(jì)量G

2

近似聽(tīng)從自由度為N-P-1的X分布。當(dāng)G大于臨界值時(shí)，接受H1,拒絕無(wú)效假設(shè)，認(rèn)為從整體上看適合作Logistic回歸分析，回歸方程成立。

2．Logistic回歸系數(shù)的檢驗(yàn)：

·為了確定哪些自變量能進(jìn)入方程，還需要對(duì)每個(gè)自變量的回歸系數(shù)進(jìn)行假設(shè)檢驗(yàn)，判斷其對(duì)模型是否有貢獻(xiàn)。

·檢驗(yàn)方法常用WaldX2檢驗(yàn)，無(wú)效假設(shè)H0：β=0。當(dāng)X2大于臨界值時(shí)，拒絕無(wú)效假設(shè)，自變量能進(jìn)入方程。

3．Logistic回歸模型的擬合優(yōu)度檢驗(yàn)：·Logistic回歸模型的擬合優(yōu)度檢驗(yàn)是通過(guò)比較模型預(yù)計(jì)的與實(shí)際觀測(cè)的事件發(fā)生與不發(fā)生的頻數(shù)有無(wú)區(qū)別來(lái)進(jìn)行檢驗(yàn)。假使預(yù)計(jì)的值與實(shí)際觀測(cè)的值越接近，說(shuō)明模型的擬合效果越好。

·模型的擬合優(yōu)度檢驗(yàn)方法有偏差檢驗(yàn)（Deviance）、皮爾遜（pearson）檢驗(yàn)、統(tǒng)計(jì)量(Homser-Lemeshow),分別計(jì)算統(tǒng)計(jì)量X2D、X2P、X2HL值。統(tǒng)計(jì)量值越小，對(duì)應(yīng)的概率越大。無(wú)效假設(shè)H0：模型的擬合效果好。

·模型擬合優(yōu)度信息指標(biāo)有：-2lnL、AIC、SC。這3個(gè)指標(biāo)越小表示模型擬合的越好。

四、Logistic回歸模型的預(yù)計(jì)確鑿度：

常用的有以下2種：

1．廣義決定系數(shù)R2：2．預(yù)計(jì)確鑿率：

五、回歸系數(shù)的意義：

·利用參數(shù)和優(yōu)勢(shì)比探討影響因素。當(dāng)βi=0，優(yōu)勢(shì)比OR=1時(shí)，表示自變量X對(duì)是否出現(xiàn)陽(yáng)性結(jié)果不存在影響；當(dāng)βi≠0，優(yōu)勢(shì)比OR≠1時(shí)，表示自變量X對(duì)是否出現(xiàn)陽(yáng)性結(jié)果有影響。βi＞0，OR增加是危險(xiǎn)因素，βi＜0，OR減小是保護(hù)因素。

六、Logistic回歸分析方法：

從所用的方法看，有強(qiáng)迫法、前進(jìn)法、后退法和逐步法。在這些方法中，篩選變量的過(guò)程與線(xiàn)性回歸過(guò)程的完全一樣。

七、Logistic回歸的應(yīng)用：

1．醫(yī)學(xué)中Logistic回歸主要用于篩選疾病的危險(xiǎn)因素或預(yù)后因素，進(jìn)行病因?qū)W分析

2．控制和校正混雜因素。

其次節(jié)條件Logistic回歸分析（略）

第十三章主成分分析與因子分析

第一節(jié)主成分分析

1．概念：主成分分析是從多個(gè)數(shù)值變量（指標(biāo)）之間的相互關(guān)系入手，利用降維的思想，將多個(gè)變量（指標(biāo)）化為少數(shù)幾個(gè)互不相關(guān)的綜合變量（指標(biāo)）的統(tǒng)計(jì)方法。

2．主成分線(xiàn)性模型：

Z1=a11X1+a12X2+?+a1mXmZ2=a21X1+a22X2+?+a2mXm???Zm=am1X1+am2X2+?+ammXm

主成分分析的基本思想：主成分分析就是設(shè)法將原來(lái)眾多具有一定相關(guān)性的指標(biāo)，重新組合成一組新的相互無(wú)關(guān)的綜合指標(biāo)，來(lái)代替原來(lái)指標(biāo)。尋常數(shù)學(xué)上的處理就是將原來(lái)k個(gè)指標(biāo)做線(xiàn)性組合，作為新的綜合指標(biāo)，(即幾個(gè)Z1、Z2?Zm)。假使將第一個(gè)線(xiàn)性組合即第一個(gè)綜合指標(biāo)記為Z1，則希望Z1盡可能多地反映原來(lái)指標(biāo)的信息，這里的方法就是用方差來(lái)表達(dá)，即（Z1）S2Z1方差越大，表示Z1包含的信息越多。因此，在所有的線(xiàn)性組合中所選取的Z1應(yīng)當(dāng)是方差最大的，故稱(chēng)Z1為第一主成分。

第一主成分不足以代表原來(lái)K個(gè)指標(biāo)的信息時(shí)，再考慮選取Z2，Z1已有的信息不需要再出現(xiàn)在Z2中。

以此類(lèi)推可以構(gòu)造出第三，四個(gè)主成分，??。這些主成分不僅不相關(guān)，而且他們的方差依次遞減。因此在實(shí)際工作中，就挑揀前幾個(gè)最大主成分。

3．主成分分析步驟：

（1）對(duì)原始指標(biāo)進(jìn)行標(biāo)準(zhǔn)化；（2）求協(xié)方差或相關(guān)矩陣；

（3）求出協(xié)方差矩陣的特征根和特征向量；

（4）確定主成分，并結(jié)合專(zhuān)業(yè)知識(shí)給各個(gè)主成分的信息給予解釋。

4．主成分的性質(zhì)：

（1）各主成分互不相關(guān),兩個(gè)主成分間相關(guān)系數(shù)等于零；（2）各主成分的方差依次遞減；S2Z1≥S2Z2≥S2Z3?≥S2Zn≥0

（3）總方差保持不變。即各個(gè)原指標(biāo)的方差之和與各主成分的方差之和相等。

（4）ai12+ai22+?+aim2=1

5．主成分模型中的統(tǒng)計(jì)量：

（1）特征根（值）λ：表示主成分Z的方差。它是主成分影響力度的指標(biāo)，代表某主成分可以解釋平均多少原始變量信息。

（2）貢獻(xiàn)率：表示某主成分的方差在全部方差中的比重。貢獻(xiàn)率越大，表示該主成分綜合原變量的能力越強(qiáng)。

貢獻(xiàn)率=λ/Σλ

（3）累計(jì)貢獻(xiàn)率：表示前幾個(gè)主成分累計(jì)提取原變量多少信息。前幾個(gè)主成分累計(jì)貢獻(xiàn)率越大，表示包含原變量的信息越多。

累計(jì)貢獻(xiàn)率=Σ（λ/Σλ）

（4）特征向量（因子載荷、因子負(fù)載）a：實(shí)質(zhì)是公因子F與變量X的相關(guān)系數(shù)，表示變量X依靠因子F的程度，反映變量X對(duì)公因子F的重要性。在主成分分析中，可理解為反映主成分Z與變量X之間的相關(guān)系數(shù)，反映兩者間相關(guān)密切程度。

a=r

5.主成分個(gè)數(shù)：

（1）以累計(jì)貢獻(xiàn)率確定：大于70～80%；（2）以特征值確定：大于1則保存。

其次節(jié)因子分析

1．概念：因子分析是從分析多個(gè)原始指標(biāo)的相關(guān)關(guān)系入手，找出支配這種相關(guān)關(guān)系的有限個(gè)不可觀測(cè)的潛在變量，并用這些潛在變量來(lái)解釋原始指標(biāo)之間相關(guān)性或協(xié)方差關(guān)系。

（1）因子線(xiàn)性模型：

X1=a11F1+a12F2+?+a1mFm+ε1X2=a21F1+a22F2+?+a2mFm+ε2

???

Xm=am1F1+am2F2+?+ammFm+εm

其中：X—為變量指標(biāo)。

a—為因子載荷。F—為公因子。

ε—為特別因子，代表公因子以外的影響因素。

（2）因子線(xiàn)性模型特點(diǎn)：

·因子線(xiàn)性模型不受量綱的影響；

·因子載荷不是唯一的，通過(guò)因子軸旋轉(zhuǎn)，可得到新的因子載荷陣。

（3）模型要求：

·各X、各公因子F的均數(shù)均為0，方差均為1；·各特別因子ε的均數(shù)為0；

·各公因子之間的相關(guān)系數(shù)、各特別因子之間的相關(guān)系數(shù)、各公因子與各特別因子之間的相關(guān)系數(shù)均為0。

2.因子模型中的統(tǒng)計(jì)量：

22

（1）公共度(公因子方差)：h=Σa,反映全體公因子對(duì)原始指標(biāo)X的影響，或反映原始指標(biāo)X對(duì)全體公因子的依靠程度，表示各變量中原始信息被公因子表示的程度。公共度取值范圍在0和1之間，當(dāng)公共度接近0時(shí)，表示原始指標(biāo)X受公因子的影響不大。

（2）KMO檢驗(yàn)：用于檢驗(yàn)變量間的偏相關(guān)性，取值范圍在0和1之間，當(dāng)統(tǒng)計(jì)量越接近1時(shí)，變量的間偏相關(guān)性越強(qiáng)，因子分析效果越好。

（3）因子旋轉(zhuǎn)：因子旋轉(zhuǎn)的目的是使某些變量在某個(gè)因子上的負(fù)載較高，而在其它因子上的負(fù)載則顯著的低，這事實(shí)上是依據(jù)因子對(duì)變量進(jìn)行更好的“聚類(lèi)〞。為使因子載荷矩陣中系數(shù)更加明顯，對(duì)初始因子載荷矩陣進(jìn)行旋轉(zhuǎn)，使得因子和原始變量間的關(guān)系重新分派，相關(guān)系數(shù)向0-1分化，使得各因子的意義更加明顯。

正交旋轉(zhuǎn)（orthogonalrotation）和斜交旋轉(zhuǎn)（obliquerotation）是因子旋轉(zhuǎn)的兩類(lèi)方法。

3．計(jì)算并檢驗(yàn)協(xié)方差（相關(guān)）矩陣

·因子分析基于變量間的協(xié)方差矩陣。換言之，包含在因子分析中的變量必需具有一定的相關(guān)性，假使變量間不存在相關(guān)，或者相關(guān)性很小，那么因子分析將不是一種適合的分析方法。

·檢驗(yàn)方法:巴特利特球體檢驗(yàn)和KMO測(cè)度。

巴特利特球體檢驗(yàn)（Bartlett’stestofsphericity）可以用來(lái)檢驗(yàn)變量間是否存在相關(guān)。它是一種建立在協(xié)方差陣是單位陣（即變量間不相關(guān)）的假設(shè)基礎(chǔ)之上的檢驗(yàn)。一個(gè)大的檢驗(yàn)值尋常意味著檢驗(yàn)結(jié)果的顯著性，因此可以拒絕原假設(shè)，可以進(jìn)行因子分析，否則應(yīng)當(dāng)慎重考慮。

KMO測(cè)度（Kaiser-Meyer-Olkinmeasureofsamplingadequacy），它比較了觀測(cè)到的變量間的相關(guān)系數(shù)和偏相關(guān)系數(shù)的大小。一個(gè)大的KMO測(cè)度值同樣支持我們進(jìn)行因子分析。一般而言，KMO測(cè)度〉0.5意味著因子分析可以進(jìn)行，而在0.7以上則是令人滿(mǎn)意的值。

4.選擇因子分析的方法（methodoffactoranalysis）

主成分分析法（principalcomponentanalysis）和公因子分析法（commonfactoranalysis）是兩種主要的尋覓公因子的方法。

5.各公因子的表達(dá)式：

F1=a11X1+a12X2+?+a1mXmF2=a21X1+a22X2+?+a2mXm???Fm=am1X1+am2X2+?+ammXm

因子得分:假使后續(xù)分析需要，如進(jìn)行回歸分析等等，尋常需要進(jìn)一步計(jì)算各公因子的因子得分。即給出各因子在每一個(gè)案例（case）上的值。

6.模型的適合度:

因子分析的最終，應(yīng)當(dāng)對(duì)構(gòu)建的模型是否適合問(wèn)題本身有一個(gè)認(rèn)識(shí)，這就涉及到模型的適合度的判斷。這種判斷往往基于殘差矩陣而進(jìn)行。

因子模型建立，有了因子負(fù)載后，我們就可以計(jì)算的觀測(cè)變量的方差-協(xié)方差陣，這種由公因子再生的方差-協(xié)方差陣（reproducecorrelationmatrix）與實(shí)際觀測(cè)到的方差-協(xié)方差陣（observedcorrelationmatrix）之間的偏差，即殘差矩陣（residualsmatrix）是我們判斷模型適合度的重要依據(jù)。假使殘差矩陣中的值都比較大，那么我們有理由認(rèn)為模型并不是很適合；反之假使殘差矩陣接近于零矩陣，那么顯然公因子可以很好的解釋變量的方差-協(xié)方差關(guān)系，模型是適合的。

5.各公因子的表達(dá)式：

F1=a11X1+a12X2+?+a1mXmF2=a21X1+a22X2+?+a2mXm???Fm=am1X1+am2X2+?+ammXm

因子得分:假使后續(xù)分析需要，如進(jìn)行回歸分析等等，尋常需要進(jìn)一步計(jì)算各公因子的因子得分。即給出各因子在每一個(gè)案例（case）上的值。

6.模型的適合度:

因子分析的最終，應(yīng)當(dāng)對(duì)構(gòu)建的模型是否適合問(wèn)題本身有一個(gè)認(rèn)識(shí)，這就涉及到模型的適合度的判斷。這種判斷往往基于殘差