有序多分類邏輯斯蒂回歸模型

關(guān)于有序多分類邏輯斯蒂回歸模型第1頁，講稿共32頁，2023年5月2日，星期三Logistic回歸因變量二項(xiàng)Logistic回歸多項(xiàng)Logistic回歸有序回歸Probit回歸第2頁，講稿共32頁，2023年5月2日，星期三第14章有序回歸

（有序多分類因變量Logistic回歸）14.1有序回歸的基本思想14.2有序回歸的案例分析第3頁，講稿共32頁，2023年5月2日，星期三研究中常遇到反應(yīng)變量為有序多分類（k>2）的資料，如城市綜合競(jìng)爭(zhēng)力等級(jí)、滿意度等可以劃分為低、中、高。與名義多分類因變量有所不同，定性有序多分類因變量采用累積logit模型，該模型可利用有序這一特點(diǎn)，得到比基線-類別有更簡(jiǎn)單解釋的模型。Y的累積概率是指Y落在一個(gè)特定點(diǎn)的概率，對(duì)結(jié)果為類別j時(shí)，其累積概率為：累積概率滿足：累積概率的模型并不利用最后一個(gè)概率，因?yàn)樗厝坏扔?14.1有序回歸的基本思想第4頁，講稿共32頁，2023年5月2日，星期三pj=p(y≤j|x)，它表示y

取前j

個(gè)值的累積概率。累積概率函數(shù)：14.1有序回歸的基本思想J等級(jí)分為兩類：{1,,j}與{j+1,,k}在這兩類的基礎(chǔ)上定義的logit表示:屬于后k-j個(gè)等級(jí)的累積概率與前j個(gè)等級(jí)的累積概率的優(yōu)勢(shì)的對(duì)數(shù)，故該模型稱為累積優(yōu)勢(shì)模型(cumulativeoddsmodel)。第5頁，講稿共32頁，2023年5月2日，星期三第一個(gè)模型表示了y

取第一個(gè)值的概率p1與x的關(guān)系；第二個(gè)模型表示了y取前兩個(gè)值的累積概率p2與x的關(guān)系。這兩個(gè)模型的常數(shù)項(xiàng)不同，回歸系數(shù)完全相同的。y

取第一個(gè)值的概率p(1)=p1

，y

取第二個(gè)值的概率p(2)=p2-p1，y

取第三個(gè)值的概率p(3)=1-p2

。它們的截距不同，斜率相同，所以是J-1條平行直線族。多值因變量logistic回歸模型要求進(jìn)行數(shù)據(jù)的平行性檢驗(yàn)。第6頁，講稿共32頁，2023年5月2日，星期三平行性檢驗(yàn)（只適用于位置模型/位置參數(shù)/斜率系數(shù)）當(dāng)因變量維多值變量時(shí)，模型包含多個(gè)回歸方程。Logistic回歸分析要求這多個(gè)回歸方程中自變量的系數(shù)是相等的。因此需要做平行行檢驗(yàn)，也稱為比例比數(shù)假設(shè)檢驗(yàn)（testfotheproportionaloddsassumption），使用的方法是計(jì)分檢驗(yàn)法。當(dāng)P>a時(shí)，接受平行的原假設(shè)。否則，應(yīng)該將因變量的某些值進(jìn)行合并，減少因變量的取值個(gè)數(shù)，使得多值變量logistic回歸模型平行性成立。還可以嘗試其他鏈接函數(shù)。如果各種連接函數(shù)都無法滿足平行性假定，則需要考慮回歸系數(shù)是否會(huì)隨著分割點(diǎn)而發(fā)生改變。此時(shí)最好使用無序多分類的Logistic回歸進(jìn)行模型擬合，然后再根據(jù)系數(shù)估計(jì)值考慮如何進(jìn)行處理。第7頁，講稿共32頁，2023年5月2日，星期三以4水平的反應(yīng)變量為例，假設(shè)反應(yīng)變量的取值為1、2、3、4，相應(yīng)取值水平的概率為p1、p2、p3、p4，則此時(shí)進(jìn)行Logit變換的分別為p1、p1+p2、p1+p2+p3，對(duì)k個(gè)自變量擬合三個(gè)模型如下:常數(shù)項(xiàng)不同，回歸系數(shù)完全相同的張文彤版本的常數(shù)項(xiàng)前均為負(fù)號(hào)第8頁，講稿共32頁，2023年5月2日，星期三根據(jù)上述公式，可以分別求出：第9頁，講稿共32頁，2023年5月2日，星期三由上述建立的模型可以看出，這種模型實(shí)際上是依次將反應(yīng)變量按不同的取值水平分割成兩個(gè)等級(jí)，對(duì)這兩個(gè)等級(jí)建立反應(yīng)變量為二分類的Logistic回歸模型。不管模型中反應(yīng)變量的分割點(diǎn)在什么位置，模型中各自變量的系數(shù)都保持不變，所改變的只是常數(shù)項(xiàng)。此時(shí)求出的OR值表示自變量每改變一個(gè)單位，反應(yīng)變量提高一個(gè)及一個(gè)以上等級(jí)的比數(shù)比。張文彤認(rèn)為，這里擬合的模型中常數(shù)項(xiàng)之前的符號(hào)應(yīng)當(dāng)是“負(fù)號(hào)”，原因在于此處的常數(shù)項(xiàng)正好表示低級(jí)別和高級(jí)別相比的情況，且必然有，但由于研究者主要關(guān)心的是各參數(shù)（系數(shù)）的大小，因此這種差異影響不大。并且由SPSS給出的系數(shù)無需再添加符號(hào)。第10頁，講稿共32頁，2023年5月2日，星期三某大學(xué)醫(yī)院外科采用兩種不同的繃帶和兩種不同的包扎方式進(jìn)行腿潰瘍的治療處理。治療的結(jié)果分三種：不愈、有效和痊愈。試分析治療方法對(duì)治療效果的影響。設(shè)因變量y表示治療效果，0=不愈、1=有效、2=痊愈。設(shè)自變量x1表示繃帶種類，自變量x2

表示包扎方式。對(duì)于多值因變量模型，平行性假設(shè)決定了每個(gè)自變量的OR值對(duì)于前k-1個(gè)模型是相同的。例如，變量x1的OR=5.172，它表示使用第一種繃帶治愈腿潰瘍的可能性是使用第二種繃帶的5.172倍；它也表示使用第一種繃帶至少有效的可能性是使用第二種繃帶的5.172倍。第11頁，講稿共32頁，2023年5月2日，星期三14.1有序回歸的基本思想有序回歸模型的類型：

當(dāng)定性因變量y取k個(gè)順序類別時(shí)，記為1，2，…，k，這里的數(shù)字1，2，…，k僅表示順序的大小。因變量y取值于每個(gè)類別的概率仍與一組自變量x1,x2,…,xk有關(guān)，對(duì)于樣本數(shù)據(jù)(xi1,xi2,…,xip

;yi)，i=1,2,…,n，順序類別回歸模型有兩種主要類型，位置結(jié)構(gòu)（Locationcomponent）模型，位置模型，定位模型規(guī)模結(jié)構(gòu)（Scalecomponent）模型，尺度模型，定量模型第12頁，講稿共32頁，2023年5月2日，星期三

位置結(jié)構(gòu)模型（位置模型/定位模型）：（1）

規(guī)模結(jié)構(gòu)模型(尺度模型/度量模型,Scale)：其中z是x1,x2,…,xp的一個(gè)子集，作為規(guī)模結(jié)構(gòu)解釋變量，（2）第13頁，講稿共32頁，2023年5月2日，星期三第14頁，講稿共32頁，2023年5月2日，星期三14.2有序回歸的案例分析例：對(duì)某地人群調(diào)查其對(duì)所從事的工作是否滿意，可能的影響因素有:年齡、性別、年收入水平、文化程度。變量的賦值情況見下表，數(shù)據(jù)見文件satisfy.sav。試進(jìn)行統(tǒng)計(jì)分析。變量的賦值情況如下：第15頁，講稿共32頁，2023年5月2日，星期三警告信息說明自變量的各種取值水平組合中有多少其觀察頻數(shù)為0。由于數(shù)據(jù)庫中變量age為連續(xù)性變量，所以這個(gè)比例顯得較大，此種情況下屬于正?，F(xiàn)象。反應(yīng)變量與離散自變量不同取值水平的邊際頻數(shù)分布第16頁，講稿共32頁，2023年5月2日，星期三對(duì)模型中是否所有自變量偏回歸系數(shù)全為0進(jìn)行似然比檢驗(yàn)（判斷規(guī)則：P<a，擬合較好），結(jié)果P<0.001，說明至少有一個(gè)自變量的偏回歸系數(shù)不為0。即：擬合包含年齡、性別、年收入水平、文化程度4個(gè)自變量的模型其擬合優(yōu)度好于僅包含常數(shù)項(xiàng)的模型。第17頁，講稿共32頁，2023年5月2日，星期三是Pearson和Deviance兩種擬合優(yōu)度檢驗(yàn)結(jié)果。判定規(guī)則：卡方值很小或者P>a，擬合較好。當(dāng)自變量很多或者自變量中存在連續(xù)性變量時(shí)，這兩個(gè)統(tǒng)計(jì)量不太適用。這兩個(gè)統(tǒng)計(jì)量有個(gè)致命的缺點(diǎn)是對(duì)于自變量取值水平組合的實(shí)際觀察頻數(shù)為0的比例十分敏感，如果上述比例過高，這兩個(gè)統(tǒng)計(jì)量不一定仍舊服從卡方分布，因而基于卡方分布計(jì)算的P值也不可信。即：這兩個(gè)統(tǒng)計(jì)量不一定能真實(shí)地反映模型擬合情況。當(dāng)自變量中存在連續(xù)性變量時(shí)，如本例中的年齡，常會(huì)導(dǎo)致上述比例過高。與上述兩個(gè)統(tǒng)計(jì)量相比，似然比卡方則要穩(wěn)健得多。本例兩個(gè)統(tǒng)計(jì)量對(duì)應(yīng)的P值均小于0.050第18頁，講稿共32頁，2023年5月2日，星期三第19頁，講稿共32頁，2023年5月2日，星期三14.2有序回歸的案例分析例：分析債權(quán)人如何確定申請(qǐng)者信用風(fēng)險(xiǎn)的問題，SPSS自帶數(shù)據(jù)文件“信譽(yù)評(píng)價(jià)數(shù)據(jù).sav”因變量Chist（賬目情況）取值：沒有貸款歷史、現(xiàn)在沒有貸款、正在償還、逾期償還、拖欠貸款因子一般為分類變量協(xié)變量一般為連續(xù)變量，也可以為二分類變量第20頁，講稿共32頁，2023年5月2日，星期三鏈接：指定鏈接函數(shù)(聯(lián)系函數(shù)、連接函數(shù)),即對(duì)模型估計(jì)中的累積概率的轉(zhuǎn)換函數(shù)，根據(jù)因變量（反應(yīng)變量）的情況選擇補(bǔ)充對(duì)數(shù)—對(duì)數(shù)負(fù)對(duì)數(shù)—對(duì)數(shù)第21頁，講稿共32頁，2023年5月2日，星期三輸出偽R方檢驗(yàn)系數(shù)在各響應(yīng)類別中是否相同，僅適用于位置模型輸出累積頻數(shù)、概率的殘差、觀測(cè)概率、預(yù)測(cè)概率等內(nèi)容把觀測(cè)記錄按因變量進(jìn)行分類的估計(jì)概率，有幾個(gè)水平就保存幾個(gè)變量保存最大的估計(jì)響應(yīng)概率保存預(yù)測(cè)正確時(shí)的估計(jì)響應(yīng)概率保存模型的預(yù)測(cè)響應(yīng)分類第22頁，講稿共32頁，2023年5月2日，星期三位置模型設(shè)置：用于指定定位模型中的各種效應(yīng)第23頁，講稿共32頁，2023年5月2日，星期三尺度模型設(shè)置：設(shè)置與尺度模型有關(guān)的參數(shù)第24頁，講稿共32頁，2023年5月2日，星期三案例處理摘要：可以看出，本例在鏈接函數(shù)的選擇上，可以選擇補(bǔ)充對(duì)數(shù)——對(duì)數(shù)，也可以選擇Cauchit鏈接函數(shù)主要輸出結(jié)果第25頁，講稿共32頁，2023年5月2日，星期三主要輸出結(jié)果說明最終模型要優(yōu)于只含截距的模型，即模型顯著成立由于本例模型包含連續(xù)變量，故空單元格較多，影響了統(tǒng)計(jì)量的計(jì)算和有效性。因此，本例基于卡方檢驗(yàn)的擬合優(yōu)度統(tǒng)計(jì)量不太可信第26頁，講稿共32頁，2023年5月2日，星期三系數(shù)大都不夠顯著，原因可能是因變量的分類順序不對(duì)，也可能是因?yàn)殒溄雍瘮?shù)選擇不理想。若協(xié)變量的參數(shù)估計(jì)之為正，那么對(duì)此變量取值越大的觀測(cè)目標(biāo)類別取值也越大，如age變量顯著且為正，表明年齡越大拖欠貸款的概率也越大。第27頁，講稿共32頁，2023年5月2日，星期三平行檢驗(yàn)：原假設(shè)是斜率系數(shù)（位置參數(shù)）在各響應(yīng)類別中都是相等的。由于P<a,否定原假設(shè)，說明各回歸方程不平行如果平行性檢驗(yàn)的P值非常小，是不能就這樣蒙混過關(guān)的。其主要原因是鏈接函數(shù)選擇不準(zhǔn)確，或者系數(shù)的確在隨著分割點(diǎn)發(fā)生變化?？梢钥紤]其他鏈接函數(shù)以及使用無序多分類模型。第28頁，講稿共32頁，2023年5月2日，星期三根據(jù)所得到的模型預(yù)測(cè)方程和相關(guān)個(gè)案信息，即可進(jìn)行預(yù)測(cè)，預(yù)測(cè)該個(gè)案的信譽(yù)屬于哪一種類別。這對(duì)于銀行貸款決策具有重要意義。例如，某申請(qǐng)者的信息為：申請(qǐng)48個(gè)月的貸款，22歲，有銀行貸款，沒有其他貸款，有住房，此時(shí)可以評(píng)估其信譽(yù)水平。把上述個(gè)案信息代入所得到的（k-1）個(gè)模型預(yù)測(cè)方程，即可得到（k-1）個(gè)估計(jì)值，再把這些估計(jì)值代入所選擇的鏈接函數(shù)的逆函數(shù)中，得到累計(jì)概率值，然后再根據(jù)累積概率概率求出每個(gè)類別的預(yù)測(cè)概率，預(yù)測(cè)概率最大的類別即為該個(gè)案的類別，進(jìn)而做出信譽(yù)類別的判斷第29頁，講稿共32頁，2023年5月2日，星期三練習(xí)1：兒童智力等級(jí)與母親文化程度的關(guān)系智商等級(jí)y母親文化程度小學(xué)初中高中或中專大專及以上合計(jì)x=0x=1x=2x=31=中下2257111912=中等8123611244333=中上30135105102804=上等32617753合計(jì)1364542452285714.2有序回歸的案例分析第30頁，講稿共32頁，2023年5月2日