邏輯斯蒂回歸課件

定性數(shù)據(jù)的建模列聯(lián)表及列聯(lián)表分析

Logistic回歸基本理論和方法

Logistic回歸步驟以及SPSS實(shí)現(xiàn)

1

2

3定性數(shù)據(jù)的建模列聯(lián)表及列聯(lián)表分析Logistic回歸基本理1列聯(lián)表及列聯(lián)表分析研究?jī)蓚€(gè)屬性變量之間是否有聯(lián)系研究步驟：通過問卷調(diào)查或統(tǒng)計(jì)資料獲得屬性變量的信息

整理問卷或統(tǒng)計(jì)資料獲得列聯(lián)表數(shù)據(jù)通過統(tǒng)計(jì)假設(shè)檢驗(yàn)兩個(gè)屬性變量是否具有獨(dú)立性列聯(lián)表及列聯(lián)表分析研究?jī)蓚€(gè)屬性變量之間是否有聯(lián)系2女性人口學(xué)研究教育婚姻合計(jì)合計(jì)大學(xué)大學(xué)以下結(jié)婚一次結(jié)婚多次5506168114461182512312051436女性人口學(xué)研究教育婚姻合計(jì)合計(jì)大學(xué)大學(xué)以下結(jié)婚一次結(jié)婚多次53頻數(shù)列聯(lián)表AB合計(jì)合計(jì)頻數(shù)列聯(lián)表AB合計(jì)合計(jì)4事件發(fā)生的概率A事件與同時(shí)發(fā)生的概率頻率列聯(lián)表B合計(jì)合計(jì)事件發(fā)生的概率事件發(fā)生的概率A事件與同時(shí)發(fā)生5統(tǒng)計(jì)假設(shè)與檢驗(yàn)零假設(shè)：屬性變量A與B相互獨(dú)立檢驗(yàn)統(tǒng)計(jì)量及其分布：n足夠大

~

決策規(guī)則：對(duì)給定的顯著性水平,若

則拒絕零假設(shè).統(tǒng)計(jì)假設(shè)與檢驗(yàn)零假設(shè)：屬性變量A與B相互獨(dú)立6檢驗(yàn)統(tǒng)計(jì)量的計(jì)算檢驗(yàn)統(tǒng)計(jì)量的計(jì)算7零假設(shè)：婚姻狀態(tài)與教育水平?jīng)]有關(guān)系檢驗(yàn)統(tǒng)計(jì)量及其分布：n足夠大

決策規(guī)則：對(duì)給定的顯著性水平0.05

則拒絕零假設(shè)，即婚姻狀態(tài)與教育水平有關(guān)聯(lián).零假設(shè)：婚姻狀態(tài)與教育水平?jīng)]有關(guān)系8SPSS實(shí)現(xiàn)數(shù)據(jù)結(jié)構(gòu)屬性變量1屬性變量2SPSS實(shí)現(xiàn)數(shù)據(jù)結(jié)構(gòu)屬性變量1屬性變量29邏輯斯蒂回歸課件10邏輯斯蒂回歸課件11SPSS中的數(shù)據(jù)輸入頻數(shù)A水平B水平123123111222SPSS中的數(shù)據(jù)輸入頻數(shù)A水平B水平12312311122212邏輯斯蒂回歸課件13邏輯斯蒂回歸課件14邏輯斯蒂回歸課件15邏輯斯蒂回歸課件16邏輯斯蒂回歸課件17拒絕獨(dú)立假設(shè)，即婚姻與教育程度有關(guān)。拒絕獨(dú)立假設(shè)，即婚姻與教育程度有關(guān)。18

Logistic回歸基本理論和方法研究某一事件發(fā)生的概率P=P(y=1)與若干因素之間的關(guān)系在0和1之間任意范圍之間的數(shù)量若干個(gè)狀態(tài)的標(biāo)量Logistic回歸基本理論和方法研究某一事件發(fā)生的概率P19logistic變換logistic變換Logistic回歸模型

優(yōu)勢(shì)比logistic變換logistic變換優(yōu)勢(shì)比20概率p的預(yù)測(cè)P與多因素之間的關(guān)系預(yù)測(cè)概率p的預(yù)測(cè)P與多因素之間的關(guān)系預(yù)測(cè)21P與單因素之間的關(guān)系圖px1最可能成功范圍最不可能成功范圍P與單因素之間的關(guān)系圖px1最可能成功范圍最不可能成功范圍22回歸系數(shù)的含義優(yōu)勢(shì)比(OddsRatio)—事件發(fā)生與不發(fā)生的概率比優(yōu)勢(shì)比與單變量系數(shù)之間的關(guān)系

回歸系數(shù)的含義優(yōu)勢(shì)比(OddsRatio)—事件發(fā)生與不發(fā)23Logistic回歸系數(shù)的估計(jì)(分組數(shù)據(jù))n組觀測(cè)數(shù)據(jù)結(jié)構(gòu)：序號(hào)x參加調(diào)查總數(shù)事件出現(xiàn)次數(shù)事件出現(xiàn)頻率Logistic變換12niLogistic回歸系數(shù)的估計(jì)(分組數(shù)據(jù))n組觀測(cè)數(shù)據(jù)結(jié)構(gòu)：24擬合模型

其中近似服從權(quán)(weight)回歸模型具有異方差性擬合模型權(quán)(weight)回歸模型具有異方差性25轉(zhuǎn)換成經(jīng)典回歸模型(加權(quán)最小二乘)

其中近似服從轉(zhuǎn)換成經(jīng)典回歸模型(加權(quán)最小二乘)其中近似服從26例題

在一次住房展銷會(huì)上,與房地產(chǎn)商簽訂初步購房意向書的共有n=325名顧客.在隨后的三個(gè)月里,只有一部分顧客確實(shí)購買了房屋.以顧客的年家庭收入x(萬元)為自變量,建立Logistic回歸模型.例題在一次住房展銷會(huì)上,與房地產(chǎn)商簽訂初步購房意向書的27邏輯斯蒂回歸課件28邏輯斯蒂回歸課件29點(diǎn)擊點(diǎn)擊30利用上式可以對(duì)購房比例進(jìn)行預(yù)測(cè)，如利用上式可以對(duì)購房比例進(jìn)行預(yù)測(cè)，如31Logistic回歸系數(shù)的估計(jì)(未分組數(shù)據(jù))n組觀測(cè)數(shù)據(jù)：~與的關(guān)系

Logistic回歸系數(shù)的估計(jì)(未分組數(shù)據(jù))n組觀測(cè)數(shù)據(jù)：32參數(shù)的極大似然估計(jì)

的分布函數(shù)的似然函數(shù)未分組數(shù)據(jù)結(jié)構(gòu)參數(shù)的極大似然估計(jì)的分布函數(shù)未分組數(shù)據(jù)結(jié)構(gòu)33似然函數(shù)的對(duì)數(shù)表達(dá)利用迭代法求解似然函數(shù)對(duì)數(shù)的最大值點(diǎn)就是參數(shù)的極大似然估計(jì)，記為：似然函數(shù)的對(duì)數(shù)表達(dá)34擬合的優(yōu)良性

回歸模型的優(yōu)良性擬合優(yōu)度回歸系數(shù)的顯著性-2log(L)Wald=goodness-of-fitstatistics擬合的優(yōu)良性回歸模型的優(yōu)良性擬合優(yōu)度回歸系數(shù)的顯著性-235Hosmer-LemeshowTest零假設(shè)：因變量實(shí)際分布與預(yù)測(cè)的分布無差異決策準(zhǔn)則：拒絕零假設(shè)模型不顯著Hosmer-LemeshowTest零假設(shè)：36Logistic回歸步驟以及SPSS實(shí)現(xiàn)

Logistic回歸步驟以及SPSS實(shí)現(xiàn)37邏輯斯蒂回歸課件38不顯著，去掉最不顯著的月收入變量，重新估計(jì)不顯著，去掉最不顯著的月收入變量，重新估計(jì)39邏輯斯蒂回歸課件40結(jié)論：女性乘公交車比例高于男性，年齡越大，乘車的比例越高。結(jié)論：女性乘公交車比例高于男性，年齡越大，乘車的比例越高。41科研教案

龐素林.Logistic回歸模型在信用風(fēng)險(xiǎn)中的應(yīng)用.數(shù)學(xué)的實(shí)踐與認(rèn)識(shí).2006,36(9):129~137科研教案龐素林.Logistic回歸模型在信用風(fēng)險(xiǎn)中42判別模型建立的基本步驟樣本分組將樣本分成訓(xùn)練樣本組和測(cè)試樣本組建模過程利用訓(xùn)練樣本建立分類模型評(píng)價(jià)過程利用測(cè)試樣本評(píng)價(jià)模型的精度第二步第三步第一步判別模型建立的基本步驟樣本分組將樣本分成訓(xùn)練樣本組和測(cè)試樣本43摘要通過運(yùn)行SPSS,建立Logistic回歸信用評(píng)價(jià)模型(creditevaluationmodel),用來對(duì)中國(guó)2000年106家上市公司進(jìn)行兩類模式分類,這兩類模式是指按照公司的經(jīng)營(yíng)狀況分為“差”和“正常”兩個(gè)小組.對(duì)每一家上市公司,考慮其經(jīng)營(yíng)狀況的4個(gè)主要財(cái)務(wù)指標(biāo):每股收益、每股凈資產(chǎn)、凈資產(chǎn)收益率和每股現(xiàn)金流量.摘要通過運(yùn)行SPSS,建立Logist44

仿真結(jié)果表明,Logistic回歸信用評(píng)價(jià)模型對(duì)總體106個(gè)樣本,判別準(zhǔn)確率達(dá)到99.06%.此外,本文的研究結(jié)果還發(fā)現(xiàn),當(dāng)利用SPSS的Discriminant給出的模型系數(shù)建立的線性判別分析模型和利用SPSS的Multinomial

Logistic給出的模型參數(shù)建立的Logistic回歸模型,Logistic回歸模型的判別結(jié)果不如線性判別模型.但如果剔除不合格的樣本,或是將樣本數(shù)據(jù)規(guī)格化,則可以提高Logistic回歸模型的分類準(zhǔn)確率.仿真結(jié)果表明,Logistic回歸信用評(píng)價(jià)模型對(duì)總體45引言中提及的一些研究結(jié)果Martin(1977)用Logistic模型預(yù)測(cè)公司破產(chǎn)及違約的概率Ohlson(1980)將Logistic模型應(yīng)用于信用風(fēng)險(xiǎn)分析Madalla(1983)采用Logistic模型區(qū)別違約與非違約貸款申請(qǐng)人引言中提及的一些研究結(jié)果Martin(1977)用Logis46DavidWest(2000)利用5種神經(jīng)網(wǎng)絡(luò)和5種統(tǒng)計(jì)分類模型(線性判別分析、Logistic回歸分析、K最近鄰法、核密度分類法、分類樹法)分別對(duì)德國(guó)和澳大利亞兩組財(cái)務(wù)數(shù)據(jù)進(jìn)行兩類模式分類,研究結(jié)果表明：Logistic模型的判別準(zhǔn)確率最高，分別為76.3%和87.25%.DavidWest(2000)利用5種神經(jīng)網(wǎng)絡(luò)和5種統(tǒng)計(jì)分47一個(gè)一般結(jié)論數(shù)據(jù)滿足正態(tài)分布Logistic回歸模型與判別分析模型具有相同的判別準(zhǔn)確率

yesNoLogistic回歸模型的判別準(zhǔn)確率高于判別分析模型的判別準(zhǔn)確率一個(gè)一般結(jié)論數(shù)據(jù)滿足正態(tài)分布Logistic回歸模型與判別48本研究結(jié)論當(dāng)Logistic回歸模型和判別分析模型都通過運(yùn)行SPSS軟件來估計(jì)模型參數(shù)并建立相應(yīng)模型時(shí),線性判別分析模型優(yōu)于Logistic回歸模型.本研究結(jié)論當(dāng)Logistic回歸模型和判別分析模型都通過運(yùn)49定性數(shù)據(jù)的建模列聯(lián)表及列聯(lián)表分析

Logistic回歸基本理論和方法

Logistic回歸步驟以及SPSS實(shí)現(xiàn)

1

2

3定性數(shù)據(jù)的建模列聯(lián)表及列聯(lián)表分析Logistic回歸基本理50列聯(lián)表及列聯(lián)表分析研究?jī)蓚€(gè)屬性變量之間是否有聯(lián)系研究步驟：通過問卷調(diào)查或統(tǒng)計(jì)資料獲得屬性變量的信息

整理問卷或統(tǒng)計(jì)資料獲得列聯(lián)表數(shù)據(jù)通過統(tǒng)計(jì)假設(shè)檢驗(yàn)兩個(gè)屬性變量是否具有獨(dú)立性列聯(lián)表及列聯(lián)表分析研究?jī)蓚€(gè)屬性變量之間是否有聯(lián)系51女性人口學(xué)研究教育婚姻合計(jì)合計(jì)大學(xué)大學(xué)以下結(jié)婚一次結(jié)婚多次5506168114461182512312051436女性人口學(xué)研究教育婚姻合計(jì)合計(jì)大學(xué)大學(xué)以下結(jié)婚一次結(jié)婚多次552頻數(shù)列聯(lián)表AB合計(jì)合計(jì)頻數(shù)列聯(lián)表AB合計(jì)合計(jì)53事件發(fā)生的概率A事件與同時(shí)發(fā)生的概率頻率列聯(lián)表B合計(jì)合計(jì)事件發(fā)生的概率事件發(fā)生的概率A事件與同時(shí)發(fā)生54統(tǒng)計(jì)假設(shè)與檢驗(yàn)零假設(shè)：屬性變量A與B相互獨(dú)立檢驗(yàn)統(tǒng)計(jì)量及其分布：n足夠大

~

決策規(guī)則：對(duì)給定的顯著性水平,若

則拒絕零假設(shè).統(tǒng)計(jì)假設(shè)與檢驗(yàn)零假設(shè)：屬性變量A與B相互獨(dú)立55檢驗(yàn)統(tǒng)計(jì)量的計(jì)算檢驗(yàn)統(tǒng)計(jì)量的計(jì)算56零假設(shè)：婚姻狀態(tài)與教育水平?jīng)]有關(guān)系檢驗(yàn)統(tǒng)計(jì)量及其分布：n足夠大

決策規(guī)則：對(duì)給定的顯著性水平0.05

則拒絕零假設(shè)，即婚姻狀態(tài)與教育水平有關(guān)聯(lián).零假設(shè)：婚姻狀態(tài)與教育水平?jīng)]有關(guān)系57SPSS實(shí)現(xiàn)數(shù)據(jù)結(jié)構(gòu)屬性變量1屬性變量2SPSS實(shí)現(xiàn)數(shù)據(jù)結(jié)構(gòu)屬性變量1屬性變量258邏輯斯蒂回歸課件59邏輯斯蒂回歸課件60SPSS中的數(shù)據(jù)輸入頻數(shù)A水平B水平123123111222SPSS中的數(shù)據(jù)輸入頻數(shù)A水平B水平12312311122261邏輯斯蒂回歸課件62邏輯斯蒂回歸課件63邏輯斯蒂回歸課件64邏輯斯蒂回歸課件65邏輯斯蒂回歸課件66拒絕獨(dú)立假設(shè)，即婚姻與教育程度有關(guān)。拒絕獨(dú)立假設(shè)，即婚姻與教育程度有關(guān)。67

Logistic回歸基本理論和方法研究某一事件發(fā)生的概率P=P(y=1)與若干因素之間的關(guān)系在0和1之間任意范圍之間的數(shù)量若干個(gè)狀態(tài)的標(biāo)量Logistic回歸基本理論和方法研究某一事件發(fā)生的概率P68logistic變換logistic變換Logistic回歸模型

優(yōu)勢(shì)比logistic變換logistic變換優(yōu)勢(shì)比69概率p的預(yù)測(cè)P與多因素之間的關(guān)系預(yù)測(cè)概率p的預(yù)測(cè)P與多因素之間的關(guān)系預(yù)測(cè)70P與單因素之間的關(guān)系圖px1最可能成功范圍最不可能成功范圍P與單因素之間的關(guān)系圖px1最可能成功范圍最不可能成功范圍71回歸系數(shù)的含義優(yōu)勢(shì)比(OddsRatio)—事件發(fā)生與不發(fā)生的概率比優(yōu)勢(shì)比與單變量系數(shù)之間的關(guān)系

回歸系數(shù)的含義優(yōu)勢(shì)比(OddsRatio)—事件發(fā)生與不發(fā)72Logistic回歸系數(shù)的估計(jì)(分組數(shù)據(jù))n組觀測(cè)數(shù)據(jù)結(jié)構(gòu)：序號(hào)x參加調(diào)查總數(shù)事件出現(xiàn)次數(shù)事件出現(xiàn)頻率Logistic變換12niLogistic回歸系數(shù)的估計(jì)(分組數(shù)據(jù))n組觀測(cè)數(shù)據(jù)結(jié)構(gòu)：73擬合模型

其中近似服從權(quán)(weight)回歸模型具有異方差性擬合模型權(quán)(weight)回歸模型具有異方差性74轉(zhuǎn)換成經(jīng)典回歸模型(加權(quán)最小二乘)

其中近似服從轉(zhuǎn)換成經(jīng)典回歸模型(加權(quán)最小二乘)其中近似服從75例題

在一次住房展銷會(huì)上,與房地產(chǎn)商簽訂初步購房意向書的共有n=325名顧客.在隨后的三個(gè)月里,只有一部分顧客確實(shí)購買了房屋.以顧客的年家庭收入x(萬元)為自變量,建立Logistic回歸模型.例題在一次住房展銷會(huì)上,與房地產(chǎn)商簽訂初步購房意向書的76邏輯斯蒂回歸課件77邏輯斯蒂回歸課件78點(diǎn)擊點(diǎn)擊79利用上式可以對(duì)購房比例進(jìn)行預(yù)測(cè)，如利用上式可以對(duì)購房比例進(jìn)行預(yù)測(cè)，如80Logistic回歸系數(shù)的估計(jì)(未分組數(shù)據(jù))n組觀測(cè)數(shù)據(jù)：~與的關(guān)系

Logistic回歸系數(shù)的估計(jì)(未分組數(shù)據(jù))n組觀測(cè)數(shù)據(jù)：81參數(shù)的極大似然估計(jì)

的分布函數(shù)的似然函數(shù)未分組數(shù)據(jù)結(jié)構(gòu)參數(shù)的極大似然估計(jì)的分布函數(shù)未分組數(shù)據(jù)結(jié)構(gòu)82似然函數(shù)的對(duì)數(shù)表達(dá)利用迭代法求解似然函數(shù)對(duì)數(shù)的最大值點(diǎn)就是參數(shù)的極大似然估計(jì)，記為：似然函數(shù)的對(duì)數(shù)表達(dá)83擬合的優(yōu)良性

回歸模型的優(yōu)良性擬合優(yōu)度回歸系數(shù)的顯著性-2log(L)Wald=goodness-of-fitstatistics擬合的優(yōu)良性回歸模型的優(yōu)良性擬合優(yōu)度回歸系數(shù)的顯著性-284Hosmer-LemeshowTest零假設(shè)：因變量實(shí)際分布與預(yù)測(cè)的分布無差異決策準(zhǔn)則：拒絕零假設(shè)模型不顯著Hosmer-LemeshowTest零假設(shè)：85Logistic回歸步驟以及SPSS實(shí)現(xiàn)

Logistic回歸步驟以及SPSS實(shí)現(xiàn)86邏輯斯蒂回歸課件87不顯著，去掉最不顯著的月收入變量，重新估計(jì)不顯著，去掉最不顯著的月收入變量，重新估計(jì)88邏輯斯蒂回歸課件89結(jié)論：女性乘公交車比例高于男性，年齡越大，乘車的比例越高。結(jié)論：女性乘公交車比例高于男性，年齡越大，乘車的比例越高。90科研教案

龐素林.Logistic回歸模型在信用風(fēng)險(xiǎn)中的應(yīng)用.數(shù)學(xué)的實(shí)踐與認(rèn)識(shí).2006,36(9):129~137科研教案龐素林.Logistic回歸模型在信用風(fēng)險(xiǎn)中91判別模型建立的基本步驟樣本分組將樣本分成訓(xùn)練樣本組和測(cè)試樣本組建模過程利用訓(xùn)練樣本建立分類模型評(píng)價(jià)過程利用測(cè)試樣本評(píng)價(jià)模型的精度第二步第三步第一步判別模型建立的基本步驟樣本分組將樣本分成訓(xùn)練樣本組和測(cè)試樣本92摘要通過運(yùn)行SPSS,建立Logistic回歸信用評(píng)價(jià)模型(creditevaluationmodel),用來對(duì)中國(guó)2000年106家上市公司進(jìn)行兩類模式分類,這兩類模式是指按照公司的經(jīng)營(yíng)狀況分為“差”和“正常”兩個(gè)小組.對(duì)每一家上市公司,考慮其經(jīng)營(yíng)狀況的4個(gè)主要財(cái)務(wù)指標(biāo):每股收益、每股凈資產(chǎn)、凈資產(chǎn)收益率和每股現(xiàn)金流量.摘要通過運(yùn)行SPSS,建立Logist93

仿真結(jié)果表明,Logistic回歸信用評(píng)價(jià)模型對(duì)總體106個(gè)樣本,判別準(zhǔn)確率達(dá)到99.06%.此外,本文的研究結(jié)果還發(fā)現(xiàn),當(dāng)利用SPSS的Di