多元統(tǒng)計分析邏輯回歸

概述現(xiàn)實生活中，有很多諸如需要確定客戶買或不買某種商品、銀行客戶信用好或不好等情況這時，某個事件以多大概率出現(xiàn)和哪些影響量決定該概率的問題尤為重要如果用狀態(tài)1（購買）和0（不買）的因變量（Y）表示事件，則事件發(fā)生的概率P有如下關系：P(y=0)+P(y=1)=1當前1頁，總共41頁。由于這類問題的因變量是類別變量，無法應用回歸方程來解決邏輯回歸是通過回歸方程，確定概率的期望值一種通過分析影響因素，來得到某種結果的概率分為二項邏輯回歸和多項邏輯回歸當前2頁，總共41頁。當前3頁，總共41頁。當前4頁，總共41頁。建立邏輯回歸方程例子：超市的銷售主管想知道，顧客收入水平是否對購買新的高級黃油產品有影響。為此，他選擇了12位顧客，調查他們的月凈收入(x)及是否購買了該類黃油產品購買記為{y=1}，未購買記為{y=0}調查結果如下：當前5頁，總共41頁。購買黃油=-0.749+0.000336×收入當前6頁，總共41頁。邏輯回歸不是要估計二元變量的觀察值，而是要明確這些觀察值的出現(xiàn)概率通常把狀態(tài){y=1}看作“事件y發(fā)生”，而狀態(tài){y=0}為“事件不發(fā)生”假設存在一個非經驗觀察到的隱變量z，它能對應自變量的狀態(tài)xj給出因變量y的二元水平當前7頁，總共41頁。y通過隱變量與xj建立聯(lián)系：邏輯函數(shù)：(1)(2)(1)、(2)構成邏輯回歸方程。z值稱為Logit當前8頁，總共41頁。當前9頁，總共41頁。分析過程邏輯回歸分析可分為五個步驟：（1）建模（2）估計邏輯回歸函數(shù)（3）解釋回歸系數(shù)（4）檢驗模型整體（5）檢驗特征變量當前10頁，總共41頁。（1）建模邏輯回歸分析的前提也是使用者首先根據(jù)實施邏輯思考確定，哪些事件應作為可能的因變量類型，哪些影響量決定事件類型的概率，從而提出關于自變量和因變量可能關系的假設自變量和事件{y=1}的出現(xiàn)概率間的連帶關系假設當前11頁，總共41頁。二元邏輯回歸：因變量是二元的，即只有0和1兩個水平；因變量多于兩類的，多元邏輯回歸分析自變量也稱為共變量，可以是基數(shù)測度和非基數(shù)測度，也可“混合”xj自變量線性組合z指數(shù)連接eZ邏輯連接P(y=1)聯(lián)合影響量Logit可能性比P(y=1)/P(y=0)出現(xiàn)概率當前12頁，總共41頁。數(shù)據(jù)當前13頁，總共41頁。（2）估計邏輯回歸函數(shù)通常用極大似然估計法估計模型的參數(shù)，目的是使觀察到的調查數(shù)據(jù)的概率最大，來確定反映自變量權重的邏輯回歸模型參數(shù)bj若對每個觀察個體k考慮如下關系式：當前14頁，總共41頁。Newton-Raphson算法合成一個方程：似然函數(shù)：求解：判別準則：Pk>0.5，把個體分入{y=1}；否則分入{y=0}當前15頁，總共41頁。確定zk值（Logit）的回歸方程：zk×可涂抹性k+1.119×保質期k將原始數(shù)據(jù)代入回歸方程Y=1Y=0當前16頁，總共41頁。（3）解釋回歸系數(shù)自變量xj與概率Pk(y=1)間不存在線性關系，導致回歸系數(shù)間不能相互比較，無法直接解釋回歸系數(shù)當前17頁，總共41頁。常數(shù)項只影響邏輯函數(shù)的水平位置。為正時，邏輯函數(shù)左移；為負時，邏輯函數(shù)右移回歸系數(shù)影響邏輯函數(shù)的走向?；貧w系數(shù)較大時，概率值很快接近邏輯函數(shù)的邊緣負的回歸系數(shù)使事件{y=1}的概率隨x值增大而減小，而正回歸系數(shù)則使事件{y=1}的概率隨x值增大而增大當前18頁，總共41頁。邏輯回歸的發(fā)生比：邏輯回歸的Logit：z=Logit=ln(發(fā)生比)當前19頁，總共41頁。“可涂抹性”的回歸系數(shù)為負，該變量降低了人造黃油的購買概率；“保質期”的回歸系數(shù)為正，它對購買概率產生正向影響；若自變量增加1單位，則有利于事件{y=1}的可能性比（發(fā)生比）擴大ebj倍發(fā)生比說明了變量對出現(xiàn)概率的影響程度，發(fā)生比也稱為效應系數(shù)當前20頁，總共41頁。正、負回歸系數(shù)對事件{y=1}的出現(xiàn)概率的影響：當前21頁，總共41頁。（4）檢驗模型整體需要回答兩個問題：參數(shù)估計在整體中能多有效地描述定義的回歸模型?是否存在極端觀察個體，應把它看作離群者剔除掉，還是由于其經常出現(xiàn)而改變模型？回歸方程的評價指標：基于對數(shù)似然函數(shù)的評價；偽R2統(tǒng)計量；分類結果的評價；當前22頁，總共41頁。似然比值檢驗(LikelihoodRatioTest)該方法將考慮所有解釋變量最大的LL值與所有自變量的回歸系數(shù)都為0且僅考慮常數(shù)項時所得出的LL值比較若兩偏差的絕對差較小，則自變量對區(qū)分y水平的貢獻小；若偏差絕對差較大，則認為自變量的解釋能力強；考慮所有解釋變量時LL最大值給定數(shù)據(jù)組的零模型的LL最大值LLvLL0當前23頁，總共41頁。似然比值檢驗（LR檢驗）的假設：H0：所有回歸系數(shù)都等于0H1：所有回歸系數(shù)都不等于0零模型和完整模型的偏差作為檢驗統(tǒng)計量，它近似服從自由度為J（自變量個數(shù)）的卡方分布在本例中，LL0=30.498，LLv=15.818，卡方值為14.68；卡方表中值5.99（自由度2，α=0.05），故模型是顯著的當前24頁，總共41頁。偽R2統(tǒng)計量偽R2統(tǒng)計量試圖量化回歸模型中已解釋“變化”比例；通常McF-R2值達到0.2或0.4以上就已認為模型擬合度良好；LR檢驗回答了模型顯著性以及結果能夠運用到總體的問題，McF-R使自變量的判別能力總和可用數(shù)值表示，并可在不同模型間相互比較當前25頁，總共41頁。Cox&Snell-R2：L0：零模型的似然LV：完整模型的似然K：樣本容量當前26頁，總共41頁。Nagelkerke-R2：該值大于0.5時認為模型解釋能力非常好當前27頁，總共41頁。分類結果評價將由自變量水平0和1表示的實際觀察組屬性與由回歸方程算出的概率相比較通常使用概率0.5作為分類的判別值把出現(xiàn)概率Pk(y=1)>0.5的個體分入人造黃油的購買者(M)，其他分入未購買者(N)當前28頁，總共41頁。分類矩陣(Confusion-Matrix)判對比例(hitratio)=判對數(shù)目/總數(shù)=20/24=0.833當前29頁，總共41頁。如果樣本容量允許，把隨機樣本分成兩個子樣本：一個分析樣本和一個檢驗樣本(Holdout-sample)。分析樣本用于估計邏輯回歸函數(shù)，然后根據(jù)此函數(shù)將檢驗樣本中的元素分類，并計算判對比率；當前30頁，總共41頁。PressQ檢驗該檢驗統(tǒng)計量服從自由度為1的卡方分布取α=0.05，查得臨界值為3.84，故該分類結果與隨機分類結果有顯著差別當前31頁，總共41頁。重要模型擬合度評價指標總結當前32頁，總共41頁。離群者診斷除了說明邏輯回歸方程的整體擬合度外，單個觀察個體對模型整體有效性有何作用也很重要邏輯估計的模型關系與調查數(shù)據(jù)擬合度不佳的基本原因有兩個：模型不合適；存在許多個體（觀察值），不具有模型所描述的關系，并由于其特殊的變量水平明顯偏離結果；當前33頁，總共41頁。對于第二種情況，通過確定每個個體的單獨殘差可說明在觀察中是否存在“離群者”，對個體k殘差如下：通常認為殘差絕對值大于0.5（兩組情況下）為離群者，并導致分類錯誤為了更好地辨認出此類離群者，采用一種加權方法，標準化殘差：當前34頁，總共41頁。當前35頁，總共41頁。對第三位受訪者，他購買了人造黃油{y=1}，根據(jù)他的評價（可涂抹性=6，保質期=5），用估計出來的邏輯方程計算出購買概率為0.073，其標準化殘差值為3.589，明顯將該受訪者分類錯誤必須深入分析離群者的情況，以解釋極端位置的原因，通常考慮如下原因：（1）受訪者回答問題的方式反常，把該觀察值去除；（2）大的殘差值表明模型的解釋能力差，模型中未考慮重要影響量，需擴展或修正模型當前36頁，總共41頁。（5）檢驗特征變量

似然比檢驗LR檢驗也可用于與簡約模型的比較。分別令一個回歸系數(shù)為0，構建不同的簡約模型，再寫出完整模型（LLV）和一個簡約模型（LLR）的-2倍對數(shù)似然之差相應的零假設為：H0:回歸系數(shù)bj的效應為0；H1:回歸系數(shù)bj的效應不為0當前37頁，總共41頁。完整模型（LLV）和一個簡約模型（LLR）的-2倍對數(shù)似然之差所形成的檢驗統(tǒng)計量服從卡方分布，自由度為兩模型參數(shù)個數(shù)之差。若僅檢驗一個變量，則自由度等于1當前38頁，總共41頁。Wald統(tǒng)計量分母是bj的標準差W基本服從自由度為1的卡方分布回歸系數(shù)標準誤差Walddf顯著水平可涂抹性保質期常數(shù)項-1.9431.1193.5280.7980.5862.3385.9243.6452.2761110.0150.0560.131當前39頁，總共41頁。多項邏輯回歸