社會統(tǒng)計分析方法（第二版） 課件 第二章 多元線性回歸

第二章多元線性回歸多元線性回歸（ｍｕｌｔｉｐｌｅｌｉｎｅａｒｒｅｇｒｅｓｓｉｏｎ）是分析一個隨機(jī)變量與多個變量之間線性關(guān)系的最常用的統(tǒng)計方法。實際工作中，常常希望知道所關(guān)心的事物受哪些因素的影響，比如銷售量與價格和廣告費(fèi)的關(guān)系、農(nóng)業(yè)產(chǎn)量與原料和氣候的關(guān)系、生育水平與教育水平和經(jīng)濟(jì)水平的關(guān)系、物價與失業(yè)率的關(guān)系、收入與受教育程度和年齡的關(guān)系等等。多元線性回歸用觀察數(shù)據(jù)擬合所關(guān)注的變量和影響它變化的變量之間的線性關(guān)系式，檢驗影響變量的顯著程度和比較它們的作用大小，進(jìn)而用兩個或多個變量的變化解釋和預(yù)測另一個變量的變化。概括地說，回歸分析要解決三個方面的主要任務(wù)。第一，依據(jù)研究理論和經(jīng)驗建立關(guān)于因變量與一個或多個自變量之間關(guān)系的回歸方程，并且根據(jù)數(shù)據(jù)樣本擬合來求解這個回歸方程的各項回歸系數(shù)值。這些回歸系數(shù)值便反映了各自變量對因變量影響作用的方向和幅度。應(yīng)用ＳＰＳＳ的回歸程序可以非常便利地求解這些回歸系數(shù)，保證得出一套最佳的回歸系數(shù)解。第二，評價這一回歸方程對實際數(shù)據(jù)的擬合程度?；貧w分析保證取得“最佳”系數(shù)的意思只是說，這套系數(shù)對實際數(shù)據(jù)的擬合程度肯定比任何其他的解都要相對更好，但是我們還需要進(jìn)一步了解采用這套系數(shù)的回歸方程的擬合程度到底有多好。一般用回歸方程對因變量變化解釋的百分比來描述擬合程度，百分比越高就表示擬合程度越好。第三，在樣本回歸分析的基礎(chǔ)上進(jìn)行總體推斷性統(tǒng)計。前兩個任務(wù)還是在數(shù)據(jù)樣本之內(nèi)對回歸方程的分析，但是社會科學(xué)的統(tǒng)計研究往往是通過樣本分析來推斷總體。所以，研究者需要對樣本回歸分析指標(biāo)進(jìn)行統(tǒng)計顯著性檢驗，看看這些結(jié)果是否能推廣到總體的情況。本章后面將大體按照這三方面的順序來介紹回歸分析。一、變量的關(guān)系和回歸的任務(wù)二、簡單線性回歸模型我們從簡單的情況開始，先來看含有一個自變量的線性回歸問題。一個自變量的回歸稱為簡單回歸或一元回歸。統(tǒng)計分析經(jīng)常是先對總體中隨機(jī)抽樣得到的樣本數(shù)據(jù)進(jìn)行分析，然后再對總體進(jìn)行推斷。在抽樣原理統(tǒng)計教科書中，總體的各種指標(biāo)稱為參數(shù)，樣本的各種指標(biāo)稱為統(tǒng)計。因此，在后面的統(tǒng)計表述中經(jīng)常需要分清總體參數(shù)和樣本統(tǒng)計量。在很多情況下，兩者相互對應(yīng)，所以為了簡明，本章采用許多教科書的做法，在一般情況下將總體參數(shù)用大寫符號標(biāo)注，將樣本統(tǒng)計量用小寫符號標(biāo)注。（一）簡單線性回歸方程（二）簡單回歸系數(shù)的意義在回歸模型式中，犪和犫稱為回歸直線的系數(shù)。犪是直線在狔軸上的截距，代表狔的基礎(chǔ)水平；犫是直線的斜率，它表示狓變化一個單位時，狔的平均變化。（三）變量變換當(dāng)因變量狔與自變量狓是非線性關(guān)系時，可以通過變量變換使經(jīng)過變換的新變量對于參數(shù)是線性的。spss回歸程序可以檢查變量之間是不是有線性關(guān)系，如果是非線性關(guān)系，還可以應(yīng)用spss曲線回歸來探測具體是哪一種非線性關(guān)系。我們將在后面進(jìn)行介紹。這里，我們僅用一個簡單例子介紹如何對自變量進(jìn)行非線性變換，以使線性回歸能更好地擬合數(shù)據(jù)。（四）最小二乘估計的統(tǒng)計性質(zhì)最小二乘估計在求解回歸方程模型時是最常用的估計方法。通過最小二乘法得到的回歸方程估計，有很好的統(tǒng)計性質(zhì)。（五）模型的假定條件統(tǒng)計理論已經(jīng)證明，在滿足一定的假定先決條件下，樣本數(shù)據(jù)的最小二乘估計是總體參數(shù)的最佳線性無偏估計。這是因為在推斷總體參數(shù)或進(jìn)行統(tǒng)計檢驗時，必須考慮總體回歸模型中的隨機(jī)誤差項ε的分布特征。因此，對隨機(jī)誤差項ε提出若干基本假定條件。三、多元線性回歸模型在本節(jié)中，我們要將簡單回歸推廣到多元回歸。在具體介紹有關(guān)分析之前需要說明，以上討論的所有簡單回歸的假定條件都適用于多元線性回歸。（一）多元線性回歸方程（二）回歸平面和回歸系數(shù)的意義（三）一般回歸模型乘法模型指數(shù)模型1指數(shù)模型2多項式模型（四）多元回歸模型估計的統(tǒng)計推斷四、方程的擬合程度（一）確定系數(shù)R^2（二）調(diào)整的確定系數(shù)R^2（三）多元相關(guān)系數(shù)R（四）偏確定系數(shù)（五）偏相關(guān)系數(shù)五、回歸方程的統(tǒng)計檢驗和回歸系數(shù)的推斷統(tǒng)計在一般情況下，我們是通過抽樣樣本觀測數(shù)據(jù)來推斷總體的情況。因此，樣本中計算的各統(tǒng)計量都服從一定的抽樣誤差。檢驗樣本回歸方程各統(tǒng)計量，就是為了根據(jù)樣本統(tǒng)計量來判斷總體各參數(shù)的情況。（一）整個回歸方程的顯著性檢驗對整個回歸方程的統(tǒng)計檢驗也是通過方差分析完成的。將因變量y的總的離差平方和分解為兩個部分：一部分是可以由回歸方程解釋的部分，稱之為回歸平方和；另一部分則是不能由回歸方程解釋的部分，稱之為殘差平方和。然后，用殘差平方和代表隨機(jī)波動，來評價回歸方程的解釋能力是否具有統(tǒng)計顯著性。（二）偏確定系數(shù)的統(tǒng)計檢驗偏確定系數(shù)描述的是，在控制前一步回歸中其他變量的條件下，新納入一個或一組自變量的新增解釋能力。偏確定系數(shù)也是一個百分比，只不過它只涉及前一步回歸沒能解釋的因變量變化。（三）各自變量回歸系數(shù)的顯著性檢驗當(dāng)回歸方程整體檢驗具有統(tǒng)計顯著性時，一般可以表明回歸方程中至少有一個自變量的回歸系數(shù)是顯著的，但并不一定所有自變量的回歸系數(shù)都是顯著的。（四）回歸系數(shù)的置信區(qū)間（五）回歸系數(shù)不顯著的原因（１）樣本量太小，或者自變量個數(shù)較多（２）x(j)的變化范圍太?。ǎ常﹛(j)與方程中的其他自變量線性相關(guān)（４）y與x(j)雖然有關(guān)聯(lián)，但卻是非線性關(guān)系（５）y與x(j)確實不存在顯著的線性關(guān)系六、標(biāo)準(zhǔn)化回歸系數(shù)因為變量的標(biāo)準(zhǔn)化過程中都要除以該變量的標(biāo)準(zhǔn)差，這不僅會改變變量的數(shù)值，而且約分掉了原變量的實際測量單位，所以z變量是無量綱變量，即脫離了任何實際測量單位的純統(tǒng)計量。于是，標(biāo)準(zhǔn)化變量的回歸系數(shù)β稱為標(biāo)準(zhǔn)化回歸系數(shù),它表示當(dāng)其他變量不變時，x變化１個標(biāo)準(zhǔn)差單位，y的標(biāo)準(zhǔn)差的平均變化。七、多元統(tǒng)計控制對回歸系數(shù)的影響采用多元回歸最重要的優(yōu)越性就是可以將對因變量有重要影響的自變量同時納入分析，在控制其他模型自變量的條件下一一求解對應(yīng)自變量的偏回歸系數(shù)。因此，偏回歸系數(shù)表達(dá)了對應(yīng)自變量相對“獨(dú)立”的影響作用，將更為接近真實情況的反應(yīng)。盡管研究者可能并不清楚還有哪些重要影響變量，但是多元回歸在方法論層次更為優(yōu)越，提供了研究者進(jìn)行深入探索和檢驗的工具。八、回歸預(yù)測的區(qū)間估計九、回歸診斷前面我們已經(jīng)討論過回歸模型的正確估計和推斷必須依賴于一定的假定條件，如果我們的數(shù)據(jù)及變量分布不滿足這些假定條件，用回歸方法獲得的結(jié)果可能會有誤導(dǎo)性。本節(jié)將討論一些回歸診斷的方法，以檢驗我們的數(shù)據(jù)是否滿足線性回歸的假定條件。此外，還有一些問題并不直接涉及回歸的假定條件，但是對回歸結(jié)果的影響也很大，因此在進(jìn)行回歸分析時也要多加注意，比如案例的權(quán)勢影響和自變量之間的共線性問題。在回歸分析中對這類問題的檢查稱為診斷。十、最優(yōu)回歸方程的選擇（１）全部納入法（２）全部刪除法（３）向前回歸法（４）向后回歸法（５）逐步回歸法上述五種方式可結(jié)合運(yùn)用。十一、標(biāo)識變量在回歸分析中的應(yīng)用在社會科學(xué)研究中，有許多分類變量，比如地區(qū)、時期、公司、民族、性別、婚姻狀況、教育程度、職業(yè)和居住地等分類。這些分類信息對于研究同樣是很重要的。雖然分類變量不能直接用于回歸分析，但是通過將分類變量轉(zhuǎn)換為按特定規(guī)則賦值的一套編碼變量后，便可以將其作為自變量納入多元線性回歸模型，用以解釋因變量的變化。并且，這種編碼變量可以承載原分類變量的所有信息，將其引入回歸方程后，所得到的回歸結(jié)果也具有明確的意義解釋。這類特殊編碼變量在統(tǒng)計分析中通常稱為標(biāo)識。（一）虛擬變量的建立與應(yīng)用分析１．建立虛擬變量的規(guī)則２．用單純虛擬變量的回歸模型來分析簡單類別差異３．用虛擬變量和間距變量的回歸模型分析經(jīng)統(tǒng)計調(diào)整的類別差異４．用虛擬變量、間距變量及其交互變量的回歸模型分析類別的水平差異和斜率差異（二）效應(yīng)變量的建立與應(yīng)用分析１．建立效應(yīng)變量的規(guī)則２．用單純效應(yīng)變量的回歸模型來分析簡單類別差異３．用效應(yīng)變量和間距變量的回歸模型分析經(jīng)統(tǒng)計調(diào)整的類別差異基本概念基本假定回歸方程截距回歸系數(shù)最小二乘估計確定系數(shù)偏確定系數(shù)整體檢驗偏回歸系數(shù)檢驗標(biāo)準(zhǔn)化回歸系數(shù)特定樣本性質(zhì)統(tǒng)計控制回歸診斷異常值杠桿值權(quán)勢影響偏回歸散點(diǎn)圖殘差正態(tài)性均方差性多元共線性誤差獨(dú)立性非線性關(guān)系虛擬編碼參照類效應(yīng)編碼大平均數(shù)方差分析協(xié)方差分析自變量交互作用本章要點(diǎn)１．多元回歸分析的功能是描述和預(yù)測多個自變量對一個因變量發(fā)生影響作用的數(shù)量關(guān)系。２．多元回歸分析的因變量必須為間距測度等級，其他自變量則必須為間距測度等級或特定的標(biāo)識編碼形式。３．在多元回歸中，確定系數(shù)表示所有自變量對于因變量的解釋能力。在社會科學(xué)研究中，多元回歸確定系數(shù)一般不是很高，因此這一方法多用來進(jìn)行分析和檢驗，較少用于預(yù)測。４．偏回歸系數(shù)表示在控制其他自變量的條件下，某一自變量與因變量之間在變量實際測量單位基礎(chǔ)上的數(shù)量關(guān)系，表示自變量每增加１個單位量所造成因變量的變化量。５．標(biāo)準(zhǔn)化偏回歸系數(shù)為某一自變量對因變量的純統(tǒng)計聯(lián)系，不受變量實際測量單位的影響，因此可以用來比較各自變量對因變量相對作用大小。參