第十章相關(guān)與回歸

1、中國(guó)人民大學(xué)出版社All rights reserved1 相關(guān)分析相關(guān)分析2 回歸分析回歸分析3 用回歸進(jìn)行預(yù)測(cè)用回歸進(jìn)行預(yù)測(cè)4 Logistic回歸回歸21.1 變量間的相互關(guān)系變量間的相互關(guān)系1.2 相關(guān)系數(shù)相關(guān)系數(shù)1.3 相關(guān)系數(shù)的檢驗(yàn)相關(guān)系數(shù)的檢驗(yàn)3變量之間的關(guān)系變量之間的關(guān)系確定性關(guān)系(或稱函數(shù)關(guān)系)： 研究的是確定現(xiàn)象非隨機(jī)變量間的關(guān)系。2. 統(tǒng)計(jì)關(guān)系(或稱相關(guān)關(guān)系）： 研究的是非確定現(xiàn)象隨機(jī)變量間的關(guān)系。4相關(guān)關(guān)系的劃分：相關(guān)關(guān)系的劃分：1按相關(guān)程度的大小：完全相關(guān)、不完全相關(guān)、和不相關(guān)2按相關(guān)關(guān)系的變動(dòng)方向： 正相關(guān)和負(fù)相關(guān)3按相關(guān)的形式：線性相關(guān)和非線性相關(guān)4按變量個(gè)數(shù) ：

2、 單相關(guān)和復(fù)相關(guān)5 相關(guān)關(guān)系可以用散點(diǎn)圖直觀表示。 通過(guò)觀察散點(diǎn)圖能夠直觀地發(fā)現(xiàn)變量間的統(tǒng)計(jì)關(guān)系以及它們的強(qiáng)弱程度和數(shù)據(jù)對(duì)的可能走向。圖圖10-1相關(guān)關(guān)系圖相關(guān)關(guān)系圖6相關(guān)系數(shù)以數(shù)值的方式數(shù)值的方式精確地度量了兩個(gè)變量間線性相關(guān)的強(qiáng)弱程度。根據(jù)總體數(shù)據(jù)計(jì)算的相關(guān)系數(shù)稱為總體相關(guān)系數(shù)總體相關(guān)系數(shù)，記為 。根據(jù)樣本數(shù)據(jù)計(jì)算的則稱為樣本相關(guān)系數(shù)樣本相關(guān)系數(shù)，記為r。71.2.1 Pearson簡(jiǎn)單相關(guān)系數(shù)簡(jiǎn)單相關(guān)系數(shù)Pearson簡(jiǎn)單相關(guān)系數(shù)用來(lái)度量定距型變量間的線性相關(guān)關(guān)系，定義如下：上式顯示，簡(jiǎn)單相關(guān)系數(shù)是xi和yi分別標(biāo)準(zhǔn)化后的積的平均數(shù)。簡(jiǎn)式得：822)()()(yyxxyyxxr2222y

3、ynxxnyxxynr【例例10.110.1】考察產(chǎn)品銷(xiāo)售額和廣告投入額（單位：百萬(wàn)）之間的關(guān)系，記產(chǎn)品銷(xiāo)售額為y，記廣告投入額為x，收集到20個(gè)樣品，數(shù)據(jù)如表10-1所示。計(jì)算產(chǎn)品銷(xiāo)售額和廣告投入額的相關(guān)系數(shù)。9 表表101 產(chǎn)品銷(xiāo)售額和廣告投入額數(shù)據(jù)表產(chǎn)品銷(xiāo)售額和廣告投入額數(shù)據(jù)表10解：解：對(duì)表10-1中的數(shù)據(jù)進(jìn)行計(jì)算可得按照公式（10.2）帶入有：11168.92x 619.53y 21487.93x 219546.58y 5376.18xy 22222220 5376.18 168.92 619.530.97320 1487.93(168.92)20 19546.58(619.53)n

4、xyxyrnxxnyy 1.2.2 相關(guān)系數(shù)的性質(zhì)相關(guān)系數(shù)的性質(zhì)1相關(guān)系數(shù)的符號(hào)：r 0表明兩變量為正相關(guān)， r 0表明兩變量為負(fù)相關(guān)；2相關(guān)系數(shù)的取值范圍在-1和+1之間，即：1r 1；3相關(guān)系數(shù)r的絕對(duì)值：越接近于1， 表示變量之間的相關(guān)程度越高； 越接近于0，表示變量之間的相關(guān)程度越低； 如果r =1或1，則表示兩個(gè)現(xiàn)象完全線性相關(guān)； 如果r=0，則表示兩個(gè)現(xiàn)象完全不相關(guān)。 ，表示變量之間的線性相關(guān)關(guān)系較弱； ，表示變量之間高度相關(guān)。123 . 0r18 . 0 r使用相關(guān)系數(shù)的注意事項(xiàng)使用相關(guān)系數(shù)的注意事項(xiàng):1對(duì)變量做線性變換不會(huì)改變相關(guān)系數(shù)的絕對(duì)值大小。2相關(guān)系數(shù)能夠用來(lái)度量?jī)勺兞恐?/p>

5、間的線性關(guān)系，但并不是度量非線性關(guān)系的有效工具。低的相關(guān)系數(shù)可能存在很好的非線性相關(guān)。3有相關(guān)關(guān)系也不意味著有因果關(guān)系。13相關(guān)系數(shù)顯著性檢驗(yàn)相關(guān)系數(shù)顯著性檢驗(yàn)的基本步驟：建立原假設(shè)和備擇假設(shè) H0：總體相關(guān)系數(shù) ； H1：總體相關(guān)系數(shù) 。2.構(gòu)建檢驗(yàn)統(tǒng)計(jì)量3.確定顯著性水平 ，利用該統(tǒng)計(jì)量和t分布表判斷是否拒絕原假設(shè)。1400212rnrt【例例10.210.2】 給定顯著性水平為 ，對(duì)例10.1計(jì)算的產(chǎn)品銷(xiāo)售額和廣告投入額的相關(guān)系數(shù)進(jìn)行顯著性檢驗(yàn)。1505. 0解解：建立原假設(shè)和備擇假設(shè)：H0： H1： 計(jì)算檢驗(yàn)統(tǒng)計(jì)量：由顯著性水平 ，查t分布表得 因而拒絕H0，認(rèn)為產(chǎn)品銷(xiāo)售額和廣告投入額

6、存在顯著的相關(guān)關(guān)系。160020.97320217.971 0.973t05. 00.05/22022.10117.97t2.1 回歸分析的基本問(wèn)題回歸分析的基本問(wèn)題2.2 一元線性回歸模型的設(shè)定一元線性回歸模型的設(shè)定2.3 一元線性回歸模型的擬合一元線性回歸模型的擬合2.4 回歸系數(shù)的推斷回歸系數(shù)的推斷2.5 回歸方程的評(píng)價(jià)回歸方程的評(píng)價(jià)17回歸分析回歸分析回歸分析是一種應(yīng)用極為廣泛的數(shù)量分析方法，它用回歸方程的形式描述和反映變量間的數(shù)量變化規(guī)律?；貧w分析的目的回歸分析的目的在相關(guān)的基礎(chǔ)上進(jìn)一步研究變量在之間的相互關(guān)系，因此它也是帶誤差項(xiàng)的不確定性的函數(shù)關(guān)系。相關(guān)分與回歸分析的區(qū)別相關(guān)分與回

7、歸分析的區(qū)別1.回歸分析研究變量之間相互關(guān)系的具體形式，能從一個(gè)變量的變化來(lái)推測(cè)另一個(gè)變量的變化情況，為預(yù)測(cè)提供可能；2. 相關(guān)分析假設(shè)變量之間的地位是等同的，不對(duì)變量進(jìn)行區(qū)分；而在回歸分析中則把變量區(qū)分為自變量和因變量。二者的地位不同，自變量通常被假設(shè)為非隨機(jī)變量。18假定變量Y和X的關(guān)系受到來(lái)自很多方面因素的影響，但是沒(méi)有一個(gè)起主導(dǎo)作用，則可以將這些因素作為隨機(jī)誤差干擾項(xiàng)。從而Y和X之間的聯(lián)系不是確定性的函數(shù)關(guān)系，用下式表示:式中 f(X)：回歸函數(shù) ：為隨機(jī)誤差或隨機(jī)干擾，與X無(wú)關(guān)。 X ：稱為自變量或者解釋變量 Y ：稱為因變量或者被解釋變量。19()Yf X回歸模型劃分（根據(jù)自變量的

8、多少）回歸模型劃分（根據(jù)自變量的多少）一元回歸多元回歸回歸模型劃分（根據(jù)自變量和因變量之間的關(guān)系）回歸模型劃分（根據(jù)自變量和因變量之間的關(guān)系）線性回歸非線性回歸20一元線性回歸模型研究的是當(dāng) 中f(X)是線性表達(dá)式，并且只有一個(gè)自變量的情況，此時(shí)有其中和 稱為模型的參數(shù)。21XY10()Yf X01 一元線性回歸方程 表明，X和Y之間的統(tǒng)計(jì)關(guān)系是在平均意義下討論的，即當(dāng)X的值給定后利用回歸模型計(jì)算得到的Y的平均值。 根據(jù)取得的數(shù)據(jù)估計(jì)回歸方程中的參數(shù)，得到經(jīng)驗(yàn)回歸方程，或者稱為估計(jì)的回歸方程： 注意到在真實(shí)值Y和估計(jì)值 并不是完全相等的，它們之間的離差為e：22XY10eYYYXXYE10)(

9、最優(yōu)曲線擬合樣本數(shù)據(jù)思想（最小二乘法的思想）：最優(yōu)曲線擬合樣本數(shù)據(jù)思想（最小二乘法的思想）： 使得估計(jì)的直線和真實(shí)值之間的殘差平方和最小。殘差平方和公式殘差平方和公式23niitXYQ121010)(),(尋找使得 達(dá)到最小的 和 做為估計(jì)值，即對(duì)分別對(duì) 和 求偏導(dǎo)，得到正規(guī)方程組：24),(10Q011010,min,QQniitXYQ121010)(),(020211011100iniiniiXyQyQ01解方程得到 式中為了方便，記 ，即： 25XYLLxxxy101ninininiiiiixynininiiiixxYXnYXYYXXLXnXXXL1111112122)(1)()(1YY

10、yXXxiiii,XYxyxniiiini101211,【例例10.310.3】根據(jù)例10.1中數(shù)據(jù)，以產(chǎn)品銷(xiāo)售額為因變量，廣告投入額為自變量擬合回歸方程。26解：解：記產(chǎn)品銷(xiāo)售額為Y，廣告投入額為X。擬合的回歸方程為： 系數(shù)2.35表示廣告投入額每增加1個(gè)單位，產(chǎn)品銷(xiāo)售額平均增加2.35個(gè)單位。2722168.92,619.53,1487.93,19546.58, 5376.18XYXYXY1222020 5376.18 168.92 619.532.3520 1487.93 168.92619.53168.922.3511.162020nXYXYnXXYbX 11.162.35YX普通最小

11、二乘估計(jì)量的性質(zhì)：普通最小二乘估計(jì)量的性質(zhì)：1. 運(yùn)用普通最小二乘估計(jì)量得出的樣本回歸線經(jīng)過(guò)樣本均值點(diǎn)，即：2. 殘差的均值為0，即：3. 殘差和解釋變量不相關(guān)，即： 28/0ieen0iie X 01YX假設(shè)檢驗(yàn)所需經(jīng)典線性回歸模型假設(shè)：假設(shè)檢驗(yàn)所需經(jīng)典線性回歸模型假設(shè)：假定1：自變量X和誤差項(xiàng) 不相關(guān)，即 。 假定2：誤差項(xiàng) 的均值為0， 。假定3：同方差假定： 的方差為一常數(shù)，即 。假定4：無(wú)自相關(guān)：即兩個(gè)誤差項(xiàng)之間是不相關(guān)的，即： 。29i0iE Xi 0E 2iVar,0,ijEij i2.4.1 最小二乘估計(jì)量的最優(yōu)線性無(wú)偏性最小二乘估計(jì)量的最優(yōu)線性無(wú)偏性在給定經(jīng)典回歸模型的假定下

12、，由高斯-馬爾科夫定理保證了：最小二乘估計(jì)量是最優(yōu)線性無(wú)偏的估計(jì)量?？赏ㄟ^(guò)蒙特卡羅模擬實(shí)驗(yàn)來(lái)驗(yàn)證 ， 的無(wú)偏性。假設(shè)已知如下的總體回歸方程（參數(shù)值是真實(shí)已知的）：其中 服從均值為0，方差為1的正態(tài)分布。30iiiiiXXY6 . 05 . 11010i現(xiàn)在假定X的觀測(cè)值為1、2、3、4、5、6、7、8、9、10。根據(jù)誤差的分布分別生成10個(gè)誤差值，再由X的觀測(cè)值和給定的系數(shù)，計(jì)算出Y的值，記為樣本1。再根據(jù)誤差的分布分別生成10個(gè)誤差值，由X的觀測(cè)值和給定的系數(shù)，計(jì)算出Y的值，記為樣本2。按照這個(gè)方法生成30組樣本。分別對(duì)每個(gè)樣本進(jìn)行回歸，得到估計(jì)的系數(shù) 。由此可以得到30個(gè)不同的 ，見(jiàn)表10

13、-4。3110,10,表表10-4 蒙特卡羅模擬實(shí)驗(yàn)：蒙特卡羅模擬實(shí)驗(yàn)：1.5+0.6Xi+ ; N(0，1)32ii 可以算出 的平均值是1.33、0.61，和真實(shí)參數(shù)1.5和0.6已經(jīng)非常接近了。在這里例子中，如果做更多次的抽樣實(shí)驗(yàn)，會(huì)得到更加逼近的估計(jì)值。3310,2.4.2 回歸系數(shù)的抽樣分布回歸系數(shù)的抽樣分布 中Yi依賴于X和誤差項(xiàng) ，而 是一個(gè)隨機(jī)變量，因此Yi也是隨機(jī)變量。同時(shí)作為Yi的線性組合的 也是隨機(jī)變量。因此它們的值根據(jù)樣本數(shù)據(jù)的不同而變化。為了了解估計(jì)量抽樣的差異性，對(duì)隨機(jī)變量進(jìn)行推斷，需要求出估計(jì)量的方差，并求出它們的抽樣分布。34XY10ii01, 的方差的方差：

14、服從均值為 ，方差為 的正態(tài)分布，即3511niix1221 ,01211Nxnii1 niiniiniiixxYVxV122212121 的方差為： 服從均值為 ，方差為 的正態(tài)分布，即360 22201ixXnV002221ixXn2002110,1niiXNnx殘差的方差（估計(jì)誤差的方差）公式殘差的方差（估計(jì)誤差的方差）公式對(duì) 進(jìn)行調(diào)整得到 的無(wú)偏估計(jì)為： 372d2211iideeenn222222nednnSie【例例10.410.4 】在例10.3中擬合的產(chǎn)品銷(xiāo)售額對(duì)廣告投入額的回歸方程中，考察系數(shù)估計(jì)量 和 的方差。3801解：解：記產(chǎn)品銷(xiāo)售額為Y，廣告投入額為X，回歸方程為 3

15、911.162.35YX22211.162.3518.811.045220218iiiYXeSn222211487.9320 8.44661.23niiixXnX2121111.0450.01761.230.13niiSVxSV402221118.4461.2152061.23niiXnx220002111.045 1.2151.27,1.13niiXVSSVnx2.4.3 回歸系數(shù)的顯著性檢驗(yàn)回歸系數(shù)的顯著性檢驗(yàn)當(dāng)使用 代替 和 中的 時(shí)有：412eS222/2/22211211ntnSnxxSii2002112niiXSt nnx niiniiniiixxYVxV122212121 222

16、01ixXnV系數(shù)檢驗(yàn)步驟：系數(shù)檢驗(yàn)步驟：1提出假設(shè)： := 0 (沒(méi)有線性關(guān)系) : 0 (有線性關(guān)系) 2. 計(jì)算檢驗(yàn)的統(tǒng)計(jì)量3. 確定顯著性水平，并進(jìn)行決策： ，拒絕 。420H11H1)2(11ntSt2tt0H【例例10.5 10.5 】以產(chǎn)品銷(xiāo)售額和廣告投入額的數(shù)據(jù)為例，對(duì)系數(shù) 的顯著性水平做檢驗(yàn)。解：解：已知回歸方程為：43111.162.35YX12.35 110.13SV設(shè) : = 0, : 0。在顯著性水平 的條件下， ，因此拒絕域?yàn)椋?。因此拒絕原假設(shè)，認(rèn)為系數(shù) 顯著不為0。4410H1H105. 01 . 22202/05. 0t1 . 2:tt 112.3518.08

17、2.10.13tS12.5.1 回歸方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn)從對(duì)因變量Y取值變化的成因分析入手。 表表10-5 10-5 一元線性回歸方差分析表一元線性回歸方差分析表45回歸平方和回歸平方和回歸方程反映的是自變量不同取值變化對(duì)因變量的線性影響規(guī)律，因此由此引起的Y的變差平方和稱為回歸平方和（SSR）；自由度是n-1。殘差平方和殘差平方和由隨機(jī)因素引起的Y的變差平方和通常稱為殘差平方和（SSE）。自由度為n-k-1?？傠x差平方和總離差平方和總離差平方和（SST）指的是數(shù)據(jù)總的波動(dòng)情況，用觀測(cè)值Yi和平均值 的離差平方和 表示。自由度是自變量的個(gè)數(shù)k。三者之間存在關(guān)

18、系SST=SSR+SSE。4621niiYY21niiiYY21niiYY回歸方程的整體擬合程度的回歸方程的整體擬合程度的F檢驗(yàn)的步驟檢驗(yàn)的步驟1. 提出原假設(shè)和備擇假設(shè)：回歸方程關(guān)系不顯著：回歸方程關(guān)系顯著2. 根據(jù)公式，計(jì)算檢驗(yàn)統(tǒng)計(jì)量F的值。3. 確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值 作出決策：若 ,拒絕 。470H1HFFF0HF檢驗(yàn)統(tǒng)計(jì)量的構(gòu)造檢驗(yàn)統(tǒng)計(jì)量的構(gòu)造 F檢驗(yàn)統(tǒng)計(jì)量是將平方和分解中的回歸平方和殘差平方和各除以各自的自由度之后相比較的比值作為檢驗(yàn)統(tǒng)計(jì)量。48)2,1 (21211212nFnYYYYnSSESSRFniiinii【例例10.610.6】以

19、產(chǎn)品銷(xiāo)售和額廣告投入額的數(shù)據(jù)為例，對(duì)回歸方程的做F檢驗(yàn)。49解：解：50221111.1642.34630.977336.9nniiiSSRYYX221111.1642.346 18.8nniiiiiSSEYYXY21355.7niiSSTYYSSRSSE設(shè)顯著性水平為 的條件下， ，因此拒絕域?yàn)椋阂虼司芙^原假設(shè)，回歸方程顯著。5105. 04.413873 220, 105. 0F4.413873 :FF1336.9 1322.564.413873218.8 202SSRFSSE n2.5.2 回歸方程的擬合優(yōu)度回歸方程的擬合優(yōu)度 擬合優(yōu)度指標(biāo)考慮回歸方程能夠解釋的變差的比例。擬合優(yōu)度用R2

20、統(tǒng)計(jì)量來(lái)衡量，該統(tǒng)計(jì)量又被稱為判定系數(shù)，定義為： R2統(tǒng)計(jì)量反映了回歸方程所能解釋的變差的比例，取值范圍在 0, 1 之間。 接近1說(shuō)明回歸方程擬合的越好； 接近0說(shuō)明回歸方程擬合的越差。522221122111nniiiiinniiiiYYYYSSRRSSTYYYY 擬合優(yōu)度擬合優(yōu)度 和相關(guān)系數(shù)的關(guān)系和相關(guān)系數(shù)的關(guān)系 由最小二乘法過(guò)均值點(diǎn)可推出下式： 由此可以看出X和Y的相關(guān)系數(shù)越大，回歸方程的擬合就會(huì)越好。在多元回歸時(shí)，由于涉及到變量之間可能的相互作用，上式不能成立。532R21222211()()niiinniiiiXX YYSSRRSSTXXYY【例例10.710.7】以產(chǎn)品銷(xiāo)售和額廣

21、告投入額的數(shù)據(jù)為例，計(jì)算回歸方程的擬合優(yōu)度。54解：解：552222211.162.3530.9770.9530.977iiiiYYXSSRRSSTYYY3.1 均值預(yù)測(cè)均值預(yù)測(cè)3.2 個(gè)值預(yù)測(cè)個(gè)值預(yù)測(cè)56點(diǎn)預(yù)測(cè)公式：點(diǎn)預(yù)測(cè)公式：區(qū)間預(yù)測(cè)公式：區(qū)間預(yù)測(cè)公式：57212210ntxXXnSXYiiii22/2/222112,2iiiiiiXXXXYtnSYtnSnxnx【例例10.810.8 】使用產(chǎn)品銷(xiāo)售額和廣告投入額的數(shù)據(jù)，給定X=8計(jì)算均值預(yù)測(cè)的點(diǎn)預(yù)測(cè)和置信水平為0.95的區(qū)間預(yù)測(cè)。58解：解：點(diǎn)預(yù)測(cè)： 給定的顯著性水平為0.05時(shí)， ，因此區(qū)間預(yù)測(cè)為：5911.162.35 8 29.9

22、6Y 222288.446111.045 0.0556452061.23iiiXXV YSnx 0.236iS Y1 . 22202/05. 0t 29.962.1 0.236,29.962.1 0.23629.46,30.46點(diǎn)預(yù)測(cè)公式：點(diǎn)預(yù)測(cè)公式：區(qū)間估計(jì)公式：區(qū)間估計(jì)公式：60001020221iYXt nXXSnx22000/20/2221121,21iiXXXXYtnSYtnSnxnx【例例10.910.9 】使用產(chǎn)品銷(xiāo)售額和廣告投入額的數(shù)據(jù)，給定X=8計(jì)算個(gè)值預(yù)測(cè)的點(diǎn)預(yù)測(cè)和顯著性水平0.05下的區(qū)間預(yù)測(cè)。61解解： 點(diǎn)預(yù)測(cè)： 給定的顯著性水平為0.05時(shí)， ，因此區(qū)間預(yù)測(cè)為：621

23、1.162.35 8 29.96Y 1 . 22202/05. 0t 29.962.1 1.05,29.962.1 1.0527.76,32.17 22228 8.4461111.04511.1, 1.052061.23iiiiXXV YSS Ynx 4.1 引入引入Logistic回歸回歸4.2 Logistic回歸建?；貧w建模4.3 Logistic回歸的系數(shù)檢驗(yàn)回歸的系數(shù)檢驗(yàn)63假設(shè)使用普通回歸進(jìn)行建模存在的問(wèn)題： 又因?yàn)轫憫?yīng)變量Y是二分類(lèi)變量，則因此Yi是服從概率為 的伯努利分布。于是得到 64010011iiiiiE Y XP YP YX 01iipX iiiiiiXXppYVV10

24、101101iiiE Y XX（i=1,2,n）機(jī)會(huì)比機(jī)會(huì)比 Odd=p/(1-p)機(jī)會(huì)比表明了一個(gè)事情成功的概率之于不成功的概率Logistic回歸回歸在對(duì)數(shù)機(jī)會(huì)比和自變量之間建立線性回歸關(guān)系logit變換變換從p到log(p/(1-p)的變換65【例】考慮這樣一組數(shù)據(jù)，其中自變量是收入和因變量是是否為研究生學(xué)歷。 以收入為自變量，研究生學(xué)歷為因變量繪制X和Y的散點(diǎn)圖6646810120.00.20.40.60.81.0 xy收入研究生學(xué)歷圖圖10-3 收入和研究生學(xué)歷變量的散點(diǎn)圖收入和研究生學(xué)歷變量的散點(diǎn)圖對(duì)收入變量分組，考慮每組內(nèi)的響應(yīng)變量的分布情況后的散點(diǎn)圖：用logistic曲線來(lái)擬合P(Y=1) （圖10-4中S形曲線），即：67incomepp*1log1046810120.00.20.40.60.81.0midp_v圖圖10-4 分組后收入和研究生學(xué)歷變量的散點(diǎn)圖分組后收入和研究生學(xué)歷變量的散點(diǎn)圖Logit曲線公式曲線公式經(jīng)過(guò)變換得到：68ppXXpp.1log110).exp(1).exp(110110ppppXxXX