相關(guān)與回歸分析龐皓學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1相關(guān)相關(guān)(xinggun)與回歸分析龐皓與回歸分析龐皓第一頁(yè)，共65頁(yè)。 據(jù)世界衛(wèi)生組織統(tǒng)計(jì)，全球肥胖癥患者達(dá)3億人，其中兒童占2200萬(wàn)人，11億人體重過(guò)重。肥胖癥和體重超常早已不是發(fā)達(dá)國(guó)家的“專利”，已遍及五大洲。目前，全球因”吃”致病乃至死亡的人數(shù)已高于因饑餓死亡的人數(shù)。 (引自光明日?qǐng)?bào)(un mn r bo)劉軍/文）問(wèn)題: 肥胖癥和體重超常與死亡人數(shù)真有顯著 的數(shù)量關(guān)系嗎?這些類型的問(wèn)題可以運(yùn)用相關(guān)分析與回歸分析的方法去解決。實(shí)例(shl)2:全球吃死的人比餓死的人多?第2頁(yè)/共65頁(yè)第二頁(yè)，共65頁(yè)。一、變量間的相互關(guān)系二、相關(guān)(xinggun)關(guān)系的類型三、相關(guān)(xing

2、gun)分析與回歸分析第3頁(yè)/共65頁(yè)第三頁(yè)，共65頁(yè)。 一、變量間的相互一、變量間的相互(xingh)關(guān)系關(guān)系 確定性的函數(shù)關(guān)系 Y=f (X) 不確定性的統(tǒng)計(jì)關(guān)系相關(guān)關(guān)系 Y= f（X）+ (為隨機(jī)變量) 沒(méi)有(mi yu)關(guān)系 變量間關(guān)系的圖形描述： 坐標(biāo)圖(散點(diǎn)圖) 第4頁(yè)/共65頁(yè)第四頁(yè)，共65頁(yè)。相關(guān)相關(guān)(xinggun)關(guān)系的類型關(guān)系的類型 從涉及的變量數(shù)量看 簡(jiǎn)單相關(guān) 多重相關(guān)（復(fù)相關(guān)） 從變量相關(guān)關(guān)系的表現(xiàn)形式看 線性相關(guān)散布圖接近一條(y tio)直線(左圖) 非線性相關(guān)散布圖接近一條(y tio)曲線(右圖)第5頁(yè)/共65頁(yè)第五頁(yè)，共65頁(yè)。 從 變 量 相 關(guān) 關(guān) 系

3、變 化 的 方 向(fngxing)看正相關(guān)變量同方向(fngxing)變化 A 同增同減 (A)負(fù)相關(guān)變量反方向(fngxing)變化 一增一減 (B) B 從變量相關(guān)的程度看 完全相關(guān) (B) 不完全相關(guān) (A) C 不相關(guān) (C) 相關(guān)相關(guān)(xinggun)關(guān)系的類型關(guān)系的類型第6頁(yè)/共65頁(yè)第六頁(yè)，共65頁(yè)。相關(guān)相關(guān)(xinggun)分析與回歸分分析與回歸分析析回歸的古典意義： 高爾頓遺傳學(xué)的回歸概念 父母身高與子女身高的關(guān)系: 無(wú)論(wln)高個(gè)子或低個(gè)子的子女 都有向人的平均身高回歸的 趨勢(shì)第7頁(yè)/共65頁(yè)第七頁(yè)，共65頁(yè)。 回歸的現(xiàn)代回歸的現(xiàn)代(xindi)意意義義一個(gè)因變量(b

4、inling)對(duì)若干解釋變量(binling)依存關(guān)系的研究回歸的目的（實(shí)質(zhì)）： 由固定的自變量(binling)去估計(jì)因變量(binling)的平均值估計(jì)因變估計(jì)因變量平均值量平均值第8頁(yè)/共65頁(yè)第八頁(yè)，共65頁(yè)。 相關(guān)(xinggun)分析與回歸分析的聯(lián)系共同的研究對(duì)象：都是對(duì)變量間相關(guān)關(guān)系的分析只有當(dāng)變量間存在相關(guān)關(guān)系時(shí)，用回歸分析去尋求相關(guān)的具體數(shù)學(xué)(shxu)形式才有實(shí)際意義相關(guān)分析只表明變量間相關(guān)關(guān)系的性質(zhì)和程度，要確定變量間相關(guān)的具體數(shù)學(xué)(shxu)形式依賴于回歸分析 相關(guān)分析中相關(guān)系數(shù)的確定建立在回歸分析的基礎(chǔ)上第9頁(yè)/共65頁(yè)第九頁(yè)，共65頁(yè)。一、簡(jiǎn)單線性相關(guān)系數(shù)一、簡(jiǎn)單線

5、性相關(guān)系數(shù)(xsh)及檢驗(yàn)及檢驗(yàn)二、總體回歸函數(shù)與樣本回歸函數(shù)二、總體回歸函數(shù)與樣本回歸函數(shù)三、回歸系數(shù)三、回歸系數(shù)(xsh)的估計(jì)的估計(jì)四、簡(jiǎn)單線性回歸模型的檢驗(yàn)四、簡(jiǎn)單線性回歸模型的檢驗(yàn) 五、簡(jiǎn)單線性回歸模型預(yù)測(cè)五、簡(jiǎn)單線性回歸模型預(yù)測(cè)第10頁(yè)/共65頁(yè)第十頁(yè)，共65頁(yè)。 一、簡(jiǎn)單一、簡(jiǎn)單(jindn)線性線性相關(guān)系數(shù)及檢驗(yàn)相關(guān)系數(shù)及檢驗(yàn) 總體相關(guān)(xinggun)系數(shù) 對(duì)于所研究的總體，表示兩個(gè)相互聯(lián)系變量相關(guān)(xinggun)程度 的總體相關(guān)(xinggun)系數(shù)為： 總體相關(guān)(xinggun)系數(shù)反映總體兩個(gè)變量X和Y的線性相關(guān)(xinggun)程度。 特點(diǎn)：對(duì)于特定的總體來(lái)說(shuō)，X和

6、Y的數(shù)值是既定的 總體相關(guān)(xinggun)系數(shù)是客觀存在的特定數(shù)值。 (, )()( )Cov X YVar X Var Y第11頁(yè)/共65頁(yè)第十一頁(yè)，共65頁(yè)。 樣本(yngbn)相關(guān)系數(shù) 通過(guò)X和Y 的樣本觀測(cè)值去估計(jì)樣本相關(guān)系數(shù)變量X和Y的樣本相關(guān)系數(shù)通常用 表示 特點(diǎn)：樣本相關(guān)系數(shù)是根據(jù)從總體中抽取(chu q)的隨機(jī)樣本 的觀測(cè)值計(jì)算出來(lái)的，是對(duì)總體相關(guān)系數(shù)的估 計(jì)，它是個(gè)隨機(jī)變量。 XYrXYrXYrXYrXYr_22()()()()iiXYiiXX YYrXXYY第12頁(yè)/共65頁(yè)第十二頁(yè)，共65頁(yè)。 相關(guān)系數(shù)的特點(diǎn)(tdin)： 相關(guān)系(gun x)數(shù)的取值在-1與1之間。當(dāng)

7、r=0時(shí)，表明X與Y沒(méi)有線性相關(guān)關(guān)系(gun x)。當(dāng) 時(shí)，表明X與Y存在一定的線性相關(guān)關(guān)系(gun x): 若 表明X與Y 為正相關(guān); 若 表明X與Y 為負(fù)相關(guān)。當(dāng) 時(shí)，表明X與Y完全線性相關(guān): 若r=1，稱X與Y完全正相關(guān)； 若r=-1，稱X與Y完全負(fù)相關(guān)。01r0r 0r 1r 第13頁(yè)/共65頁(yè)第十三頁(yè)，共65頁(yè)。 使用(shyng)相關(guān)系數(shù)的注意事項(xiàng)：X和Y 都是相互對(duì)稱(duchn)的隨機(jī)變量，所以相關(guān)系數(shù)只反映變量間的線性相關(guān)程度，不 能說(shuō)明非線性相關(guān)關(guān)系。相關(guān)系數(shù)不能確定變量的因果關(guān)系，也不能 說(shuō)明相關(guān)關(guān)系具體接近于哪條直線。XYYX第14頁(yè)/共65頁(yè)第十四頁(yè)，共65頁(yè)。 相關(guān)

8、系數(shù)的檢驗(yàn)(jinyn) 為什么要檢驗(yàn)？為什么要檢驗(yàn)？ 樣本相關(guān)系數(shù)是隨抽樣而變動(dòng)的隨機(jī)變量樣本相關(guān)系數(shù)是隨抽樣而變動(dòng)的隨機(jī)變量, ,相關(guān)相關(guān)系數(shù)的統(tǒng)計(jì)顯著性還有待檢驗(yàn)。系數(shù)的統(tǒng)計(jì)顯著性還有待檢驗(yàn)。檢驗(yàn)的依據(jù)：檢驗(yàn)的依據(jù)： 如果如果X X和和Y Y都服從正態(tài)分布，在總體相關(guān)系都服從正態(tài)分布，在總體相關(guān)系數(shù)數(shù) 的假設(shè)下，與樣本相關(guān)系數(shù)的假設(shè)下，與樣本相關(guān)系數(shù) r r 有關(guān)有關(guān)(yugun)(yugun)的的 t t 統(tǒng)計(jì)量服從自由度為統(tǒng)計(jì)量服從自由度為n-2n-2的的 t t 分布：分布： 0221(2)tr nrtn第15頁(yè)/共65頁(yè)第十五頁(yè)，共65頁(yè)。反之，若，應(yīng)接受的假設(shè)。2t2tt000

9、2tt第16頁(yè)/共65頁(yè)第十六頁(yè)，共65頁(yè)。 二、總體二、總體(zngt)回歸函數(shù)與樣本回歸函數(shù)回歸函數(shù)與樣本回歸函數(shù) 若干基本概念 Y的條件分布: Y在X取某固定值條件下的分布。 對(duì)于X的每一個(gè)(y )取值，都有Y的條件期望與之對(duì)應(yīng)，在坐標(biāo)圖上 Y的條件期望的點(diǎn)隨X而變化的軌跡所形成的直線或曲線，稱為回歸線。 如果把Y的條件期望 表示為X的某種函數(shù)： , 這個(gè)函數(shù)稱為回歸函數(shù)。 如果其函數(shù)形式是只有一個(gè)(y )自變量的線性函數(shù),如 , 稱為簡(jiǎn)單線性回歸函數(shù)。 ()iE Y X()()iiE Y Xf X()iiE Y XX第17頁(yè)/共65頁(yè)第十七頁(yè)，共65頁(yè)。 總體(zngt)回歸函數(shù)（PR

10、F） 概念(ginin)：將總體因變量Y的條件均值表現(xiàn)為自變量X的某種函數(shù)，這個(gè)函數(shù)稱為總體回歸函數(shù)（簡(jiǎn)記為PRF）。表現(xiàn)形式：（1）條件均值表現(xiàn)形式（2）個(gè)別值表現(xiàn)形式（隨機(jī)設(shè)定形式）()iiE Y XXiiiYXu第18頁(yè)/共65頁(yè)第十八頁(yè)，共65頁(yè)。 樣本回歸(hugu)函數(shù)（SRF）概念：概念： Y的樣本觀測(cè)值的條件的樣本觀測(cè)值的條件(tiojin)均值隨自變均值隨自變量量X而變動(dòng)的軌跡，稱為樣本回歸線。而變動(dòng)的軌跡，稱為樣本回歸線。 如果把因變量如果把因變量Y的樣本條件的樣本條件(tiojin)均值表均值表示為自變量示為自變量X的某種函數(shù)，這個(gè)函數(shù)稱為樣本的某種函數(shù)，這個(gè)函數(shù)稱為樣本

11、回歸函數(shù)回歸函數(shù) （簡(jiǎn)記為（簡(jiǎn)記為SRF）。）。表現(xiàn)形式：線性樣本回歸函數(shù)可表示為表現(xiàn)形式：線性樣本回歸函數(shù)可表示為 或者或者 iiiYXeiiYX第19頁(yè)/共65頁(yè)第十九頁(yè)，共65頁(yè)。 樣本(yngbn)回歸函數(shù)與總體回歸函數(shù)的關(guān)系 相互聯(lián)系 樣本回歸函數(shù)的函數(shù)形式應(yīng)與設(shè)定的總體(zngt)回歸函數(shù)的函數(shù)形式一致 。 和 是對(duì)總體(zngt)回歸函數(shù)參數(shù)的估計(jì)。 是對(duì)總體(zngt)條件期望 的估計(jì) 殘差 e 在概念上類似總體(zngt)回歸函數(shù)中的隨機(jī) 誤差u?；貧w分析的目的： 用樣本回歸函數(shù)去估計(jì)總體(zngt)回歸函數(shù)。 iY()iE Y X第20頁(yè)/共65頁(yè)第二十頁(yè)，共65頁(yè)。樣本(

12、yngbn)回歸函數(shù)與總體回歸函數(shù)的關(guān)系 相互區(qū)別 總體回歸函數(shù)雖然未知，但它是確定的； 樣本回歸線隨抽樣波動(dòng)而變化，可以有許多條。 樣本回歸線還不是總體回歸線，至多(zhdu)只是未知總體 回歸線的近似表現(xiàn)。 總體回歸函數(shù)的參數(shù)雖未知，但是確定的常數(shù)； 樣本回歸函數(shù)的參數(shù)可估計(jì)，但是隨抽樣而變化的隨機(jī)變量。 總體回歸函數(shù)中的 是不可直接觀測(cè)的； 而樣本回歸函數(shù)中的 是只要估計(jì)出樣本回歸的參數(shù)就可以計(jì)算的數(shù)值。 iuie第21頁(yè)/共65頁(yè)第二十一頁(yè)，共65頁(yè)。 三、回歸系數(shù)的估計(jì)三、回歸系數(shù)的估計(jì)(gj)回歸系數(shù)估計(jì)的思想：回歸系數(shù)估計(jì)的思想：為什么只能對(duì)未知參數(shù)作估計(jì)為什么只能對(duì)未知參數(shù)作估

13、計(jì)? 參數(shù)是未知的、不可直接觀測(cè)的、不能精確計(jì)算的參數(shù)是未知的、不可直接觀測(cè)的、不能精確計(jì)算的 能夠得到的只是變量的樣本觀測(cè)值能夠得到的只是變量的樣本觀測(cè)值結(jié)論結(jié)論:只能通過(guò)變量樣本觀測(cè)值選擇只能通過(guò)變量樣本觀測(cè)值選擇(xunz)適當(dāng)方法去適當(dāng)方法去近似近似 地估計(jì)回歸系數(shù)。地估計(jì)回歸系數(shù)。前提前提: u是隨機(jī)變量其分布性質(zhì)不確定，必須作某些是隨機(jī)變量其分布性質(zhì)不確定，必須作某些 假定，其估計(jì)才有良好性質(zhì)，其檢驗(yàn)才可進(jìn)行。假定，其估計(jì)才有良好性質(zhì)，其檢驗(yàn)才可進(jìn)行。原則原則: 使參數(shù)估計(jì)值使參數(shù)估計(jì)值“盡可能地接近盡可能地接近”總體參數(shù)真實(shí)值總體參數(shù)真實(shí)值第22頁(yè)/共65頁(yè)第二十二頁(yè)，共65頁(yè)。

14、 簡(jiǎn)單線性回歸(hugu)的基本假定假定假定(jidng)1(jidng)1：零均值假定：零均值假定(jidng)(jidng)。假定假定(jidng)2(jidng)2：同方差假定：同方差假定(jidng)(jidng)。 假定假定(jidng)3(jidng)3：無(wú)自相關(guān)假定：無(wú)自相關(guān)假定(jidng)(jidng)。 假定假定(jidng)4(jidng)4：隨機(jī)擾動(dòng)：隨機(jī)擾動(dòng) 與自變量與自變量 不相關(guān)。不相關(guān)。假定假定(jidng)5(jidng)5：正態(tài)性假定：正態(tài)性假定(jidng)(jidng)()0iiE u Xiu222()()()iiiiiiVar u XE uE u XE

15、 u ( ,)( )()( ,)0ijiijjijCov u uE uE uuE uE u uiX2(0,)iuN( ,)( )()0iiiiiiCov u XE uE uXE X第23頁(yè)/共65頁(yè)第二十三頁(yè)，共65頁(yè)。 回歸系數(shù)的最小二乘估計(jì)回歸系數(shù)的最小二乘估計(jì)(gj)基本思想： 希望所估計(jì)的 偏離實(shí)際(shj)觀測(cè)值 的殘差 越小越好?？梢匀埐钇椒胶?作為衡量 與 偏離程度的標(biāo)準(zhǔn)最小二乘準(zhǔn)則估計(jì)式： iYiYie2ieiYiY22()iiiiiiNX YX YNXX_2()()()iiiXX YYXXYX第24頁(yè)/共65頁(yè)第二十四頁(yè)，共65頁(yè)。 最小二乘估計(jì)的性質(zhì) 高斯(o s)馬爾可

16、夫定理 前提： 在基本(jbn)假定滿足時(shí)最小二乘估計(jì)是因變量的線性函數(shù) 最小二乘估計(jì)是無(wú)偏估計(jì)，即 在所有的線性無(wú)偏估計(jì)中，回歸系數(shù)的最小二乘估計(jì)的方差最小。 結(jié)論：回歸系數(shù)的最小二乘估計(jì)是最佳線性無(wú)偏估計(jì)()E()E第25頁(yè)/共65頁(yè)第二十五頁(yè)，共65頁(yè)。 最小二乘估計(jì)最小二乘估計(jì)(gj)的概率分布性質(zhì)的概率分布性質(zhì) 和和 都是服從正態(tài)分布的隨機(jī)變量，其期都是服從正態(tài)分布的隨機(jī)變量，其期望望(qwng)為為方差和標(biāo)準(zhǔn)誤差為方差和標(biāo)準(zhǔn)誤差為 結(jié)論：結(jié)論：()E()E2()iVarx2()iSEx22()iiXVarNx22()iiXSENx22(,)iNx22( ,)iiXNNx 第26頁(yè)/

17、共65頁(yè)第二十六頁(yè)，共65頁(yè)。 的無(wú)偏(w pin)估計(jì) 為什么要估計(jì) ？ 確定所估計(jì)參數(shù)的方差需要(xyo) 由于 不能直接觀測(cè)， 也是未知的 對(duì) 的數(shù)值只能通過(guò)樣本信息去估計(jì)。怎樣估計(jì) ？ 可以證明 的無(wú)偏估計(jì)為： iu222ien2222222第27頁(yè)/共65頁(yè)第二十七頁(yè)，共65頁(yè)。 擬合(n h)優(yōu)度的度量 基本思想：樣本回歸直線是對(duì)樣本數(shù)據(jù)的一種基本思想：樣本回歸直線是對(duì)樣本數(shù)據(jù)的一種擬合，不同估計(jì)擬合，不同估計(jì)(gj)方法可擬合出不同的回方法可擬合出不同的回歸線。樣本回歸擬合優(yōu)度的度量建立在對(duì)因變歸線。樣本回歸擬合優(yōu)度的度量建立在對(duì)因變量總離差平方和分解的基礎(chǔ)上量總離差平方和分解的

18、基礎(chǔ)上 總離差平方和總離差平方和 回歸平方和回歸平方和 殘殘差平方和差平方和 可決系數(shù)定義：可決系數(shù)定義：_222()()()iiiiYYYYYY222()()iiYYrYY222()1()iiiYYrYY 第28頁(yè)/共65頁(yè)第二十八頁(yè)，共65頁(yè)。 對(duì)可決系數(shù)(xsh)的理解YXiXYiYYYiiiYY YYi222()()iiYYrYY第29頁(yè)/共65頁(yè)第二十九頁(yè)，共65頁(yè)。 可決系數(shù)(xsh)的特點(diǎn) 可決系數(shù)是非負(fù)的統(tǒng)計(jì)量；可決系數(shù)取值范圍： ；可決系數(shù)是樣本觀測(cè)值的函數(shù)，可決系數(shù)是隨抽樣(chu yn)而變動(dòng)的隨機(jī)變量；在一元線性回歸中，可決系數(shù)在數(shù)值上是簡(jiǎn)單線性相關(guān)系數(shù)的平方： ，20

19、1r2rr 2222()()()()iiiiXXYYrXXYY第30頁(yè)/共65頁(yè)第三十頁(yè)，共65頁(yè)。 回歸系數(shù)顯著性的回歸系數(shù)顯著性的 t 檢驗(yàn)檢驗(yàn)(jinyn)目的：目的： 根據(jù)根據(jù)(gnj)樣本回歸估計(jì)的結(jié)果對(duì)總體回歸函數(shù)回歸樣本回歸估計(jì)的結(jié)果對(duì)總體回歸函數(shù)回歸 系數(shù)的有關(guān)假設(shè)進(jìn)行檢驗(yàn)，以檢驗(yàn)總體回歸系數(shù)是系數(shù)的有關(guān)假設(shè)進(jìn)行檢驗(yàn)，以檢驗(yàn)總體回歸系數(shù)是 否等于某個(gè)特定的數(shù)值。否等于某個(gè)特定的數(shù)值。思想：思想： 是未知的，而且不一定能獲得大樣本，這時(shí)可用是未知的，而且不一定能獲得大樣本，這時(shí)可用 的無(wú)偏估計(jì)的無(wú)偏估計(jì) 代替代替 去估計(jì)參數(shù)的標(biāo)準(zhǔn)誤差：去估計(jì)參數(shù)的標(biāo)準(zhǔn)誤差：22()iSEx22(

20、 )iiXSENx222第31頁(yè)/共65頁(yè)第三十一頁(yè)，共65頁(yè)。 (2)()tt nSE (2)()tt nSE第32頁(yè)/共65頁(yè)第三十二頁(yè)，共65頁(yè)。 回歸系數(shù)顯著性回歸系數(shù)顯著性 t 檢驗(yàn)檢驗(yàn)(jinyn)的方法的方法(1) 提出假設(shè)一般假設(shè):常用假設(shè):(2) 計(jì)算統(tǒng)計(jì)量(3)給定顯著性水平，確定臨界值 (4) 檢驗(yàn)(jinyn)結(jié)果判斷 若 則拒絕原假設(shè)，而接受備擇假設(shè) 若 則接受原假設(shè) , 拒絕備擇假設(shè)0:*H*1:H*0:0H1:0H2(2)tn*2(2)ttn*2(2)ttn*()( )ttSESE或第33頁(yè)/共65頁(yè)第三十三頁(yè)，共65頁(yè)。回歸系數(shù)顯著性的回歸系數(shù)顯著性的P P值檢

21、驗(yàn)值檢驗(yàn)(jinyn)(jinyn)PP值的意義值的意義P值的意義: 在既定原假設(shè)(jish)下計(jì)算回歸系數(shù)的t統(tǒng)計(jì)量 ，可求得 統(tǒng)計(jì)量大于 的概率 ： 這里的 是 t 統(tǒng)計(jì)量大于 值的概率，是尚不能拒 絕原假設(shè)(jish) 的最大顯著水平，稱為所估 計(jì)的回歸系數(shù)的P值。*t*0()P tt H*02:0H*t*t第34頁(yè)/共65頁(yè)第三十四頁(yè)，共65頁(yè)。02:0H02:0H第35頁(yè)/共65頁(yè)第三十五頁(yè)，共65頁(yè)。五、簡(jiǎn)單線性回歸五、簡(jiǎn)單線性回歸(hugu)模型模型預(yù)測(cè)預(yù)測(cè)對(duì)平均值的點(diǎn)預(yù)測(cè)(yc)值 ： Y的個(gè)別值置信度為1的預(yù)測(cè)(yc)區(qū)間： fYffYX_222()11fffiXXYYtnx

22、第36頁(yè)/共65頁(yè)第三十六頁(yè)，共65頁(yè)。 因變量的區(qū)間預(yù)測(cè)(yc)的特點(diǎn) （1）個(gè)別值的預(yù)測(cè)區(qū)間大于平均值的預(yù)測(cè)區(qū)間: Y平均值的預(yù)測(cè)值與真實(shí)平均值有誤差，主要是受抽樣波動(dòng)影響; Y個(gè)別值的預(yù)測(cè)值與真實(shí)個(gè)別值的差異(chy)不僅受抽樣波動(dòng)影響，而且還受隨機(jī)擾動(dòng)項(xiàng)的影響（2）對(duì) 預(yù)測(cè)區(qū)間隨 變化而變化: 時(shí)， =0，此時(shí)預(yù)測(cè)區(qū)間最窄， 越是遠(yuǎn)離 ， 越大，預(yù)測(cè)區(qū)間越寬。fYfX_FXX_2()FXXFX_X_2()FXX第37頁(yè)/共65頁(yè)第三十七頁(yè)，共65頁(yè)。隨機(jī)擾動(dòng)的方差。2ix第38頁(yè)/共65頁(yè)第三十八頁(yè)，共65頁(yè)。一、多元線性回歸模型(mxng)及假定二、多元線性回歸模型(mxng)的估計(jì)

23、三、多元線性回歸模型(mxng)的檢驗(yàn)四、多元線性回歸模型(mxng)的預(yù)測(cè)五、復(fù)相關(guān)系數(shù)和偏相關(guān)系數(shù)第39頁(yè)/共65頁(yè)第三十九頁(yè)，共65頁(yè)。 一、多元線性回歸一、多元線性回歸(hugu)模型模型及假定及假定 多元總體線性回歸函數(shù)多元總體線性回歸函數(shù)一般一般(ybn)形式形式 條件均值形式條件均值形式 12233iiikkiiYXXXu23(,)iikiE Y XXX12233iikkiXXX多元(du yun)線性樣本回歸函數(shù)：一般形式條件均值形式12233iiikkiYXXX12233iiikkiiYXXXe第40頁(yè)/共65頁(yè)第四十頁(yè)，共65頁(yè)。 多元線性回歸模型的矩陣多元線性回歸模型的矩

24、陣(j zhn)表示表示多元總體線性回歸多元總體線性回歸(hugu)(hugu)模型的矩陣表示模型的矩陣表示 Y=X+U Y=X+U多元線性樣本回歸多元線性樣本回歸(hugu)(hugu)函數(shù)的矩陣表示函數(shù)的矩陣表示 Y=X + e 偏回歸系數(shù)：多元線性回歸模型(mxng)中，回歸系數(shù)表示當(dāng)控制其它自變量不變的條件下，第j個(gè)自變量的單位變動(dòng)對(duì)因變量均值的影響，這樣的回歸系數(shù)稱為偏回歸系數(shù)。121311112223222223111kknnnknknYXXXuYXXXuYXXXu第41頁(yè)/共65頁(yè)第四十一頁(yè)，共65頁(yè)。 二、多元線性回歸模型(mxng)的估計(jì) 多元回歸模型多元回歸模型(mxng)

25、的假定的假定 相同的假定: 零均值、同方差、無(wú)自相關(guān)、 隨機(jī)擾動(dòng)(rodng)項(xiàng)與自變量不相關(guān)、U正態(tài)性增加的假定：各自變量之間不存在線性關(guān)系。 在此條件下，自變量觀測(cè)值矩陣X列滿秩 Rank( X ) = k方陣X X 滿秩 Rank()= k 意義： 可逆，-1(X X)存在 X X X X 第42頁(yè)/共65頁(yè)第四十二頁(yè)，共65頁(yè)。多元回歸參數(shù)多元回歸參數(shù)(cnsh)的最小二乘估計(jì)的最小二乘估計(jì)使殘差平方和達(dá)到最小，其充分(chngfn)必要條件 212233()iiikkiYXXX2ie 2()01,2,ijejk正規(guī)(zhnggu)方程組 122ikkiinXXY 2122222iik

26、ikiiiXXX XX Y - 2122kiikikkikiiXX XXX Y 第43頁(yè)/共65頁(yè)第四十三頁(yè)，共65頁(yè)。 多元線性回歸(hugu)的最小二乘估計(jì)式正規(guī)(zhnggu)方程組可簡(jiǎn)記為矩陣形式 (XX)XY-1(XX)存在(cnzi) 參數(shù)向量的最小二乘估計(jì)為1(X X) X Y參數(shù)最小二乘估計(jì)的性質(zhì)參數(shù)最小二乘估計(jì)的性質(zhì)可以證明：多元線性回歸的最小二乘估計(jì)也是最佳線性無(wú)偏估計(jì)。第44頁(yè)/共65頁(yè)第四十四頁(yè)，共65頁(yè)。 隨機(jī)誤差項(xiàng)方差隨機(jī)誤差項(xiàng)方差(fn ch)的估計(jì)的估計(jì)方差(fn ch) 未知，需要利用樣本回歸的殘差平方和去估計(jì)。2可以(ky)證明， 22ienknkNke e

27、Y Y XY2是隨機(jī)擾動(dòng)項(xiàng)方差的無(wú)偏估計(jì) 22第45頁(yè)/共65頁(yè)第四十五頁(yè)，共65頁(yè)。 三、多元線性回歸三、多元線性回歸(hugu)模型的模型的檢驗(yàn)檢驗(yàn)擬合擬合(n h)優(yōu)度檢驗(yàn)優(yōu)度檢驗(yàn)多元線性回歸離差平方和的分解式多元線性回歸離差平方和的分解式 變差變差 222()()()iiiiYYYYYY TSS = RSS + ESS (總離差平方和) (殘差平方和) (回歸(hugu)平方和)自由度 n-1 = n-k + k-1多重可決系數(shù)：多重可決系數(shù)： 22211()iieESSTSSRSSRSSRTSSTSSTSSYY 第46頁(yè)/共65頁(yè)第四十六頁(yè)，共65頁(yè)。 修正修正(xizhng)的可決

28、系的可決系數(shù)數(shù) 為什么要修正？ 可決系數(shù)是自變量個(gè)數(shù)的不減函數(shù)，比較(bjio)因變量相同而自變量個(gè)數(shù)不同的兩個(gè)模型的擬合程度時(shí)，不能簡(jiǎn)單地對(duì)比多重可決系數(shù)。需要用自由度去修正多重可決系數(shù)中的殘差平方和與回歸平方和 相互(xingh)關(guān)系：2211 (1)nRRnk 22222()111()(1)()iiiienkenRYYnnkYY 第47頁(yè)/共65頁(yè)第四十七頁(yè)，共65頁(yè)。 回歸回歸(hugu)參數(shù)的顯著性檢驗(yàn)參數(shù)的顯著性檢驗(yàn) t 檢驗(yàn)檢驗(yàn) 在多元回歸中可以(ky)證明()jjE2()jjjVarc 其中(qzhng)：jjc是矩陣1(XX)第 j 行第 j 列的元素。因?yàn)?未知，故()jV

29、ar也未知?，F(xiàn)用2代替對(duì)原假設(shè) 分別作 t 檢驗(yàn) 2，可構(gòu)造統(tǒng)計(jì)量 ()jjjjtt nkC ：0H0:0jH(1,2)jk第48頁(yè)/共65頁(yè)第四十八頁(yè)，共65頁(yè)。 回歸方程的顯著性檢驗(yàn)回歸方程的顯著性檢驗(yàn)(jinyn) F 檢驗(yàn)檢驗(yàn)(jinyn)目的: 檢驗(yàn)多個(gè)變量聯(lián)合對(duì)因變量是否有顯著影響方法(fngf): 在方差分析的基礎(chǔ)上利用F檢驗(yàn)進(jìn)行假定: 012:0kH不全為零方方差差分分析析表表離差來(lái)源平方和自由度方差源于回歸源于殘差k-1n-kESS/(k-1)RSS/( n-k)總離差n-11:(1,2, )jHjk2()iESSYY2()iiRSSYY2()iTSSYY第49頁(yè)/共65頁(yè)第

30、四十九頁(yè)，共65頁(yè)。 F檢驗(yàn)(jinyn)的方法 給定(i dn)顯著性水平，在F分布表中查出自由度為k-1和n-k 的臨界值 0H(1)(1,)()ESSkFF knkRSSnkF服從(fcng)自由度為 k-1 和 n-k 的 F 分布。 F F檢驗(yàn)：檢驗(yàn)：在成立的條件下，統(tǒng)計(jì)量(1,)F knk:若 ，則拒絕 ， 說(shuō)明回歸方程中所有自變量聯(lián)合起來(lái)對(duì)因變量有顯著影響 012:0kH(1,)FF knk0H若 ，則接受 ， 說(shuō)明回歸方程中所有自變量聯(lián)合起來(lái)對(duì)因變量影響不顯著 (1,)FF knk0H第50頁(yè)/共65頁(yè)第五十頁(yè)，共65頁(yè)。四、多元線性回歸模型四、多元線性回歸模型(mxng)的預(yù)

31、測(cè)的預(yù)測(cè)點(diǎn)預(yù)測(cè)值預(yù)測(cè)的殘差 可證明(zhngmng)用 代替 則構(gòu)造 t 統(tǒng)計(jì)量 給定顯著性水平 ,可得臨界值 置信度為 的預(yù)測(cè)區(qū)間為 122ffkkfYXX -fY fffeYY20,1feN1ffX (XX) X1efS1ffX (XX) X () 1fffYYtt nk1fX (XX) X2()tnk0Y12211fffffYtYYt11ffX (XX) XX (XX) X第51頁(yè)/共65頁(yè)第五十一頁(yè)，共65頁(yè)。對(duì)于相互聯(lián)系(linx)的多個(gè)變量，當(dāng)控制其他變量保持不變的條件下，度量其中兩個(gè)變量之間線性相關(guān)程度的指標(biāo)稱為偏相關(guān)系數(shù)。22()()()()iiiiYYYYRYYYY第52頁(yè)/共65頁(yè)第五十二頁(yè)，共65頁(yè)。1213 2312 3221323(1)(1)rr rrrr1312 2313 2221223(1)(1)rr rrrr23121)(1)rr rrrr第53頁(yè)/共65頁(yè)第五十三頁(yè)，共65頁(yè)。