第二章回歸模型PPT課件

1、管理科學(xué)與工程學(xué)院 鄭麗琳第二章第二章 回歸模型回歸模型l1.1經(jīng)典回歸模型的估計(jì)經(jīng)典回歸模型的估計(jì) l1.2 經(jīng)典回歸模型的統(tǒng)計(jì)檢驗(yàn)經(jīng)典回歸模型的統(tǒng)計(jì)檢驗(yàn) l1.3 經(jīng)典回歸模型建立和應(yīng)用注意的問(wèn)題經(jīng)典回歸模型建立和應(yīng)用注意的問(wèn)題l1.4 經(jīng)典回歸模型的非線性處理經(jīng)典回歸模型的非線性處理管理科學(xué)與工程學(xué)院 鄭麗琳管理科學(xué)與工程學(xué)院 鄭麗琳引例引例從2004年中國(guó)國(guó)際旅游交易會(huì)上獲悉，到2020年，中國(guó)旅游業(yè)總收入將達(dá)到3000億美元，相當(dāng)于GDP的8至11。？是什么決定性因素能使中國(guó)旅游業(yè)總收入到2020年達(dá)到3000億美元？旅游業(yè)的發(fā)展與這種決定性因素的數(shù)量關(guān)系究竟如何？怎樣具體測(cè)定旅游業(yè)

2、發(fā)展與這種決定性因素的數(shù)量關(guān)系？管理科學(xué)與工程學(xué)院 鄭麗琳應(yīng)對(duì)考慮的問(wèn)題應(yīng)對(duì)考慮的問(wèn)題l確定作為研究對(duì)象的經(jīng)濟(jì)變量（如我國(guó)旅游業(yè)總收入）l分析影響研究對(duì)象變動(dòng)的主要因素（如我國(guó)居民收入的增長(zhǎng)）l分析各種影響因素與所研究經(jīng)濟(jì)現(xiàn)象的相互關(guān)系（決定相互聯(lián)系的數(shù)學(xué)關(guān)系式）l確定所研究的經(jīng)濟(jì)問(wèn)題與影響因素間具體的數(shù)量關(guān)系（需要特定的方法）l分析并檢驗(yàn)所得數(shù)量結(jié)論的可靠性（多種檢驗(yàn)）l運(yùn)用數(shù)量研究結(jié)果作經(jīng)濟(jì)分析和預(yù)測(cè)（實(shí)際應(yīng)用）管理科學(xué)與工程學(xué)院 鄭麗琳第一節(jié)第一節(jié) 經(jīng)典回歸模型的估計(jì)經(jīng)典回歸模型的估計(jì) 對(duì)經(jīng)濟(jì)變量相互關(guān)系的計(jì)量，最基本的方法是回歸分析?；貧w分析是計(jì)量經(jīng)濟(jì)學(xué)的主要工具，也是計(jì)量經(jīng)濟(jì)學(xué)理論和

3、方法的主要內(nèi)容。只有一個(gè)解釋變量的線性回歸模型是最簡(jiǎn)單的，稱為簡(jiǎn)單線性回歸模型或一元線性回歸模型。本章從一元線性回歸模型入手，討論在基本假定滿足的條件下，對(duì)經(jīng)濟(jì)變量關(guān)系計(jì)量的基本理論和方法，這也是我們學(xué)習(xí)的基礎(chǔ)。管理科學(xué)與工程學(xué)院 鄭麗琳一、回歸分析相關(guān)與回歸（統(tǒng)計(jì)學(xué)知識(shí)介紹）在統(tǒng)計(jì)學(xué)中考察經(jīng)濟(jì)變量間的依存關(guān)系，通常分 確定性的函數(shù) Y=f(X) 函數(shù)關(guān)系 例子，商品銷售量X和銷售額Y Y=PX 不確定性的隨機(jī)關(guān)系 相關(guān)關(guān)系 Y=f(X) （為隨機(jī)變量） 例子，居民消費(fèi)函數(shù) Y=a+bX+ 沒(méi)有關(guān)系管理科學(xué)與工程學(xué)院 鄭麗琳 相關(guān)關(guān)系的描述相關(guān)關(guān)系的描述 最直觀的描述方式最直觀的描述方式坐標(biāo)圖

4、（散布圖、散點(diǎn)圖）坐標(biāo)圖（散布圖、散點(diǎn)圖） 7函數(shù)關(guān)系函數(shù)關(guān)系相關(guān)關(guān)系相關(guān)關(guān)系(線性線性)沒(méi)有關(guān)系沒(méi)有關(guān)系相關(guān)關(guān)系相關(guān)關(guān)系(非線性非線性)管理科學(xué)與工程學(xué)院 鄭麗琳相關(guān)關(guān)系的表現(xiàn)對(duì)相關(guān)關(guān)系的描述通常最直觀的是座標(biāo)圖 y . . . . . . . . . . . . . x圖2.1管理科學(xué)與工程學(xué)院 鄭麗琳相關(guān)關(guān)系的類型相關(guān)關(guān)系的類型 從涉及的變量數(shù)量看 簡(jiǎn)單相關(guān)只有兩個(gè)變量的相關(guān)關(guān)系 多重相關(guān)（復(fù)相關(guān)）三個(gè)或三個(gè)以上變量的相關(guān)關(guān)系。例：某人身高與體重與年齡的關(guān)系 從變量相關(guān)關(guān)系的表現(xiàn)形式（可根據(jù)散點(diǎn)圖） 線性相關(guān) 非線性相關(guān) 從變量相關(guān)關(guān)系變化的方向 正相關(guān)：收入 負(fù)相關(guān)：價(jià)格 不相關(guān)對(duì)消費(fèi)

5、量影響管理科學(xué)與工程學(xué)院 鄭麗琳相關(guān)程度的度量相關(guān)程度的度量X和Y的總體線性相關(guān)系數(shù)：X和Y的樣本線性相關(guān)系數(shù)： YVarXVarYXCov,NYYXXNYYXXiiiiYXXYXY222N管理科學(xué)與工程學(xué)院 鄭麗琳相關(guān)系數(shù)的特點(diǎn)相關(guān)系數(shù)的特點(diǎn)相關(guān)系數(shù)取值在-1,1當(dāng)r=0時(shí)，表明X與Y沒(méi)有線性相關(guān)關(guān)系當(dāng)0|r|0表明為正相關(guān)，r0表明為負(fù)相關(guān)。當(dāng)|r|1時(shí)，表明X與Y完全線性相關(guān)。管理科學(xué)與工程學(xué)院 鄭麗琳使用相關(guān)系數(shù)應(yīng)注意的問(wèn)題使用相關(guān)系數(shù)應(yīng)注意的問(wèn)題lX和Y 都是相互對(duì)稱的隨機(jī)變量。l簡(jiǎn)單相關(guān)系數(shù)只反映變量間的線性相關(guān)程度，不能說(shuō)明非線性相關(guān)關(guān)系。l樣本相關(guān)系數(shù)是總體相關(guān)系數(shù)的樣本估計(jì)值

6、，由于抽樣波動(dòng)，樣本相關(guān)系數(shù)是個(gè)隨機(jī)變量，其統(tǒng)計(jì)顯著性有待檢驗(yàn)。l相關(guān)系數(shù)只能反映線性相關(guān)程度，不能確定因果關(guān)系，不能說(shuō)明相關(guān)關(guān)系具體接近哪條直線管理科學(xué)與工程學(xué)院 鄭麗琳l(shuí)研究變量相互之間的依存關(guān)系時(shí)，首先需要分析它們是否存在相關(guān)關(guān)系，隨后要明確相關(guān)關(guān)系的類型，而且還應(yīng)計(jì)量其相關(guān)關(guān)系的密切程度，在統(tǒng)計(jì)上這種分析研究稱為相關(guān)分析。相關(guān)分析主要是指用一個(gè)指標(biāo)（相關(guān)系數(shù)）去表明現(xiàn)象間相互依存關(guān)系的性質(zhì)和密切程度。l計(jì)量經(jīng)濟(jì)學(xué)關(guān)心的是：變量間的因果關(guān)系及隱藏在隨機(jī)性后面的統(tǒng)計(jì)規(guī)律性，這靠相關(guān)分析無(wú)法完成.相關(guān)分析并不能說(shuō)明變量間相關(guān)關(guān)系的具體形式，還不能從一個(gè)變量的變化去推測(cè)另一個(gè)變量的具體變化。這

7、時(shí)就需要運(yùn)用回歸分析。管理科學(xué)與工程學(xué)院 鄭麗琳回歸分析回歸分析回歸的古典意義： 高爾頓在1889年發(fā)表的著作自然的遺傳中，首次提出了回歸的概念 （父母身高與孩子身高的關(guān)系）回歸的現(xiàn)代意義： 一個(gè)應(yīng)變量對(duì)若干解釋變量依存關(guān)系的研究回歸分析的基本思想: 在相關(guān)分析的基礎(chǔ)上,對(duì)具有相關(guān)關(guān)系的兩個(gè)或多個(gè)變量之間的數(shù)量變化的一般關(guān)系進(jìn)行測(cè)定,確定一個(gè)相應(yīng)的數(shù)學(xué)表達(dá)式,以便從一個(gè)已知量來(lái)推斷另一個(gè)未知量.回歸的目的（實(shí)質(zhì)）: 由固定的解釋變量去估計(jì)因變量的平均值。管理科學(xué)與工程學(xué)院 鄭麗琳相關(guān)分析與回歸分析的聯(lián)系及區(qū)別相關(guān)分析與回歸分析的聯(lián)系及區(qū)別l聯(lián)系：二者都是對(duì)變量間依存關(guān)系的研究，二者可以互相補(bǔ)充

8、。相關(guān)分析可以表明變量間相關(guān)關(guān)系的性質(zhì)和程度，只有當(dāng)變量間存在一定程度的相關(guān)關(guān)系時(shí)，進(jìn)行回歸分析去尋求相關(guān)的具體數(shù)學(xué)形式才有意義。同時(shí)，在進(jìn)行相關(guān)分析時(shí)如果要具體確定變量間相關(guān)的具體數(shù)學(xué)形式，又要依賴回歸分析，而且相關(guān)分析中相關(guān)系數(shù)的確定也是建立在回歸分析的基礎(chǔ)上。管理科學(xué)與工程學(xué)院 鄭麗琳l(shuí)區(qū)別： 從研究目的上，相關(guān)分析用一定的數(shù)量指標(biāo)（相關(guān)系數(shù)）度量變量間相關(guān)聯(lián)系的方向和程度；回歸分析卻是要尋求變量間聯(lián)系的具體數(shù)學(xué)形式，是要根據(jù)解釋變量的固定值去估計(jì)和預(yù)測(cè)被解釋變量的平均值。 從對(duì)變量的處理上，相關(guān)分析對(duì)稱的對(duì)待相互聯(lián)系的變量，相關(guān)的變量不一定具有因果關(guān)系，均視為隨機(jī)變量；回歸分析是建立在

9、變量因果關(guān)系的基礎(chǔ)上的，研究解釋變量的變動(dòng)對(duì)被解釋變量的具體影響?；貧w分析必須劃定解釋變量和被解釋變量，對(duì)變量的處理是不對(duì)稱的。l二者都只是從數(shù)據(jù)出發(fā)定量分析經(jīng)濟(jì)變量間相互聯(lián)系的手段，并不能決定經(jīng)濟(jì)現(xiàn)象之間的本質(zhì)聯(lián)系。本質(zhì)需要結(jié)合實(shí)際經(jīng)驗(yàn)分析，并要從經(jīng)濟(jì)學(xué)原理上加以說(shuō)明。對(duì)本來(lái)沒(méi)有內(nèi)在聯(lián)系的經(jīng)濟(jì)現(xiàn)象，僅憑數(shù)據(jù)進(jìn)行相關(guān)分析和回歸分析，可能是一種“偽相關(guān)”和“偽回歸”。管理科學(xué)與工程學(xué)院 鄭麗琳 舉例說(shuō)明：舉例說(shuō)明： 假設(shè)一個(gè)總體由60戶家庭組成，為了研究家庭消費(fèi)支出Y與家庭收入X之間的關(guān)系，將這60戶家庭按人均月收入劃分成組內(nèi)收入水平大致相同的10個(gè)組。表2-1列出了每組各個(gè)家庭的人均月消費(fèi)支出

10、和收入情況。 管理科學(xué)與工程學(xué)院 鄭麗琳 表表2-1 2-1 某總體的家庭收支情況某總體的家庭收支情況 單位：元/月人均月收入人均月收入X X人均月消費(fèi)支出人均月消費(fèi)支出Y Y條件均值條件均值E(Y)E(Y)180180155 160 165 170 175 155 160 165 170 175 165165200200165 170 174 180 185 188165 170 174 180 185 188177177220220179 184 190 194 198179 184 190 194 198189189240240180 193 195 203 208 213 215180

11、 193 195 203 208 213 215201201260260202 207 210 216 218 225202 207 210 216 218 225213213280280210 215 220 230 235 240210 215 220 230 235 240225225300300220 236 240 244 245220 236 240 244 245237237320320235 237 240 252 257 260 262235 237 240 252 257 260 262249249340340237 245 255 265 275 289237 245 2

12、55 265 275 289261261360360250 252 275 278 280 285 291250 252 275 278 280 285 291273273管理科學(xué)與工程學(xué)院 鄭麗琳 圖圖2-1 2-1 不同收入水平的家庭消費(fèi)支出散點(diǎn)分布圖不同收入水平的家庭消費(fèi)支出散點(diǎn)分布圖120150180210240270300160180200220240260280300320340360380消費(fèi)支出收入總體回歸函數(shù)管理科學(xué)與工程學(xué)院 鄭麗琳l(shuí)從圖2-1的散點(diǎn)分布可以看出，雖然各個(gè)家庭的消費(fèi)支出存在著差異，但各組家庭的平均消費(fèi)支出隨著收入水平的提高也在不斷增加。l如果根據(jù)家庭收入和消

13、費(fèi)支出的觀測(cè)數(shù)據(jù)，去研究當(dāng)解釋變量家庭收入變動(dòng)時(shí)，對(duì)被解釋變量家庭消費(fèi)支出的平均變動(dòng)的規(guī)律，解決這樣一類問(wèn)題的方法就是回歸分析。在理解回歸分析時(shí)，應(yīng)當(dāng)注意回歸要揭示的是被解釋變量與解釋變量之間的平均關(guān)系。管理科學(xué)與工程學(xué)院 鄭麗琳注意的幾個(gè)概念注意的幾個(gè)概念Y的條件分布 當(dāng)解釋變量X取某固定值時(shí)（條件），Y的值不確定，Y的不同取值形成一定的分布，這就是Y 的條件分布。 Y的條件期望 對(duì)于X的每一個(gè)取值，對(duì)Y所形成的分布確定其期望或均值，稱為Y的條件期望或條件均值E(YXi)xiY圖2.2管理科學(xué)與工程學(xué)院 鄭麗琳回歸線與回歸函數(shù)回歸線與回歸函數(shù)l回歸線：對(duì)于每一個(gè)X的取值，都有Y的條件期望E(

14、YXi)與之對(duì)應(yīng)，代表這些Y的條件期望的點(diǎn)的軌跡所形成的直線或曲線，稱為回歸線。l回歸函數(shù)：被解釋變量Y的條件期望隨解釋變量X的變化而有規(guī)律的變化，如果把Y的條件期望E(YXi)表示為X的某種函數(shù) E(YXi)f(Xi) 這個(gè)函數(shù)稱為回歸函數(shù)?？煞譃椋嚎傮w回歸函數(shù)；樣本回歸函數(shù)管理科學(xué)與工程學(xué)院 鄭麗琳總體回歸函數(shù)（總體回歸函數(shù)（PRF）總體回歸函數(shù)的概念 前提：假如已知所研究的經(jīng)濟(jì)現(xiàn)象的總體被解釋變量Y和解釋變量X的每個(gè)觀測(cè)值，可以計(jì)算出總體被解釋變量Y的條件期望E(YXi)，并將其表現(xiàn)為解釋變量X的某種函數(shù) E(YXi)f(Xi) 這個(gè)函數(shù)稱為總體回歸函數(shù)（PRF）管理科學(xué)與工程學(xué)院 鄭麗

15、琳注意注意l實(shí)際的經(jīng)濟(jì)研究中總體回歸函數(shù)通常是未知的，只能根據(jù)經(jīng)濟(jì)理論和實(shí)踐經(jīng)驗(yàn)去設(shè)定?！坝?jì)量”的目的就是尋找PRF。l總體回歸函數(shù)中Y和X的關(guān)系可以是線性的，也可以是非線性的。管理科學(xué)與工程學(xué)院 鄭麗琳總體回歸函數(shù)的表現(xiàn)形式總體回歸函數(shù)的表現(xiàn)形式條件均值表現(xiàn)形式 假如Y的條件均值E(YXi)是解釋變量X的線性函數(shù)，可表示為 E(YXi)f(Xi)12Xi 1 和 2 分別是總體回歸函數(shù)的總體回歸參數(shù)參數(shù)個(gè)別值表現(xiàn)形式（隨機(jī)設(shè)定形式） 對(duì)于一定的Xi，Y的每一個(gè)值Yi分布在E(YXi)的周圍，若令每一個(gè)值Yi與條件均值E(YXi)的偏差i，顯然i是隨機(jī)變量 則有 i Yi-E(YXi) Yi-

16、 1 -2Xi Yi= 1 + 2XiixiY管理科學(xué)與工程學(xué)院 鄭麗琳隨機(jī)誤差項(xiàng)隨機(jī)誤差項(xiàng)l概念 各個(gè)Yi值與條件均值E(YXi)的偏差i代表排除在模型以外的所有因素對(duì)Y的影響l性質(zhì) i是期望為0，有一定分布的隨機(jī)變量 隨機(jī)誤差項(xiàng)的性質(zhì)決定著計(jì)量經(jīng)濟(jì)方法的選擇。XiYi圖2.3E(Y|Xi)管理科學(xué)與工程學(xué)院 鄭麗琳產(chǎn)生隨機(jī)誤差的原因產(chǎn)生隨機(jī)誤差的原因l1.未知的影響因素l2.被忽略眾多細(xì)小的影響因素。l3.缺乏數(shù)據(jù)的影響因素l4.經(jīng)濟(jì)現(xiàn)象的內(nèi)在隨機(jī)性。l5.模型函數(shù)形式的設(shè)定誤差。l6.數(shù)據(jù)的測(cè)量與歸并誤差。l7.隨機(jī)因素的影響（如自然災(zāi)害等）管理科學(xué)與工程學(xué)院 鄭麗琳樣本回歸函數(shù)（樣本回

17、歸函數(shù)（SRF）l樣本回歸線： 對(duì)于X的一定值，取得Y的樣本觀測(cè)值，可計(jì)算其條件均值，樣本觀測(cè)值條件均值的軌跡，稱為樣本回歸線。l樣本回歸函數(shù)： 如果把被解釋變量Y的樣本條件均值表示為解釋變量X的某種函數(shù)，這個(gè)函數(shù)稱為樣本回歸函數(shù)（SRF）xiY圖2.4管理科學(xué)與工程學(xué)院 鄭麗琳樣本回歸函數(shù)的表現(xiàn)形式樣本回歸函數(shù)的表現(xiàn)形式條件均值表現(xiàn)形式: 樣本回歸函數(shù)如果為線性函數(shù)，則表示為其中， 是與 相對(duì)應(yīng)的Y的樣本條件均值 和 分別是樣本回歸函數(shù)的參數(shù)個(gè)別值表現(xiàn)形式（隨機(jī)設(shè)定形式）: 被解釋變量Y的實(shí)際觀測(cè)值 不完全等于樣本條件均值，二者之差用 表示， 稱為剩余項(xiàng)或殘差項(xiàng)：或者iiXY2112iYiX

18、iiiYYeiiieXY21iYieie管理科學(xué)與工程學(xué)院 鄭麗琳對(duì)樣本回歸的理解對(duì)樣本回歸的理解如果能夠獲得 和 的數(shù)值，顯然：l 和 是對(duì)總體回歸函數(shù)參數(shù) 和 的估計(jì)l 是對(duì)總體條件期望E(YXi)的估計(jì)l 在概念上類似總體回歸函數(shù)中的 ，可以視為對(duì) 的估計(jì)iiieXY211212iY12ieiiXiYie圖2.4iY管理科學(xué)與工程學(xué)院 鄭麗琳樣本回歸函數(shù)的特點(diǎn)樣本回歸函數(shù)的特點(diǎn)l每次抽樣都能獲得一個(gè)樣本，就可以擬合一條樣本回歸線，所以樣本回歸線隨抽樣波動(dòng)而變化，可以有很多條（SRF不唯一）l樣本回歸函數(shù)的函數(shù)形式應(yīng)與設(shè)定的總體回歸函數(shù)的函數(shù)形式一致l樣本回歸線還不是總體回歸線，至多只是未

19、知總體回歸線的近似表現(xiàn)。管理科學(xué)與工程學(xué)院 鄭麗琳樣本回歸函數(shù)與總體回歸函數(shù)的關(guān)系樣本回歸函數(shù)與總體回歸函數(shù)的關(guān)系ieiiYXXiPRFSRFiYYE(YXi)圖2.5管理科學(xué)與工程學(xué)院 鄭麗琳總體回歸模型總體回歸模型iiiiiXXYEY10總體回歸函數(shù)總體回歸函數(shù)(直線直線)iiXXYE10樣本回歸模型樣本回歸模型iiieXY10樣本回歸函數(shù)樣本回歸函數(shù)(直線直線)iiXY10殘差殘差系統(tǒng)變系統(tǒng)變化部分化部分非系統(tǒng)非系統(tǒng)變化部分變化部分管理科學(xué)與工程學(xué)院 鄭麗琳對(duì)線性回歸模型線性的兩種解釋對(duì)線性回歸模型線性的兩種解釋l對(duì)變量而言是線性的Y的條件均值是X的線性函數(shù)l對(duì)參數(shù)而言是線性的Y的條件均

20、值是的線性函數(shù) 例子l計(jì)量經(jīng)濟(jì)學(xué)中的線性回歸模型主要指參數(shù)“線性”管理科學(xué)與工程學(xué)院 鄭麗琳回歸分析的目的回歸分析的目的l用樣本回歸函數(shù)去估計(jì)總體回歸函數(shù)l由于樣本對(duì)總體總是存在代表性誤差，SRF總會(huì)過(guò)高或過(guò)低估計(jì)PRF。 要解決的問(wèn)題l尋求一種規(guī)則和方法，使得到的SRF的參數(shù)盡可能接近總體回歸函數(shù)的參數(shù)。這樣的規(guī)則和方法有很多，最常用的就是最小二乘法。管理科學(xué)與工程學(xué)院 鄭麗琳二、古典回歸模型的基本假定二、古典回歸模型的基本假定l為什么要作基本假定？ 模型中隨機(jī)誤差項(xiàng)，估計(jì)的參數(shù)是隨機(jī)變量，只有對(duì)隨機(jī)誤差的分布作出假定，才能確定所估計(jì)的參數(shù)分布性質(zhì)，也才可能進(jìn)行假設(shè)檢驗(yàn)和區(qū)間估計(jì) (進(jìn)行統(tǒng)計(jì)

21、檢驗(yàn)、計(jì)量經(jīng)濟(jì)檢驗(yàn)的前提) 。 只有具備一定的假設(shè)條件，所作出的估計(jì)才具有較好的統(tǒng)計(jì)性質(zhì)。管理科學(xué)與工程學(xué)院 鄭麗琳書上提供的六大假定書上提供的六大假定l可分為兩部分:一是關(guān)于變量和模型的假定,包括: 1.假定解釋變量X是非隨機(jī)變量,在重復(fù)試驗(yàn)中X是可控的、固定的； 2.假定模型中的變量沒(méi)有測(cè)量誤差； 3.假定模型對(duì)變量和函數(shù)形式的設(shè)定是正確的； 4.假定無(wú)多重共線性。管理科學(xué)與工程學(xué)院 鄭麗琳零均值假定同方差假定解釋變量與 隨機(jī)誤差項(xiàng)不相關(guān)假定非自相關(guān)性假定補(bǔ)充：延伸到y(tǒng)iiiXXYE10|iXYii正態(tài)性假定2|iiXYVar0,jiYYCov210,iiXNY二是對(duì)隨機(jī)誤差項(xiàng)i的統(tǒng)計(jì)分布

22、的假定，包括：信息工程學(xué)院 鄭麗琳一、最小二乘估計(jì)（一、最小二乘估計(jì)（OLS）選擇最佳擬合曲線的標(biāo)準(zhǔn) 從幾何意義上說(shuō)，樣本回歸曲線應(yīng)盡可能靠近樣本數(shù)據(jù)點(diǎn)。 選擇最佳擬合曲線的標(biāo)準(zhǔn)可以確定為：使總的擬合誤差（即總殘差）達(dá)到最小。 ieiYXXiSRFiYYE(YXi)管理科學(xué)與工程學(xué)院 鄭麗琳OLS的基本思路的基本思路l不同的估計(jì)方法可得到不同的樣本回歸參數(shù) 和 ，所估計(jì)的 也不同。 l理想的估計(jì)方法應(yīng)使 和 的差即殘差 越小越好。l因?yàn)?可正可負(fù)，所以可以取 最小， （選擇平方的原因：介紹）即： ie21iYieiYiY2iemin22122iiiiiXYYYeQ用最小二乘法描述就是：所選擇的

23、回歸模型應(yīng)該使所有觀察值的殘差平方和達(dá)到最小。管理科學(xué)與工程學(xué)院 鄭麗琳估計(jì)過(guò)程估計(jì)過(guò)程 在離差平方和的表達(dá)式中，被解釋變量 的觀測(cè)值和解釋變量 都是已知的，因此可以將看作是未知參數(shù) 的函數(shù)。計(jì)算此函數(shù)對(duì)的一階偏導(dǎo)數(shù)，可得： iYiX0202212211iiiiiXXYQXYQ21,管理科學(xué)與工程學(xué)院 鄭麗琳l(shuí)得到：此方程組為正規(guī)方程組，解此方程組得：其中，22121iiiiiiXXYXXnYXXXYiiiSSXnXYXnYXXY22221iiXnXYnY1,12,XXSYYXXSiXXiiXY 【例例1 1】 我國(guó)稅收預(yù)測(cè)模型。表2-3列出了我國(guó)19851998年期間稅收收入Y和國(guó)內(nèi)生產(chǎn)總值

24、X的統(tǒng)計(jì)資料（時(shí)間序列數(shù)據(jù)），試?yán)肊Views軟件建立一元線性回歸模型。 OLSOLS應(yīng)用舉例及應(yīng)用舉例及EviewsEviews實(shí)現(xiàn)實(shí)現(xiàn) 表表2-3 2-3 我國(guó)稅收與我國(guó)稅收與GDPGDP統(tǒng)計(jì)資料統(tǒng)計(jì)資料 單位：億元 年份年份稅收稅收Y YGDPGDP年份年份稅收稅收Y YGDPGDP1985198520418964199219923297266381986198620911020219931993425534634198719872140119631994199451274675919881988239114928199519956038584781989198927271690919

25、96199669106788519901990282218548199719978234744631991199129902161819981998926379396（1 1）建立工作文件）建立工作文件 啟動(dòng)EViews, 點(diǎn)擊FileNewWorkfile，彈出工作文件對(duì)話框（圖2-3），選擇數(shù)據(jù)的時(shí)間頻率、起始期和終止期。 時(shí)間頻率時(shí)間頻率年度年度半年半年季度季度月度月度周周日日非時(shí)序數(shù)據(jù)非時(shí)序數(shù)據(jù)起始期起始期終止期終止期 命令方式：在EViews命令窗口中鍵入 CREATE 時(shí)間頻率類型起始期終止期例如：CREATE A 85 98 （2 2）輸入統(tǒng)計(jì)資料：）輸入統(tǒng)計(jì)資料： 在命令窗口鍵

26、入數(shù)據(jù)輸入/編輯命令 DATA Y X 將顯示數(shù)組窗口（圖2-4），此時(shí)可以按全屏幕編輯方式輸入每個(gè)變量的統(tǒng)計(jì)資料。（3 3）估計(jì)回歸模型：）估計(jì)回歸模型： 數(shù) 組 窗 口 中點(diǎn)擊ProcsMake equation，定義方程，點(diǎn)擊OK，則彈出有關(guān)估計(jì)結(jié)果（右圖）。模型的估計(jì)式為：xy0946. 054.987常數(shù)和解常數(shù)和解釋變量釋變量參數(shù)標(biāo)參數(shù)標(biāo)準(zhǔn)差準(zhǔn)差T統(tǒng)計(jì)統(tǒng)計(jì)量值量值雙側(cè)雙側(cè)概率概率判定系數(shù)判定系數(shù)調(diào)整的判定系數(shù)調(diào)整的判定系數(shù)回歸方程的標(biāo)準(zhǔn)差回歸方程的標(biāo)準(zhǔn)差殘差平方和殘差平方和似然函數(shù)的對(duì)數(shù)似然函數(shù)的對(duì)數(shù)德賓德賓-瓦森統(tǒng)計(jì)量瓦森統(tǒng)計(jì)量被解釋變量均值被解釋變量均值被解釋變量標(biāo)準(zhǔn)差被解釋變

27、量標(biāo)準(zhǔn)差赤池信息準(zhǔn)則赤池信息準(zhǔn)則施瓦茲信息準(zhǔn)則施瓦茲信息準(zhǔn)則F統(tǒng)計(jì)量統(tǒng)計(jì)量F統(tǒng)計(jì)量的概率統(tǒng)計(jì)量的概率參數(shù)估參數(shù)估計(jì)值計(jì)值 命令方式，鍵入：LS 被解釋變量 C 解釋變量 例如：LS Y C X 【例例2 2】中國(guó)城鎮(zhèn)居民消費(fèi)函數(shù)。表2-5列出了我國(guó)城鎮(zhèn)居民家庭1998年平均每人全年消費(fèi)性支出Y和可支配收入X的統(tǒng)計(jì)資料（橫截面數(shù)據(jù)，單位：元/年），試?yán)肊Views軟件，通過(guò)在命令窗口中直接鍵入命令的方式建立城鎮(zhèn)居民消費(fèi)函數(shù)。表表2-5 2-5 我國(guó)城鎮(zhèn)居民家庭我國(guó)城鎮(zhèn)居民家庭19981998年收支情況年收支情況 收入等級(jí)收入等級(jí)人均消費(fèi)支出人均消費(fèi)支出Y Y人均可支配收入人均可支配收入X X困

28、難戶困難戶2214.472198.88最低收入戶最低收入戶2397.62476.75低收入戶低收入戶2979.273303.17中等偏下戶中等偏下戶3503.244107.26中等收入戶中等收入戶4179.645118.99中等偏上戶中等偏上戶4980.886370.59高收入戶高收入戶6003.217877.69最高收入戶最高收入戶7593.9510962.16依次鍵入：建立工作文件： CREATE U 8 輸入統(tǒng)計(jì)資料： DATA Y X估計(jì)回歸模型： LS Y C X模型結(jié)果為： xy6237. 071.924管理科學(xué)與工程學(xué)院 鄭麗琳二、最小二乘估計(jì)的性質(zhì)二、最小二乘估計(jì)的性質(zhì)l當(dāng)估計(jì)

29、出模型參數(shù)后,需考慮參數(shù)估計(jì)值的精度，即是否能代表參數(shù)的真值.一般由于抽樣波動(dòng)的存在,以及所選估計(jì)方法的不同,都會(huì)使估計(jì)的參數(shù)與總體參數(shù)的真值有差距,因此考察參數(shù)估計(jì)量的統(tǒng)計(jì)性質(zhì)就成了衡量該估計(jì)量”好壞”的主要標(biāo)準(zhǔn).管理科學(xué)與工程學(xué)院 鄭麗琳參數(shù)估計(jì)式的評(píng)價(jià)標(biāo)準(zhǔn)參數(shù)估計(jì)式的評(píng)價(jià)標(biāo)準(zhǔn)無(wú)偏性前提：重復(fù)抽樣中估計(jì)方法固定、樣本容量不變、經(jīng)重復(fù)抽樣的觀測(cè)值，可得一系列參數(shù)估計(jì)值。參數(shù)估計(jì)值 的分布稱為 的抽樣分布，其密度函數(shù)記為f( ) 如果 E( )=稱 是參數(shù) 的無(wú)偏估計(jì)式， 是另一種方式產(chǎn)生的模型參數(shù)的估計(jì)量，抽樣分布為 ，若 的期望不是等于 的真實(shí)值，則稱 是 有偏的，偏倚為 E( )- ，見

30、下圖f管理科學(xué)與工程學(xué)院 鄭麗琳的估計(jì)值 ff概率密度E偏倚圖2.6管理科學(xué)與工程學(xué)院 鄭麗琳最小方差性（有效性）最小方差性（有效性）前提：樣本相同、用不同的方法估計(jì)參數(shù)，可以找到若干個(gè)不同的估計(jì)式。目標(biāo)：努力尋求其抽樣分布具有最小方差的估計(jì)式最小方差準(zhǔn)則，或稱最佳性準(zhǔn)則。見下圖 有效性衡量了參數(shù)估計(jì)值與參數(shù)真值平均離散程度的大小。 既是無(wú)偏的同時(shí)又具有最小方差的估計(jì)式，稱為最佳無(wú)偏估計(jì)式。管理科學(xué)與工程學(xué)院 鄭麗琳的估計(jì)值 ff概率密度圖2.7一個(gè)估計(jì)式若不僅具有無(wú)偏性還具有最小方差性時(shí),稱這個(gè)估計(jì)式為有效估計(jì)式.無(wú)偏估計(jì)式可能有多個(gè)，但在所有無(wú)偏估計(jì)式中,只有方差最小的最佳無(wú)偏估計(jì)式才是有

31、效估計(jì)式.管理科學(xué)與工程學(xué)院 鄭麗琳一致性一致性思想：當(dāng)樣本容量較小時(shí)，有時(shí)很難找到最佳無(wú)偏估計(jì)，需要考慮擴(kuò)大樣本容量（估計(jì)方法不變，樣本數(shù)逐步擴(kuò)大，分析性質(zhì)是否改善）一致性：當(dāng)樣本容量n趨于無(wú)窮大時(shí)，如果估計(jì)式 按概率收斂于總體參數(shù)的真實(shí)值，就稱這個(gè)估計(jì)式 是 的一致估計(jì)式。 limP( - )1漸進(jìn)無(wú)偏估計(jì)式是當(dāng)樣本容量變得足夠大時(shí)，其偏倚趨于零的估計(jì)式。見下圖管理科學(xué)與工程學(xué)院 鄭麗琳的估計(jì)值 100f概率密度 80f 60f 40f管理科學(xué)與工程學(xué)院 鄭麗琳高斯馬爾可夫定理高斯馬爾可夫定理l由OLS估計(jì)式可以看出， 可以用觀測(cè)樣本 和 唯一表示。l因?yàn)榇嬖跇颖境闃硬▌?dòng)，OLS估計(jì)的 是

32、隨機(jī)變量。lOLS估計(jì)式是點(diǎn)估計(jì)式。l在古典回歸模型的若干假定成立的情況下，最小二乘估計(jì)是所有線性無(wú)偏估計(jì)量中的有效估計(jì)量。稱OLS估計(jì)為“最佳線性無(wú)偏估計(jì)量”。XY管理科學(xué)與工程學(xué)院 鄭麗琳線性特征;無(wú)偏性;最小方差性一致性結(jié)論：OLS估計(jì)式是BLUE。 全部估計(jì)量 線性無(wú)偏估計(jì)量 BLUE估計(jì)量管理科學(xué)與工程學(xué)院 鄭麗琳61 多元總體回歸函數(shù)多元總體回歸函數(shù) 條件期望表現(xiàn)形式：條件期望表現(xiàn)形式：將將Y Y的總體條件期望表示為多個(gè)解釋變量的函數(shù)，如的總體條件期望表示為多個(gè)解釋變量的函數(shù)，如: :注意：這時(shí)注意：這時(shí)Y總體條件期望的軌跡是總體條件期望的軌跡是K維空間的一條線維空間的一條線個(gè)別值

33、表現(xiàn)形式：個(gè)別值表現(xiàn)形式：引入隨機(jī)擾動(dòng)項(xiàng)引入隨機(jī)擾動(dòng)項(xiàng)或表示為或表示為 kikiikiiiiXXXXXXYE3322132),(ikikiiiuXXXY33221(1,2,)in(1,2,)in23(,)iiiiikiuYE Y XXX管理科學(xué)與工程學(xué)院 鄭麗琳62 多元樣本回歸函數(shù)多元樣本回歸函數(shù) Y 的樣本條件均值可表示為多個(gè)解釋變量的函數(shù)的樣本條件均值可表示為多個(gè)解釋變量的函數(shù) 或回歸剩余（殘差）：或回歸剩余（殘差）： 其中其中 iiieYY12323ikiikiYXXX12323kiiikiiYXXXe1,2,in管理科學(xué)與工程學(xué)院 鄭麗琳63多個(gè)解釋變量的多元線性回歸模型的多個(gè)解釋變

34、量的多元線性回歸模型的n組樣本觀測(cè)值，可組樣本觀測(cè)值，可表示為表示為 用矩陣表示用矩陣表示 1131321211uXXXYkk2232322212uXXXYkknknknnnuXXXY33221nkknnkknuuuXXXXXXYYY21212222121211111n1n1kknXYu63管理科學(xué)與工程學(xué)院 鄭麗琳64總體回歸函數(shù)總體回歸函數(shù) 或或樣本回歸函數(shù)樣本回歸函數(shù) 或或 其中：其中： 都是有都是有n個(gè)元素的列向量個(gè)元素的列向量 是有是有k 個(gè)個(gè) 元素的列向量元素的列向量 （ k = 解釋變量個(gè)數(shù)解釋變量個(gè)數(shù) + 1 ） 是第一列為是第一列為1的的nk階解釋變量階解釋變量數(shù)據(jù)矩陣數(shù)據(jù)矩

35、陣 ， (截距項(xiàng)可視為解釋變量總是取值為截距項(xiàng)可視為解釋變量總是取值為1) ,Y = X+ u(E Y)= XY,Y,u,e矩陣表示方式Y(jié) = XY = X+eX管理科學(xué)與工程學(xué)院 鄭麗琳65 假定假定1：零均值假定零均值假定 （ i=1，2，-n） 或 E（u）=0 假定假定2和假定和假定3：同方差和無(wú)自相關(guān)假定同方差和無(wú)自相關(guān)假定： 或用方差或用方差-協(xié)方差矩陣表示為協(xié)方差矩陣表示為: 0)(iuE)()(),(jijjiijiuuEEuuEuuEuuCov2（i=j）(ij)01 1121212222212()()()100()()()010()()()001nnnnnnE u uE u

36、 uE u uE u uE u uE u uE u uE u uE u uI( ,)( )()()ijiijjCov u uE uE uuE uEuu(1,2,1,2,)injn管理科學(xué)與工程學(xué)院 鄭麗琳假定假定5: 無(wú)多重共線性假定無(wú)多重共線性假定 (多元中增加的多元中增加的) 假定各解釋變量之間不存在線性關(guān)系，或各個(gè)解假定各解釋變量之間不存在線性關(guān)系，或各個(gè)解釋變量觀測(cè)值之間線性無(wú)關(guān)。或解釋變量觀測(cè)值釋變量觀測(cè)值之間線性無(wú)關(guān)。或解釋變量觀測(cè)值 矩陣矩陣X的秩為的秩為K(注意注意X為為n行K列列)。 Ran(X)= k Rak(XX)=k 即即 (XX) 可逆可逆 假定假定6:正態(tài)性假定正態(tài)

37、性假定), 0(2Nui2( ,)Nu0I66假定假定4：隨機(jī)擾動(dòng)項(xiàng)與解釋變量不相關(guān)隨機(jī)擾動(dòng)項(xiàng)與解釋變量不相關(guān)(,)0(2,3, )jiiCov Xujk管理科學(xué)與工程學(xué)院 鄭麗琳普通最小二乘法普通最小二乘法（OLSOLS）原則：原則：尋求尋求剩余平方和最小的參數(shù)估計(jì)式剩余平方和最小的參數(shù)估計(jì)式 即求偏導(dǎo)，并令其為0 其中即 2212323min:()kiiiikieYXXX2()0ije122332()0iiikikiYXXX122233()20iiikikiiYXXXX12233(20)iiikikkiiYXXXX22min:()iiieYY20iiX e 0ikiX e 0ie 672m

38、in:min:min:() ()iee eY-XY-X(1,2,)in(1,2,)jn管理科學(xué)與工程學(xué)院 鄭麗琳68 用矩陣表示的正規(guī)方程偏導(dǎo)數(shù)偏導(dǎo)數(shù)因?yàn)闃颖净貧w函數(shù)為因?yàn)闃颖净貧w函數(shù)為 兩邊左乘兩邊左乘根據(jù)最小二乘原則根據(jù)最小二乘原則則正規(guī)方程為則正規(guī)方程為X X = X Y0001112121222212eXnknkknikiiiieeeXXXXXXeXeXeYXe=+X Y = X X+ X eXX e = 0Xe0管理科學(xué)與工程學(xué)院 鄭麗琳69 OLS OLS估計(jì)式估計(jì)式 由正規(guī)方程由正規(guī)方程 多元回歸的多元回歸的OLS估計(jì)量為估計(jì)量為當(dāng)只有兩個(gè)解釋變量時(shí)為：當(dāng)只有兩個(gè)解釋變量時(shí)為：注

39、意：注意： 為為X、Y的離差的離差23123YXX22332322222323()()()()()()()iiiiiiiiiiiy xxy xx xxxx x23222332222323()()()()()()()iiiiiiiiiiiy xxy xx xxxx xX X = X Y(),k k是滿秩矩陣 其逆存在X Xx、y-1 = (X X) X Y對(duì)比對(duì)比簡(jiǎn)單線性回歸中簡(jiǎn)單線性回歸中12YX22iiix yx管理科學(xué)與工程學(xué)院 鄭麗琳70 回歸線通過(guò)樣本均值回歸線通過(guò)樣本均值 估計(jì)值估計(jì)值 的均值等于實(shí)際觀測(cè)值的均值等于實(shí)際觀測(cè)值 的均值的均值 剩余項(xiàng)剩余項(xiàng) 的均值為零的均值為零 被解釋

40、變量估計(jì)值被解釋變量估計(jì)值 與剩余項(xiàng)與剩余項(xiàng) 不相關(guān)不相關(guān) 解釋變量解釋變量 與剩余項(xiàng)與剩余項(xiàng) 不相關(guān)不相關(guān) （j=1,2,-k）23123kkYXXXiYiYie0neeiiiYie(,)0iiCov Y e()0iie yieiX0),(ijieXCov或iYnY70管理科學(xué)與工程學(xué)院 鄭麗琳71 1、 線性線性特征 是是Y的線性函數(shù)，因的線性函數(shù)，因 是非隨機(jī)或取固是非隨機(jī)或取固定值的矩陣定值的矩陣 2、 無(wú)偏無(wú)偏特性 3、 最小方差最小方差特性 在在 所有的線性無(wú)偏估計(jì)中，所有的線性無(wú)偏估計(jì)中，OLS估計(jì)估計(jì) 具有最小方差具有最小方差 結(jié)論：結(jié)論：在古典假定下，多元線性回歸的在古典假定

41、下，多元線性回歸的 OLS估估 計(jì)式是最佳線性無(wú)偏估計(jì)式（計(jì)式是最佳線性無(wú)偏估計(jì)式（BLUE）()KKEKK-1(X X) X-1 = (X X) X Y（一）OLS估計(jì)的概率分布 則bbE)(xxSbD/)(2由于 )(iiiiibxakykb假定 ),0(2Ni四、系數(shù)的估計(jì)誤差與置信區(qū)間四、系數(shù)的估計(jì)誤差與置信區(qū)間)/,(2xxSbNb)/,(222xxinSxaNa（二）系數(shù)的估計(jì)誤差 2)(bbE平均誤差（平方） = = 其中，i的方差2采用無(wú)偏估計(jì)量： 參數(shù)估計(jì)量的平均誤差為： 2)(bEbExxSbD2)(xxSbDbbE22)()( 來(lái)估計(jì)2 222nei并且用符號(hào) 表示系數(shù)b

42、的估計(jì)誤差： )(bs同理 的估計(jì)誤差為： ,也稱系數(shù)的標(biāo)準(zhǔn)誤差（標(biāo)準(zhǔn)差）。 xxixxSneSbs)2()(22xxiiSnnxeas)2()() (22) (as)(bs) (as(三)系數(shù)的置信區(qū)間 可以證明，統(tǒng)計(jì)量 所以，對(duì)于給定的置信度1-，由t分布表可以查得臨界值t/2，使得：P(|t|t/2)=1-, 即： )2()(ntbSbbt1)()(2/2/bStbbbStbP所以系數(shù)b的100(1-)%置信區(qū)間為: )(),(2/2/bStbbStb 對(duì)于多元線性回歸模型，若記 可以證明： 1X)X(C 2iiicbD 其中，cii為矩陣C對(duì)角線上的第i個(gè)元素，2的無(wú)偏估計(jì)量為： )

43、1() 1(22kneeknei系數(shù)估計(jì)值的標(biāo)準(zhǔn)差為: 1)(22kneccbsiiiiii同理，統(tǒng)計(jì)量 )1()(kntbSbbtiii回歸系數(shù)bi的100(1-)%置信區(qū)間為： )(),(2/2/iiiibStbbStb管理科學(xué)與工程學(xué)院 鄭麗琳第二節(jié)第二節(jié) 經(jīng)典回歸模型的經(jīng)典回歸模型的統(tǒng)計(jì)檢驗(yàn)統(tǒng)計(jì)檢驗(yàn) 管理科學(xué)與工程學(xué)院 鄭麗琳l(shuí)對(duì)于樣本回歸模型擬合總體模型，我們通常要進(jìn)行經(jīng)濟(jì)檢驗(yàn)、統(tǒng)計(jì)檢驗(yàn)、計(jì)量檢驗(yàn)等。l統(tǒng)計(jì)檢驗(yàn)則是在一定概率下求出參數(shù)，檢驗(yàn)樣本對(duì)總體的代表性、影響關(guān)系是否顯著等問(wèn)題。主要通過(guò)一些統(tǒng)計(jì)檢驗(yàn)方法來(lái)保證模型在統(tǒng)計(jì)意義上（即以樣本推斷總體）的可靠性。l我們所要進(jìn)行的統(tǒng)計(jì)檢驗(yàn)包

44、括兩方面，一方面檢驗(yàn)回歸方程對(duì)樣本數(shù)據(jù)的擬合程度，通過(guò)可決系數(shù)；另一方面檢驗(yàn)回歸方程的顯著性，通過(guò)假設(shè)檢驗(yàn)對(duì)模型中被解釋變量與解釋變量之間的線性關(guān)系在總體上是否顯著成立作出判斷，包括對(duì)回歸方程線性關(guān)系的檢驗(yàn)和對(duì)回歸系數(shù)顯著性的檢驗(yàn)。管理科學(xué)與工程學(xué)院 鄭麗琳一、模型的擬合優(yōu)度檢驗(yàn)一、模型的擬合優(yōu)度檢驗(yàn)所謂擬合優(yōu)度，即模型對(duì)樣本數(shù)據(jù)的近似程度。由于實(shí)際觀察得到的樣本數(shù)據(jù)是對(duì)客觀事實(shí)的一種真實(shí)反映，因此，模型至少應(yīng)該能較好的描述這一部分客觀實(shí)際情況。為了考察模型的擬合優(yōu)度，需要構(gòu)造一個(gè)指標(biāo)判定系數(shù)（可決系數(shù)）。認(rèn)識(shí)判定系數(shù)之前讓我們回顧一下關(guān)于樣本與總體回歸函數(shù)，了解總離差分解。管理科學(xué)與工程學(xué)院

45、 鄭麗琳總變差的分解總變差的分解ikikiiiexxxy22110 iiiiyyyyyy0yyi222iiiiyyyyyy設(shè)估計(jì)的多元線性回歸模型為：分析Y的觀測(cè)值、估計(jì)值和平均值的關(guān)系因?yàn)?，將上式兩邊平方加總，可證得yyiyyiiiiyyeyixySRFiyx管理科學(xué)與工程學(xué)院 鄭麗琳 TSS TSS為總體平方和為總體平方和（Total Sum of SquaresTotal Sum of Squares），反映，反映樣本觀測(cè)值總體離差的大?。粯颖居^測(cè)值總體離差的大?。籈SSESS為回歸平方和為回歸平方和（Explained Sum of SquaresExplained Sum of Sq

46、uares），來(lái)自回歸線，來(lái)自回歸線, ,反映反映由模型中解釋變量所解釋的那部分離差的大?。挥赡Ｐ椭薪忉屪兞克忉尩哪遣糠蛛x差的大?。籖SSRSS為殘差平方和為殘差平方和（Residual Sum of SquaresResidual Sum of Squares），來(lái)自，來(lái)自隨機(jī)勢(shì)力隨機(jī)勢(shì)力, ,反映樣本觀測(cè)值與估計(jì)值偏離的大小，也反映樣本觀測(cè)值與估計(jì)值偏離的大小，也是模型中解釋變量未解釋的那部分離差的大小。是模型中解釋變量未解釋的那部分離差的大小。 TSS=RSS+ESS 222)()()(iiiiyyRSSyyESSyyTSS管理科學(xué)與工程學(xué)院 鄭麗琳疑問(wèn)疑問(wèn)l既然RSS反映樣本觀測(cè)值與

47、估計(jì)值偏離的大小,是否可以直接用它作為擬合優(yōu)度檢驗(yàn)的統(tǒng)計(jì)量?l一個(gè)普遍的回答:作為檢驗(yàn)統(tǒng)計(jì)量的一般應(yīng)該是相對(duì)量,而不用絕對(duì)量.因?yàn)榻^對(duì)量作為檢驗(yàn)統(tǒng)計(jì)量,無(wú)法設(shè)置標(biāo)準(zhǔn).在這里,RSS與樣本容量關(guān)系很大,但n比較小時(shí),RSS的值也比較小,但并不代表模型的擬合優(yōu)度就好.管理科學(xué)與工程學(xué)院 鄭麗琳 2、擬合優(yōu)度檢驗(yàn)統(tǒng)計(jì)量：判定系數(shù)(可決系數(shù))R2和校正可決系數(shù)2R102 R管理科學(xué)與工程學(xué)院 鄭麗琳判定系數(shù)不僅反映了模型擬合程度的優(yōu)劣，而且有直觀的經(jīng)濟(jì)含義：它定量地描述了y的變化中可以用回歸模型來(lái)說(shuō)明的部分，即在被解釋變量的變動(dòng)中，由模型中解釋變量所引起的比例。見前一節(jié)例題，解釋意義判定系數(shù)的特點(diǎn)：判

48、定系數(shù)取值范圍0，1。隨抽樣波動(dòng)，樣本判定系數(shù)是隨抽樣而變動(dòng)的隨機(jī)變量。判定系數(shù)是非負(fù)的統(tǒng)計(jì)量。管理科學(xué)與工程學(xué)院 鄭麗琳判定系數(shù)與相關(guān)系數(shù)的關(guān)系判定系數(shù)與相關(guān)系數(shù)的關(guān)系聯(lián)系：聯(lián)系：數(shù)值上判定系數(shù)是相關(guān)系數(shù)的平方數(shù)值上判定系數(shù)是相關(guān)系數(shù)的平方。區(qū)別區(qū)別：前者就模型而言，后者就兩個(gè)變量而言。前者就模型而言，后者就兩個(gè)變量而言。前者說(shuō)明解釋變量對(duì)被解釋變量的解釋程度，后者說(shuō)前者說(shuō)明解釋變量對(duì)被解釋變量的解釋程度，后者說(shuō)明兩變量線性依存程度。明兩變量線性依存程度。前者度量的不對(duì)稱的因果關(guān)系，后者度量的不含因果前者度量的不對(duì)稱的因果關(guān)系，后者度量的不含因果關(guān)系的對(duì)稱相關(guān)關(guān)系。關(guān)系的對(duì)稱相關(guān)關(guān)系。前者取

49、值前者取值0,1非負(fù)，后者取值非負(fù)，后者取值-1,1，可正可負(fù)。，可正可負(fù)。管理科學(xué)與工程學(xué)院 鄭麗琳注意的問(wèn)題注意的問(wèn)題l判定系數(shù)只是說(shuō)明列入模型的判定系數(shù)只是說(shuō)明列入模型的所有所有解釋變量對(duì)被解解釋變量對(duì)被解釋變量的聯(lián)合的影響程度，不說(shuō)明模型中每個(gè)解釋釋變量的聯(lián)合的影響程度，不說(shuō)明模型中每個(gè)解釋變量的影響程度（在多元中）變量的影響程度（在多元中）l回歸的主要目的如果是經(jīng)濟(jì)結(jié)構(gòu)分析，不能只追求回歸的主要目的如果是經(jīng)濟(jì)結(jié)構(gòu)分析，不能只追求高的判定系數(shù)，而是要得到總體回歸系數(shù)可信的估高的判定系數(shù)，而是要得到總體回歸系數(shù)可信的估計(jì)量。計(jì)量。判定系數(shù)高并不一定每個(gè)回歸系數(shù)都可信。判定系數(shù)高并不一定每

50、個(gè)回歸系數(shù)都可信。l如果建模的目的只是為了預(yù)測(cè)被解釋變量值，不是如果建模的目的只是為了預(yù)測(cè)被解釋變量值，不是為了正確估計(jì)回歸系數(shù)，一般可考慮有較高的判定為了正確估計(jì)回歸系數(shù)，一般可考慮有較高的判定系數(shù)。系數(shù)。管理科學(xué)與工程學(xué)院 鄭麗琳判定判定管理科學(xué)與工程學(xué)院 鄭麗琳22RR2R可以為負(fù))1 () 1(111/1/122RknnnTSSknRSSR管理科學(xué)與工程學(xué)院 鄭麗琳補(bǔ)充：關(guān)于假設(shè)檢驗(yàn)(在進(jìn)行F/T統(tǒng)計(jì)檢驗(yàn)之前)l假設(shè)檢驗(yàn)是統(tǒng)計(jì)推斷的一個(gè)主要內(nèi)容，它的基本任務(wù)是根據(jù)樣本所假設(shè)檢驗(yàn)是統(tǒng)計(jì)推斷的一個(gè)主要內(nèi)容，它的基本任務(wù)是根據(jù)樣本所提供的信息，對(duì)未知總體分布的某些方面的假設(shè)作出合理的判斷。提

51、供的信息，對(duì)未知總體分布的某些方面的假設(shè)作出合理的判斷。l假設(shè)檢驗(yàn)的程序是，先根據(jù)實(shí)際問(wèn)題的要求提出一個(gè)論斷，稱為統(tǒng)假設(shè)檢驗(yàn)的程序是，先根據(jù)實(shí)際問(wèn)題的要求提出一個(gè)論斷，稱為統(tǒng)計(jì)假設(shè)；然后根據(jù)樣本的有關(guān)信息，對(duì)假設(shè)的真?zhèn)芜M(jìn)行判斷，作出計(jì)假設(shè)；然后根據(jù)樣本的有關(guān)信息，對(duì)假設(shè)的真?zhèn)芜M(jìn)行判斷，作出拒絕或接受假設(shè)的決策。拒絕或接受假設(shè)的決策。 l假設(shè)檢驗(yàn)的前提是知道所估計(jì)的樣本回歸系數(shù)概率分布性質(zhì)，即對(duì)假設(shè)檢驗(yàn)的前提是知道所估計(jì)的樣本回歸系數(shù)概率分布性質(zhì)，即對(duì)總體回歸系數(shù)某種原假設(shè)成立。總體回歸系數(shù)某種原假設(shè)成立。l假設(shè)檢驗(yàn)的基本思想是概率性質(zhì)的反證法。假設(shè)檢驗(yàn)的基本思想是概率性質(zhì)的反證法。l概率性質(zhì)的

52、反證法的根據(jù)是小概率事件原理，該原理認(rèn)為概率性質(zhì)的反證法的根據(jù)是小概率事件原理，該原理認(rèn)為“小概率小概率事件在一次試驗(yàn)中幾乎是不可能發(fā)生的事件在一次試驗(yàn)中幾乎是不可能發(fā)生的,如果該小概率事件竟然發(fā)如果該小概率事件竟然發(fā)生了，就認(rèn)為原假設(shè)不正確，而拒絕原假設(shè)，不拒絕備則假設(shè)生了，就認(rèn)為原假設(shè)不正確，而拒絕原假設(shè)，不拒絕備則假設(shè)”。 l下面講授的模型的顯著性檢驗(yàn)及解釋變量的顯著性檢驗(yàn)都基于此基下面講授的模型的顯著性檢驗(yàn)及解釋變量的顯著性檢驗(yàn)都基于此基礎(chǔ)。礎(chǔ)。 管理科學(xué)與工程學(xué)院 鄭麗琳二、模型的顯著性檢驗(yàn)二、模型的顯著性檢驗(yàn)所謂模型的顯著性檢驗(yàn)，就是檢驗(yàn)?zāi)Ｐ蛯?duì)總體的近似程度，而且最常用的檢驗(yàn)方法是

53、F檢驗(yàn)。1.F檢驗(yàn)的思想F F檢驗(yàn)的思想檢驗(yàn)的思想來(lái)自于總離差平方和的分解式： TSS=ESS+RSS由于回歸平方和ESS是解釋變量X聯(lián)合體對(duì)被解釋變量Y的線性作用的結(jié)果，所以，如果ESS/RSS的比值較大，則X的聯(lián)合體對(duì)Y的解釋程度高，可認(rèn)為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。因此因此,可通過(guò)該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷可通過(guò)該比值的大小對(duì)總體線性關(guān)系進(jìn)行推斷。管理科學(xué)與工程學(xué)院 鄭麗琳進(jìn)一步根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的定義，如果構(gòu)造一個(gè)統(tǒng)計(jì)量 FE S SkR S Snk()1則該統(tǒng)計(jì)量服從自由度為（k，n-k-1）的F分布。 由于iY服從正態(tài)分布，根據(jù)數(shù)理統(tǒng)計(jì)學(xué)中的定義，iY的一

54、組樣本的平方和服從c2分布。所以有： 2)(YYESSic2( )k 2)(iiYYRSSc21()nk即回歸平方和、殘差平方和分別服從自由度為k和()nk1的c2分布。管理科學(xué)與工程學(xué)院 鄭麗琳管理科學(xué)與工程學(xué)院 鄭麗琳 1/) 1(22knyykyyknRSSkESSFiii管理科學(xué)與工程學(xué)院 鄭麗琳見書例題管理科學(xué)與工程學(xué)院 鄭麗琳F檢驗(yàn)與檢驗(yàn)與R2的關(guān)系的關(guān)系l擬合優(yōu)度從已經(jīng)得到的模型出發(fā)，檢驗(yàn)它對(duì)樣本檢測(cè)值的擬合程度；F檢驗(yàn)是從樣本觀測(cè)值出發(fā)檢驗(yàn)?zāi)Ｐ涂傮w線形關(guān)系的顯著性。二者具有一定的相關(guān)性。l根據(jù)二者關(guān)系，有需注意的幾個(gè)問(wèn)題：F檢驗(yàn)實(shí)際上也是判定系數(shù)的顯著性檢驗(yàn)。如果模型對(duì)樣本有較

55、高的擬合優(yōu)度，F(xiàn)檢驗(yàn)一般都能通過(guò)。實(shí)際應(yīng)用中不必過(guò)分苛求R2 2值的大小，重要的是考察模型的經(jīng)濟(jì)意義是否合理。1/1/22knRkRF管理科學(xué)與工程學(xué)院 鄭麗琳三、解釋變量的顯著性檢驗(yàn)三、解釋變量的顯著性檢驗(yàn)l解釋變量顯著性檢驗(yàn)即解釋變量顯著性檢驗(yàn)即對(duì)回歸系數(shù)的顯著性進(jìn)行檢對(duì)回歸系數(shù)的顯著性進(jìn)行檢驗(yàn)驗(yàn)，如果變量是顯著的，那么回歸系數(shù)應(yīng)該顯著地，如果變量是顯著的，那么回歸系數(shù)應(yīng)該顯著地不為不為0。于是，在變量顯著性檢驗(yàn)中設(shè)計(jì)的原假設(shè)。于是，在變量顯著性檢驗(yàn)中設(shè)計(jì)的原假設(shè)為：為： H0： i=0而備擇假設(shè)為：而備擇假設(shè)為： H1: i 0 其中其中 的下角標(biāo)的下角標(biāo)i，在一元回歸模型中取值，在一元

56、回歸模型中取值1：在二元回歸模型中取值在二元回歸模型中取值1、2。管理科學(xué)與工程學(xué)院 鄭麗琳然后根據(jù)樣本觀測(cè)值和估計(jì)值，構(gòu)造計(jì)算統(tǒng)計(jì)量然后根據(jù)樣本觀測(cè)值和估計(jì)值，構(gòu)造計(jì)算統(tǒng)計(jì)量： iiiSt) 1( kntt管理科學(xué)與工程學(xué)院 鄭麗琳 ) 1(kntStiil若H0成立，則管理科學(xué)與工程學(xué)院 鄭麗琳管理科學(xué)與工程學(xué)院 鄭麗琳管理科學(xué)與工程學(xué)院 鄭麗琳用用P值判定參數(shù)的顯著性值判定參數(shù)的顯著性l假設(shè)檢驗(yàn)的假設(shè)檢驗(yàn)的p值值 p值是根據(jù)既定的樣本數(shù)據(jù)所計(jì)算的統(tǒng)計(jì)量，拒絕值是根據(jù)既定的樣本數(shù)據(jù)所計(jì)算的統(tǒng)計(jì)量，拒絕原假設(shè)的最小顯著性水平。原假設(shè)的最小顯著性水平。 統(tǒng)計(jì)軟件中（統(tǒng)計(jì)軟件中（EViews,S

57、PSS,SAS）通常都給出）通常都給出了檢驗(yàn)的了檢驗(yàn)的p值。值。方法：將給定的的顯著性水平方法：將給定的的顯著性水平 與與p值比較：值比較： 若若p= , 則在顯著性水平則在顯著性水平 下接受原假設(shè)下接受原假設(shè)H0，即，即認(rèn)為認(rèn)為X對(duì)對(duì)Y沒(méi)有顯著影響。沒(méi)有顯著影響。規(guī)則規(guī)則：當(dāng)當(dāng)p 時(shí)，時(shí)，p值越小，越能拒絕原假設(shè)值越小，越能拒絕原假設(shè)H0。管理科學(xué)與工程學(xué)院 鄭麗琳l(shuí)解釋變量顯著性檢驗(yàn)通不過(guò)原因可能在于：l 與 不存在線性相關(guān)關(guān)系；l 與 (ij)存在線性相關(guān)關(guān)系。 jxjxyixjx管理科學(xué)與工程學(xué)院 鄭麗琳關(guān)于顯著性水平的討論：關(guān)于顯著性水平的討論：l 值究竟應(yīng)取多少？l沒(méi)有絕對(duì)的顯著性

58、水平。關(guān)鍵仍然是考察變量在經(jīng)濟(jì)關(guān)系上是否對(duì)解釋變量有影響，顯著性檢驗(yàn)起到驗(yàn)證的作用；同時(shí)還要看顯著性水平不太高的變量在模型中及模型應(yīng)用中的作用，不要簡(jiǎn)單的剔除變量。管理科學(xué)與工程學(xué)院 鄭麗琳樣本容量問(wèn)題討論樣本容量問(wèn)題討論l樣本容量必須不少于模型中解釋變量的數(shù)目（包括常數(shù)項(xiàng)），這是最小樣本容量。l但從參數(shù)檢驗(yàn)的質(zhì)量考慮，一般經(jīng)驗(yàn)認(rèn)為：當(dāng)n30或者至少n3(k+1)時(shí)，才能說(shuō)滿足模型估計(jì)的基本要求。管理科學(xué)與工程學(xué)院 鄭麗琳四、隨機(jī)誤差項(xiàng)的正態(tài)性檢驗(yàn)四、隨機(jī)誤差項(xiàng)的正態(tài)性檢驗(yàn)JB檢驗(yàn)法檢驗(yàn)法 雅克貝拉檢驗(yàn)（Jarque-Bera test 是基于偏態(tài)和峰態(tài)的一種檢驗(yàn)方法。正態(tài)分布是對(duì)稱的，故偏態(tài)

59、S=0；正態(tài)分布的峰態(tài)為K=3 。3223)()(XEXES224)()(XEXEK服從正態(tài)分布:0HJB統(tǒng)計(jì)量在大樣本下近似服從 分布 2c24) 3(622KSnJB )2(2c管理科學(xué)與工程學(xué)院 鄭麗琳四、隨機(jī)誤差項(xiàng)的正態(tài)性檢驗(yàn)四、隨機(jī)誤差項(xiàng)的正態(tài)性檢驗(yàn)JB檢驗(yàn)法檢驗(yàn)法當(dāng) ，或者對(duì)應(yīng)p值很小時(shí)，拒絕 JB2c0H當(dāng) ，或者對(duì)應(yīng)p值很大時(shí)，接受 JB2c0He實(shí)際計(jì)算時(shí)，用估計(jì)出的殘差去替代上公式中的 EVIEWSEVIEWS實(shí)現(xiàn)實(shí)現(xiàn): :在方程窗口點(diǎn)擊在方程窗口點(diǎn)擊 View/Residual Test/Histogram-Normality TestView/Residual Test

60、/Histogram-Normality Test管理科學(xué)與工程學(xué)院 鄭麗琳第三節(jié)第三節(jié)經(jīng)典回歸模型建立和應(yīng)用經(jīng)典回歸模型建立和應(yīng)用注意的問(wèn)題注意的問(wèn)題管理科學(xué)與工程學(xué)院 鄭麗琳掌握利用回歸模型進(jìn)行邊際分析和彈性分析。掌握回歸模型優(yōu)劣比較的標(biāo)準(zhǔn)。掌握利用回歸模型進(jìn)行預(yù)測(cè)。 教學(xué)目的及要求教學(xué)目的及要求管理科學(xué)與工程學(xué)院 鄭麗琳1 1線性模型線性模型邊際分析邊際分析 ：在其他因素不變時(shí)，：在其他因素不變時(shí)，x xj j變動(dòng)一個(gè)單變動(dòng)一個(gè)單 位，位，y y將平均變動(dòng)將平均變動(dòng)b bj j個(gè)單位個(gè)單位一、利用回歸模型進(jìn)行分析一、利用回歸模型進(jìn)行分析ikikiiiXbXbXbbY22110管理科學(xué)與工