雙變量回歸分析ppt課件

1、經(jīng)濟(jì)類(lèi)核心課程計(jì)量經(jīng)濟(jì)學(xué)PowerPoint Presentation by Lu Shiguang 2012 All Right Reserved, Hunan Institute of Engineering第一章 雙變量回歸分析教師：盧光陰1. 回歸分析的性質(zhì)F.加爾頓Francis Galton發(fā)現(xiàn)，雖然有一個(gè)趨勢(shì)：父母高，兒女也高；父母矮，兒女也矮，但給定父母的身高，兒女輩的平均身高卻趨向于或者“回歸到全體人口的平均身高。K.皮爾遜Karl Pearson證明了加爾頓普遍回歸定律。皮爾遜搜集了1000多個(gè)家庭的身高記錄。他發(fā)現(xiàn)對(duì)于父輩高的群體，兒輩的平均身高低于他們的父輩，而對(duì)于父輩

2、矮的群體，兒輩的平均身高那么高于他們的父輩。用加爾頓的話來(lái)說(shuō)，就是“回歸到中等regression to mediocrity。1.2 回歸的現(xiàn)代定義回歸分析是關(guān)于研討一個(gè)應(yīng)變量對(duì)另一個(gè)解釋變量的依賴(lài)關(guān)系，其意圖在于經(jīng)過(guò)后者在反復(fù)抽樣中的知或設(shè)定值，去估計(jì)和或預(yù)測(cè)前者的總體均值?；氐郊訝栴D的例子：我們關(guān)懷給定父輩身高，找出兒輩平均身高的變化。值得留意的是，隨著父輩身高的添加，兒輩平均身高也在添加。 70 80父輩的身高英寸兒輩的身高英寸807060如左圖所示：留意對(duì)應(yīng)任一給定的父輩的身高，都有一個(gè)兒輩身高的分布范圍。我們勾畫(huà)了一條經(jīng)過(guò)這些散點(diǎn)的一條直線，以表示兒輩平均身高如何隨父輩身高的添加而

3、添加的。這條線我們稱(chēng)為回歸線regression line。1.3 統(tǒng)計(jì)關(guān)系和確定性關(guān)系如上例中，我們不像經(jīng)典物理學(xué)中思索的那種變量之間的函數(shù)或確定性依賴(lài)關(guān)系。在回歸分析中，我們思索的是一類(lèi)所謂統(tǒng)計(jì)依賴(lài)關(guān)系。在變量之間的統(tǒng)計(jì)關(guān)系中，我們主要處置是隨機(jī)變量，也就是有著概率分布的變量。例如，作物收成對(duì)氣溫、降水、陽(yáng)光及施肥的依賴(lài)關(guān)系是統(tǒng)計(jì)性質(zhì)的。這個(gè)性質(zhì)的意義在于：這些解釋變量固然重要，但是并不可以使農(nóng)業(yè)學(xué)家準(zhǔn)確地預(yù)測(cè)作物的收成。一那么這些變量的丈量是有誤差的，二那么還有一大堆影響到作物收成的變量，我們無(wú)法一一識(shí)別出來(lái)。1.4 回歸和因果關(guān)系雖然回歸分析是研討一個(gè)變量對(duì)另一些變量的依賴(lài)關(guān)系，但它并

4、不一定意味著因果關(guān)系。用肯達(dá)爾和斯圖亞特的話說(shuō)：“一個(gè)統(tǒng)計(jì)關(guān)系式，無(wú)論多強(qiáng)也不論多么有啟發(fā)性，卻永遠(yuǎn)不能確立因果方面的聯(lián)絡(luò)，對(duì)因果關(guān)系的理念，必需來(lái)自統(tǒng)計(jì)學(xué)以外，最終來(lái)自這種或那種實(shí)際。例如在諸多有趣的經(jīng)濟(jì)目的中有一個(gè)“裙子長(zhǎng)短指數(shù)。這個(gè)指數(shù)用女性穿著裙子的長(zhǎng)短來(lái)判別經(jīng)濟(jì)的好壞。當(dāng)經(jīng)濟(jì)不好時(shí)，失業(yè)率添加，女性就業(yè)更困難，短裙看起來(lái)能年輕、活力一些，有利于尋求新的職位。但是我們不能因此得到結(jié)論：在座的女生穿著短裙是由于經(jīng)濟(jì)不好，或者由于在座的女生穿著短裙所以中國(guó)的經(jīng)濟(jì)不好。從邏輯上說(shuō)，統(tǒng)計(jì)關(guān)系式本身不意味著任何因果關(guān)系。1.5 數(shù)據(jù)的性質(zhì)用于經(jīng)濟(jì)分析的數(shù)據(jù)有三類(lèi)：時(shí)間序列、橫截面數(shù)據(jù)、和混合數(shù)據(jù)

5、。時(shí)間序列：對(duì)一個(gè)變量在不同時(shí)期取值的一組觀測(cè)結(jié)果。例如隨著年份GDP的變換、上證綜合指數(shù)的每日變換等等?；跁r(shí)間序列數(shù)據(jù)的計(jì)量分析，大多假定所根據(jù)的時(shí)間序列數(shù)據(jù)是平穩(wěn)的stationary。粗略地來(lái)說(shuō)，假設(shè)一組時(shí)間序列數(shù)據(jù)，它們的均值和方差在時(shí)間上沒(méi)有系統(tǒng)的變化，就是平穩(wěn)的。要記?。好慨?dāng)他運(yùn)用時(shí)間序列數(shù)據(jù)時(shí)，他都要問(wèn)一問(wèn)它的平穩(wěn)性如何。橫截面數(shù)據(jù)：對(duì)一個(gè)或多個(gè)變量在同一個(gè)時(shí)點(diǎn)上搜集的數(shù)據(jù)。例如2019年9月份，全國(guó)主要30個(gè)省份的生豬的產(chǎn)量和價(jià)錢(qián)、全國(guó)每個(gè)高校2019屆大學(xué)生的就業(yè)率等等。橫截面數(shù)據(jù)也有其本身的問(wèn)題，特別是異方差heterogeneity的問(wèn)題。有的省湖南、江西消費(fèi)巨量的生豬

6、，而有的省北京和廣東消費(fèi)量很少。當(dāng)我們的統(tǒng)計(jì)分析中包含有相異的單元時(shí)，我們必需思索尺度效應(yīng)，以防止把蘋(píng)果和桔子混同了起來(lái)?；旌蠑?shù)據(jù)：兼有時(shí)間序列和橫截面數(shù)據(jù)。例如人口普查數(shù)據(jù)，從1980到2019年中國(guó)人口總量變化是時(shí)間序列，而2019年不同省市人口的分布那么是橫截面數(shù)據(jù)。2. 雙變量回歸分析2.1 一個(gè)例子假定一個(gè)國(guó)家人口總體由60戶家庭組成，X表示家庭周可支配收入，Y表示家庭周消費(fèi)支出。X,每周家庭收入（美元）Y，每周家庭消費(fèi)支出801001201401601802002202402605565798010211012013513715060708493107115136137145152

7、6574909511012014014015517570809410311613014415216517875859810811813514515717518088113125140160189185115191共計(jì)32546244570767875068510439661221將這60戶按照收入劃分為10組，分析每一組的家庭消費(fèi)支出。對(duì)應(yīng)每周收入在80美圓的5戶，每周家庭消費(fèi)支出在55到75美圓不等。上表中，每一縱列給出的是在給定的收入程度X下的消費(fèi)支出Y的分布。就是說(shuō)，它給出了以X為給定值條件下的Y的條件分布。散點(diǎn)圖根據(jù)表格的數(shù)據(jù)制成。如今，對(duì)于給定的X，例如X=80美圓，有5個(gè)Y值：55

8、、60、65、70和75美圓。因此給定X=80得到這些消費(fèi)支出中任何一個(gè)概率是1/5。用符號(hào)來(lái)表示：對(duì)于Y的每一條件概率分布，我們可以計(jì)算出來(lái)它的均值，稱(chēng)為條件均值或條件期望，記做E(Y|X=Xi)，并讀作“在X取特定Xi值時(shí)Y的期望值。給定X=80，Y的期望或條件均值為：51)80|55(XYp6551755170516551605155回到散點(diǎn)圖中，我們更清楚的發(fā)現(xiàn)，雖然，每個(gè)家庭的消費(fèi)支出都不一樣，但隨著收入的添加，消費(fèi)程度平均地說(shuō)也在添加。觀測(cè)紅色的粗圓點(diǎn)代表的Y的各個(gè)條件均值，這種覺(jué)察就更加的直觀和籠統(tǒng)。散點(diǎn)圖闡明，這些條件均值都落在一個(gè)有正斜率的直線上。這個(gè)直線叫做總體回歸線。更簡(jiǎn)

9、單地說(shuō)，它是Y對(duì)X的回歸。在幾何意義上，總體回歸線就是當(dāng)解釋變量取給定值時(shí)，應(yīng)變量的條件均和或期望的軌跡。2.2總回歸函數(shù)PRF從前面的討論中，我們清楚地看到，每一條件均值E(Y|Xi)都是Xi的一個(gè)函數(shù)，用符號(hào)來(lái)表示：其中，f(Xi)表示解釋變量Xi的某個(gè)函數(shù)在上例中， E(Y|Xi) 是Xi的一個(gè)線性函數(shù)，我們把 稱(chēng)為總體回歸函數(shù)PRF或簡(jiǎn)稱(chēng)為總體回歸PR。它闡明在給定的Xi下，Y的分布均值與Xi有函數(shù)關(guān)系，或者，它闡明了Y的均值是怎樣隨X而變化的。PRF的函數(shù)方式是一個(gè)閱歷方面的問(wèn)題，例如，經(jīng)濟(jì)學(xué)家會(huì)提出消費(fèi)和收入有線性關(guān)系，這樣PRF經(jīng)常被寫(xiě)作其中12為不知的參數(shù)，稱(chēng)為回歸系數(shù)，也分別

10、被稱(chēng)為截距和斜率系數(shù)。)()|(iiXfXYE)()|(iiXfXYEiiXXYE21)|(2.3 線性的含義對(duì)線性的第一種解釋是，Y的條件期望是Xi的線性函數(shù)，從幾何意義上來(lái)看，這時(shí)回歸曲線是一條直線。按照這種解釋?zhuān)T如E(Y|Xi)= 1+2+Xi2回歸函數(shù)，變量X以指數(shù)2出現(xiàn)，就不是線性的。對(duì)線性的第二種解釋是，Y的條件期望E(Y|Xi)是諸參數(shù)的一個(gè)線性函數(shù)，它可以是也可以不是X的線性函數(shù)。這樣E(Y|Xi)= 1+2Xi2就算一個(gè)線性模型，而E(Y|Xi)= 1+22Xi2那么不是。在我們這里，我們以為“線性是對(duì)參數(shù)為線性的情形，因此，從如今開(kāi)場(chǎng)“線性一詞總是指對(duì)參數(shù)為線性的一種回歸

11、即參數(shù)總是以它的1次方出現(xiàn)；對(duì)解釋變量X那么可以是或不是線性的。 E(Y|Xi)= 1+2Xi和E(Y|Xi)= 1+2Xi2都是線性回歸模型LRM。2.4 總回歸方程的隨機(jī)設(shè)定前面的例子中，隨著家庭收入的添加，家庭消費(fèi)支出平均的也添加。但是對(duì)個(gè)單獨(dú)某個(gè)家庭來(lái)說(shuō)，消費(fèi)支出程度卻不一定隨收入程度添加而添加。例如，對(duì)應(yīng)于每周100美圓的收入程度，有一家庭的消費(fèi)支出是65美圓，而對(duì)應(yīng)于收入80美圓的兩戶家庭，消費(fèi)支出為70和75美圓。那么，在個(gè)別家庭的消費(fèi)支出與給定的收入程度之間存在什么關(guān)系呢？我們?cè)谇懊娴姆治鲋锌吹?，給定收入程度Xi的個(gè)別家庭的消費(fèi)支出圍繞在收入為Xi的一切家庭的平均消費(fèi)支出的周?chē)?/p>

12、，也就是圍繞在它的條件均值。因此我們可以把個(gè)別家庭的Yi圍繞在它的期望值的離差deviation表述如下：iiiiiiXYEYXYEY)/()/(或ui被稱(chēng)為隨機(jī)干擾或隨機(jī)誤差項(xiàng)。給定X程度，個(gè)別家庭的支出可以表示為兩個(gè)成分之和1 E(Y|Xi)代表一樣收入程度的一切家庭的平均消費(fèi)支出，這個(gè)成分被稱(chēng)為系統(tǒng)性或確定性成分，以及2 ui被稱(chēng)為隨機(jī)的或非系統(tǒng)性的成分。也可以了解為ui是一切影響Y的，但是沒(méi)能包含到回歸方程中的，被忽略變量的替代變量。方程： 表示一個(gè)家庭的消費(fèi)支出，線性地依賴(lài)于它收入加上干擾項(xiàng)。給定X=80，各個(gè)家庭的消費(fèi)支出表達(dá)為：iiiiiXXYEY21)/(32132212121

13、1)80(65)80(60)80(55uYuYuY回到剛剛的式子：如今，假設(shè)兩邊取期望，那么：式中， E(Y|Xi)是條件期望，是一個(gè)常數(shù)，故EE(Y|Xi)就是它本身。而E(Yi|Xi)就是E(Y|Xi)，故：因此，假定回歸線從Y的條件均值經(jīng)過(guò)，就意味著，ui的以給定的Xi為條件的條件均值為零。iiiXYEY)/()|()/()|()/()|(iiiiiiiiXEXYEXEXYEEXYE0)|(iiXE2.5 隨機(jī)干擾項(xiàng)的意義干擾項(xiàng)是從模型中沒(méi)有包含的而又集體地影響著Y的全部變量的替代物。為什么我們不構(gòu)造一個(gè)包含盡能夠多的變量的復(fù)回歸模型？理由如下：1.實(shí)際的模糊性；2.數(shù)據(jù)的欠缺；3.中心

14、變量和周邊變量；4.人類(lèi)行為的內(nèi)在隨機(jī)性；5.“不好的替代變量；6.節(jié)省的原那么；7.錯(cuò)誤的函數(shù)方式。為了一切上述理由，我們?cè)陔S后的學(xué)習(xí)中會(huì)發(fā)現(xiàn)，隨機(jī)干擾項(xiàng)在回歸分析中扮演了極其重要的角色。2.6 樣本回歸函數(shù)SRF留意我們前面的例子中，我們假定一個(gè)國(guó)家是由60戶家庭組成的，故我們得到的是一個(gè)關(guān)于這60戶家庭收入和消費(fèi)支出的完好的總體數(shù)據(jù)。在大多數(shù)實(shí)踐情況下，我們僅有對(duì)應(yīng)于某些固定的X的Y值的樣本，這樣我們就必需面對(duì)抽樣問(wèn)題，例如有以下兩組抽樣數(shù)據(jù)：Y1Y2X70558065881109090120958014011011816011512018012014520014013522015514

15、5240150175260問(wèn)題：我們可以從抽樣數(shù)據(jù)中預(yù)測(cè)整個(gè)總體中對(duì)應(yīng)于給定的X的平均每周消費(fèi)支出Y嗎？將表中的數(shù)據(jù)描畫(huà)為散點(diǎn)圖：在散點(diǎn)圖中，我們畫(huà)了兩根樣本回歸線以盡量好的擬合這些散點(diǎn)。SRF1是根據(jù)第一個(gè)樣本的數(shù)據(jù)，而SRF2是根據(jù)第二個(gè)樣本的數(shù)據(jù)。那么，兩條回歸線中那一條代表“真實(shí)的總體樣本回歸線？現(xiàn)實(shí)上，我們不能夠有絕對(duì)把握知道哪一條代表了真實(shí)的總體回歸線。由于抽樣的動(dòng)搖，它們最多也不過(guò)是真實(shí)總體回歸線的一個(gè)逼近而已。普通的來(lái)說(shuō)，從N個(gè)不同樣本中會(huì)得到N個(gè)不同的樣本回歸函數(shù)，并且這些樣本回歸函數(shù)不大會(huì)一樣。類(lèi)比總體回歸函數(shù)，我們可以寫(xiě)出一個(gè)代表樣本回歸線的樣本回歸函數(shù)SRF：這里 分別

16、是Y，1和2的估計(jì)量。iiiXXfY21)(21,和Y我們還能把SRF表達(dá)為它的隨機(jī)方式：其中，除了定義過(guò)的符號(hào)外， 表示樣本殘差項(xiàng)。概念上， 類(lèi)似于ui,并且可把它當(dāng)做是ui的估計(jì)量，把它引入到SRF中的理由和把ui引入PRF中來(lái)，是出于同一個(gè)理由。至此，總的來(lái)說(shuō)，回歸分析僅僅是根據(jù)某總體的一個(gè)樣本的時(shí)候比不是這樣的時(shí)候多。我們的主要目的是根據(jù)樣本回歸函數(shù)SRF：來(lái)估計(jì)總體樣本函數(shù)PRF：iiiiuXXfY)(21iu iu iiiuXY21iiiXY21對(duì)于X=Xi，我們有一個(gè)觀測(cè)值Y=Yi。我們可以根據(jù)SRF將所觀測(cè)的Yi表達(dá)為：也可以根據(jù)PRF，表達(dá)為：如今，對(duì)于圖中所示的Xi， 明顯

17、過(guò)高的估計(jì)了那里的真實(shí)的E(Y|Xi)，類(lèi)似的對(duì)于A點(diǎn)左側(cè)，SRF低估了真實(shí)的PRF，而右側(cè)那么恰好相反。iiiuYYiiiuXYEY)|(iY如今，重要的問(wèn)題：既然認(rèn)識(shí)到了樣本回歸函數(shù)不過(guò)是總體回歸函數(shù)的一個(gè)近似，能不能設(shè)計(jì)一種規(guī)那么或方法，使得這種近似是一種盡能夠“接近的近似？雖然真實(shí)的總體回歸函數(shù)永遠(yuǎn)不得而知。3. 雙變量回歸模型：估計(jì)問(wèn)題3.1 普通最小二乘法原理回想雙變量總體回歸函數(shù)PRF：這個(gè)PRF不是直接可以觀測(cè)的。我們經(jīng)過(guò)樣本回歸函數(shù)SRF去估計(jì)它：這里， 是Y的估計(jì)值條件均值。iiiXY21iiiiiuYuXY21iY我們把式子改寫(xiě)為：這樣殘差 不過(guò)是實(shí)踐Y值與估計(jì)值 之間的

18、差。對(duì)于給定的Y和X，我們希望樣本回歸函數(shù)SRF可以盡能夠的接近實(shí)踐的Y，這樣我們采用如下原那么：選擇這樣的SRF，使得盡能夠的小。 iiiiiXYYYu21iu iY)(iiiYYu上述規(guī)范似乎很給力，但卻存在缺陷。由于在總和：中， 得到的權(quán)重和 一樣多，而顯然后兩者離樣本回歸線間隔要遠(yuǎn)得多。這樣能夠一切的 都分布的很遠(yuǎn)，但是 代數(shù)和卻很小甚至為零。為了防止這樣的問(wèn)題，最小二乘準(zhǔn)那么要給出樣本回歸函數(shù)SRF，使得：盡能夠小，其中 是殘差平方和。我們即將看到，它得出來(lái)的估計(jì)量有很好的統(tǒng)計(jì)性質(zhì)。很明顯，殘差平方和是關(guān)于估計(jì)量 的某個(gè)函數(shù)：)(4321uuuu1 u2 u3 u4 uiu iu 2

19、2122)()(iiiiiXYYYu2iu),(212fui21和 的最小二乘估計(jì)其中，n是樣本大小。這組聯(lián)立方程被稱(chēng)為正那么方程。21和）（）（整理后得到求偏導(dǎo)數(shù)，并令為零和最小，對(duì)上式分別對(duì)為求由方程：210)(2)(0)(2)()()(221212122211221222122iiiiiiiiiiiiiiiiiiiXXXYXnYXXYuXYuuXYYYu解上述方程組：XYXnYnxnyxnxnXXnyxnYXYXnYYyXXxYYXXnYXnXYYXYXnYXnYXnYXnYXnYXnYXnYXYXnYnYXnXXXnYXYXnXXYXiiiiiiiiiiiiiiiiiiiiiiiiii

20、iiiiiiiiiiiiiiiiii22122222222222111)()(),()( )()()(1,1)() 1 ()2(故：同理：定義離差：注意：得到：帶入到可得：由最小二乘OLS估計(jì)量的性質(zhì)OLS估計(jì)量是純粹由可觀測(cè)值樣本值表達(dá)的，因此這些量是容易計(jì)算的；這些量是點(diǎn)估計(jì)量，對(duì)于給定的樣本，每一估計(jì)量?jī)H提供有關(guān)總體參數(shù)的一個(gè)值；從樣本數(shù)據(jù)得到OLS估計(jì)值，很容易畫(huà)出樣本回歸線，這樣得到的樣本回歸線有如下性質(zhì)不證明：1.它經(jīng)過(guò)X和Y的樣本均值；2.估計(jì)的Y均值等于實(shí)測(cè)的Y的均值；3.殘差 的均值為零；4.殘差 和預(yù)測(cè)的Yi值不相關(guān)；5.殘差 和Xi值不相關(guān)。iu iu iu 3.2經(jīng)典線

21、性回歸模型：最小二乘模型的根本假定假設(shè)我們的目的僅僅是估計(jì) ，那么上節(jié)討論的OLS就足夠了?，F(xiàn)實(shí)上，我們不僅僅是要估算出 的值，而且要對(duì)真實(shí)的 推斷，我們想知道 離它的真期望值 有多近。為此，我們要對(duì)Yi的產(chǎn)生方式作出某些假設(shè)。而 闡明，Yi是依賴(lài)于Xi和ui。因此除非我們明確Xi和ui是怎樣產(chǎn)生的，我們將無(wú)法對(duì)Yi作出任何統(tǒng)計(jì)推斷，也就無(wú)法對(duì) 作出統(tǒng)計(jì)推斷。就是說(shuō)，為了回歸估計(jì)的有效解釋?zhuān)覀儗?duì)變量Xi和誤差項(xiàng)ui作出假定是極其重要的。21和iYiiiXY21)|(iXYE21和21和21和我們?cè)谇懊嬗懻撨^(guò)線性的定義，在我們這里我們將一直堅(jiān)持這一定義。假定假定1：線性回歸模型?；貧w模型對(duì)參數(shù)

22、而言是線性：線性回歸模型?；貧w模型對(duì)參數(shù)而言是線性的。的。iiiXY21我們關(guān)于總體樣本函數(shù)PRF的討論中，隱含著這樣一個(gè)假定“反復(fù)抽樣中的固定值。對(duì)它的了解很重要。回到我們最初的例子上：我們假定一個(gè)由60戶家庭組成，我們統(tǒng)計(jì)了這60戶家庭的收入X和家庭消費(fèi)支出Y的數(shù)據(jù)。這樣我們把收入值固定在80美圓/周，隨機(jī)的抽取一個(gè)家庭，并觀測(cè)它的周家庭消費(fèi)支出，例如說(shuō)60美圓；接著我們依然把收入X固定在80美圓/周，再隨機(jī)的抽取令一個(gè)家庭，觀測(cè)它的周家庭消費(fèi)支出為75美圓。在每次抽取反復(fù)抽樣中，我們都把X值固定在80美圓上，直到一切周收入為80美圓的家庭統(tǒng)計(jì)終了?，F(xiàn)實(shí)上我們例子中的數(shù)據(jù)就是這樣產(chǎn)生的。一

23、切的這些意味著，我們的回歸分析是條件回歸分析，就是以X給定值為條件的。假定假定2：在反復(fù)抽樣中：在反復(fù)抽樣中X值是固定的。值是固定的。假定假定3：干擾項(xiàng)：干擾項(xiàng)ui的均值為零。對(duì)于給定的的均值為零。對(duì)于給定的X值，值，ui的的條件期望均值為零，用公式來(lái)表達(dá)：條件期望均值為零，用公式來(lái)表達(dá)：其實(shí)，這個(gè)假定無(wú)非是通知我們，凡是模型中沒(méi)有包含的，沒(méi)有被作為解釋變量的其他而被歸結(jié)為ui的要素，都不應(yīng)該對(duì)Y的均值產(chǎn)生系統(tǒng)性的影響?；蛘哒f(shuō)，正的ui和負(fù)的ui相互抵消了，以致于它們對(duì)Y的平均影響為零。0)|(iiXuE對(duì)于每個(gè)ui的方差，都是某個(gè)等于2的正常數(shù)。意味著，對(duì)應(yīng)于不同的X值的Y總體均有一樣的方差

24、。圖3.4和3.5都闡明了隨收入添加，平均消費(fèi)程度添加。3.4中消費(fèi)支出方差在一切的收入程度下堅(jiān)持不變，而3.5那么變大。當(dāng)X=X1時(shí)，消費(fèi)程度平均地離PRF更近，而X=X3時(shí)，消費(fèi)程度圍繞PRF分布更遠(yuǎn)，顯然X=X1時(shí)的數(shù)據(jù)Y對(duì)我們來(lái)說(shuō)更可靠一些。假定假定4：同方差性或：同方差性或ui的方的方差相等。對(duì)于給定的差相等。對(duì)于給定的X值，值，對(duì)一切的觀測(cè)，對(duì)一切的觀測(cè)，ui的方差的方差是恒定的。用公式來(lái)表達(dá)：是恒定的。用公式來(lái)表達(dá)：2)|var(iiXu假定假定5：各個(gè)干擾項(xiàng)之間無(wú)自相關(guān)。給定恣意兩個(gè)：各個(gè)干擾項(xiàng)之間無(wú)自相關(guān)。給定恣意兩個(gè)X值：值：Xi和和Xjij，ui和和uj之間的相關(guān)為零。用

25、符號(hào)來(lái)表之間的相關(guān)為零。用符號(hào)來(lái)表示：示：用專(zhuān)業(yè)的術(shù)語(yǔ)來(lái)說(shuō)，就是無(wú)序列相關(guān)或無(wú)自相關(guān)。假設(shè)上述假定不成立，ut和ut-1存在相關(guān)關(guān)系，那么Yt不僅僅取決Xt而且還取決于ut，由于ut-1在一定程度上決議了ut。我們利用假定5，就是只思索Xt對(duì)Yt的影響，而不去擔(dān)憂u之間的能夠到相關(guān)關(guān)系而對(duì)Y產(chǎn)生的影響。00|(0|(),|)(|(| )(| )(),|,cov(）；）因?yàn)閖jiijjiijjjiiijijiXuEXuEXuXuEXuEuXuEuEXXuu干擾u和解釋變量X之間是不相關(guān)的。假設(shè)X和u是相關(guān)的，例如X和u正相關(guān)，那么當(dāng)u添加的時(shí)候X也添加。類(lèi)似的，假設(shè)X和u負(fù)相關(guān)，那么當(dāng)u添加時(shí)X

26、減少。我們將無(wú)法準(zhǔn)確地域分X和u各自對(duì)Y產(chǎn)生了什么樣的影響。假定假定6：ui和和Xi的協(xié)方差為零。用符號(hào)來(lái)表示：的協(xié)方差為零。用符號(hào)來(lái)表示：00)(),()(),()()(0)(),()()(),cov(iiiiiiiiiiiiiiiiiiuEXuEXEuEXEXuEuEXEXuEXEXuEuEXu因非隨機(jī)因因?qū)τ谇袄僭O(shè)我們只需一組X和Y的觀測(cè)值，我們將無(wú)法從這一次觀測(cè)中去估計(jì)參數(shù) ，對(duì)于兩個(gè)參數(shù)估計(jì)，我們至少需求兩組數(shù)據(jù)。假定假定7：觀測(cè)次數(shù)：觀測(cè)次數(shù)n必需大于待估計(jì)的參數(shù)個(gè)數(shù)。必需大于待估計(jì)的參數(shù)個(gè)數(shù)。21和回到前面的公式中：假設(shè)全部的X值都相等，那么Xi= ，那么上式中的分母就為零，

27、從而我們無(wú)法估計(jì)2，也就無(wú)法估計(jì)1。要把回歸當(dāng)做一種工具來(lái)運(yùn)用，Y和X兩者均有變化是前提，換句話說(shuō)，變量必需在變。22)()( )(XXYYXXiii假定假定8：X值要有變異性。在一個(gè)給定的樣本中，值要有變異性。在一個(gè)給定的樣本中，X值值不可以完全是一樣的。不可以完全是一樣的。X假設(shè)模型中漏掉了一些重要的變量，或者選擇了錯(cuò)誤的函數(shù)方式，或者對(duì)所含變量作出了錯(cuò)誤的隨機(jī)假定，那么我們就要質(zhì)疑回歸的有效性。假定假定9：正確地設(shè)定了回歸模型。另外一個(gè)說(shuō)法是，：正確地設(shè)定了回歸模型。另外一個(gè)說(shuō)法是，在閱歷分析中所用的模型沒(méi)有設(shè)定偏誤。在閱歷分析中所用的模型沒(méi)有設(shè)定偏誤。這一假設(shè)，我們將在后續(xù)的學(xué)習(xí)中加以

28、解釋它的重要性。假定假定10：沒(méi)有完全的多重共線性。就是說(shuō)，解釋變量：沒(méi)有完全的多重共線性。就是說(shuō)，解釋變量之間沒(méi)有完全的線性關(guān)系。之間沒(méi)有完全的線性關(guān)系。3.3最小二乘估計(jì)的精度或規(guī)范誤差我們估算出來(lái)的 的“可靠性或者精細(xì)度如何呢？在統(tǒng)計(jì)學(xué)上一個(gè)估計(jì)量的精細(xì)度是由它的規(guī)范誤se來(lái)衡量的。var方差，se規(guī)范誤，2是假定4中的ui的共同方差。21和221222122222)()var()()var(iiiiiixnXsexnXxsex附 方差的推導(dǎo)21和2222222222221121212222222121222222222222221212222221)(,)var(0)(,)()22(,

29、)()(,)()()var(10,)(00,0, )()(iiiiiijiinnnnnniiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiixxxxkkuuEjiuEiuukkuukkukukukEukEEEEExxXkkukukXkkuXkYkxxxxkxxkxYxYxXnXXnXYYxxYYxYYxyx因且對(duì)于，根據(jù)假設(shè)，對(duì)于每一個(gè)利用上式的結(jié)果因方差的定義且因?yàn)橐阎?，且?duì)于給定樣本且令因除了2以外，上述方程中的一切變量均可以從數(shù)據(jù)中估計(jì)出來(lái)，2由下面公式估算： 是真正的但未知的2的OLS估計(jì)量，n-2被稱(chēng)為自在度df的個(gè)數(shù)， 那么表示殘差平方的總和或者剩

30、余平方和RSS。222nui22iu22222222222)(iiiiiiiiiiixyxyuxyxxyu留意 的方差，有如下特點(diǎn)： 的方差和2成正比，而與 成反比。就是說(shuō)，給定的2，X值變化越大， 方差越小，從而2的估計(jì)精度越高。此外，隨樣本容量n的添加， 中的項(xiàng)數(shù)將添加， 2的估計(jì)精度隨n的添加而添加。 的方差與2和 成正比，而與 和樣本大小n成反比。最后，由于 是估計(jì)量，對(duì)于給定的樣本，它們還能夠是相互影響的。這種依賴(lài)性由它們之間的協(xié)方差來(lái)衡量。221222122222)()var()()var(iiiiiixnXsexnXxsex21和22ix22ix12iX2ix21和3.5 斷定系

31、數(shù)r2：“擬合優(yōu)度的一個(gè)度量假設(shè)一切的觀測(cè)點(diǎn)都落在樣本回歸線上，我們就得到了一個(gè)“完美的擬合。但是這種情況很少發(fā)生。普通的是情形下，總有一些正的 和負(fù)的 。我們所能希望的僅僅是圍繞著回歸線的殘差盡能夠的小。斷定系數(shù)r2雙變量情形和R2多變量的情況就是通知人們這條樣本回歸線對(duì)數(shù)據(jù)的擬合程度有多么好的一個(gè)總度量。iu iu 22222222220,2iiiiiiiiiiiiiiiiiiiuxxyuyuyuyuyyuyyuYY且因兩邊平方并對(duì)樣本求和寫(xiě)成離差的形式RSSESSTSSRSSYESSY)(TSSY)(22222222這樣：）；方和（值的變異，稱(chēng)為殘差平回歸線的殘差或未被解釋的圍繞）；平方和（稱(chēng)為回歸平方和或解釋值圍