Chapter-03-雙變量模型-假設檢驗

Chapter_03_雙變量模型_假設檢驗第一頁，共111頁。X(收入)Y（博彩支出）1501752002252502753003253503750總體回歸線（PRL）樣本回歸線（SRL）總體與樣本回歸線第二頁，共111頁。X(收入)Y(博彩支出)對某個Xi,有一個觀測值Yi?？傮w與樣本回歸線第三頁，共111頁。第一節(jié)普通最小二乘法(OLS)其中及得到的權(quán)重和及得到的權(quán)重一樣多，所有殘差都受到同樣的重視。結(jié)果，很可能離開SRF而散布的很遠，但代數(shù)和卻很小。4第四頁，共111頁。PRF

SRF非隨機或確定總體回歸函數(shù)（deterministicornon-stochasticPRF）均值形式的樣本回歸函數(shù)隨機或統(tǒng)計總體回歸函數(shù)（StochasticorstatisticalPRF）隨機形式的樣本回歸函數(shù)第五頁，共111頁。估計

總體回歸線/函數(shù)樣本回歸線/函數(shù)

PRL/PRFSRL/SRF怎樣構(gòu)造SRL/SRF，使這個估計做得盡量好？（b1、

b2盡可能地接近B1、B2）估計第六頁，共111頁。注：小寫的x和y代表X和Y的離差形式，即樣本值減去樣本均值。b1和b2分別為B1和B2的OLS估計量第七頁，共111頁?；貧w分析的第一階段：參數(shù)估計

回歸分析的第二階段：統(tǒng)計檢驗第3章第八頁，共111頁。第一節(jié)普通最小二乘法(OLS)普通最小二乘法由數(shù)學家C.F.Gauss提出在回歸分析中，有多種構(gòu)造SRF的方法，而最廣泛使用的是OLS方法(methodofordinaryleastsquares)。PRF是不能直接觀測到，我們必須通過SRF去估計它“Undercertainassumptions，themethodofleastsquareshassomeveryattractivestatisticalpropertiesthathavemadeitoneofthemostpowerfulandpopularmethodsofregressionanalysis.”9第九頁，共111頁。第一節(jié)普通最小二乘法(OLS)回歸分析的主要目的，根據(jù)SRF去估計PRF

殘差SRF又是怎樣決定的呢?(三個準則）準則一：使剩余總和（殘差和）達到最小。該準則合理嗎？由于殘差有正有負，可能出現(xiàn)相互抵消的現(xiàn)象，即使其代數(shù)總和很小甚至等于零，只能說明直線的擬合程度，但不能說明散點對直線的離散（偏離）的程度10第十頁，共111頁。最小化得到的SRF曲線第十一頁，共111頁。第一節(jié)普通最小二乘法(OLS)準則二：最小的原則這種方法能避免剩余項的正負值相互抵消的缺陷，但其中的絕對值符號給數(shù)學處理帶來不便。12第十二頁，共111頁。第一節(jié)普通最小二乘法(OLS)準則三：最小二乘法則（殘殺剩余平方和最?。┒沤^了殘差在SRF周圍散布很寬，總和卻很小的可能故只需對求導，并令其等于零，便可解出。13第十三頁，共111頁。最小二乘法的數(shù)學原理將所有縱向距離平方后相加，即得誤差平方和，“最好”直線就是使誤差平方和最小的直線，即擬合直線在總體上最接近實際觀測點。于是可以運用求極值的原理，將求最好擬合直線問題轉(zhuǎn)換為求誤差平方和最小的問題。14第十四頁，共111頁。求解15第十五頁，共111頁。正規(guī)方程(normalequations)及其解（2）式減（1）式，得

右側(cè)方程組稱為正規(guī)方程組或正規(guī)方程，n為樣本容量。1式乘以，2式乘以n。16第十六頁，共111頁?？勺鋈缦碌淖儞Q：第十七頁，共111頁。注：其中因為第十八頁，共111頁。正規(guī)方程(normalequations)及其解其中，和是X和Y的樣本均值，和

表示變量對均值的離差。

上面的估計量由于從最小二乘原理演算而來，因此也稱作最小二乘估計量。

右側(cè)方程組稱為正規(guī)方程組或正規(guī)方程，n為樣本容量。19第十九頁，共111頁。OLS估計量的數(shù)值性質(zhì)易計算性OLS估計量是純粹由可觀測的(即樣本)量表達的，因此這些量是容易計算的。點估計量即對于給定的樣本，每一估計量僅提供有關(guān)總體參數(shù)的一個(點)值一旦從樣本數(shù)據(jù)得到OLS估計值，便容易畫出樣本回歸線。該回歸線有如下性質(zhì)：它通過Y和X的樣本均值；估計的Y均值等于實測的Y均值；殘差估計量的均值為0；殘差估計量和預測的Y值不相關(guān)；殘差估計量和X不相關(guān)。（見后詳）20第二十頁，共111頁。1．它通過Y和X的樣本均值

由，得：

OLS估計量的數(shù)值性質(zhì)第二十一頁，共111頁。2．估計的Y的均值（即的均值）等于實測的Y均值（Y實際觀測值的均值）：

又∵∴將上式兩邊對樣本值求和并使兩邊同除以n得（對i求和，再除以n得）：（注：即，我們是把記作）直觀含義？OLS估計量的數(shù)值性質(zhì)第二十二頁，共111頁。也可以這樣證：3．殘差的均值為零求解最小二乘估計量的過程中，出現(xiàn)過下式：而所以有：第二十三頁，共111頁。樣本回歸模型：可以表達為離差形式（deviationform）:證明：我們已知有均值方程：樣本回歸模型減去均值方程得：即：

離差形式的好處：好記，運算簡便OLS估計量的數(shù)值性質(zhì)第二十四頁，共111頁。4．殘差和預測的Yi值不相關(guān)。證：OLS估計量的數(shù)值性質(zhì)第二十五頁，共111頁。5．殘差和不相關(guān)，在求解最小二乘估計量的過程中，曾經(jīng)有：OLS估計量的數(shù)值性質(zhì)第二十六頁，共111頁。第二節(jié)古典線性回歸模型：OLS的基本假定統(tǒng)計推斷的兩個部分：參數(shù)估計和假設檢驗。如果我們的目的僅僅是模型參數(shù)，則第一節(jié)所用的方法就足夠了，但我們的目的不僅僅是獲得參數(shù)估計值，而且要對真實的系數(shù)作出推斷。PRF:對解釋變量和誤差作出假定是必要的。因此，先明確Xi和ui是如何產(chǎn)生的（它們的分布情況）才能對Yi作出統(tǒng)計推斷，從而才能對和作出統(tǒng)計推斷。也就是說，為了回歸估計的有效解釋，對解釋變量和誤差項作出假定是非常重要的古典線性回歸模型（classicallinearregressionmodel,CLRM），又稱高斯(Gaussian)或標準(standard)線性回歸模型。27第二十七頁，共111頁。CLRM的基本假定假定1：線性回歸模型模型對參數(shù)而言是線性的回歸子Y（regressand）和回歸元X（regressor）本身可以是非線性的28第二十八頁，共111頁。CLRM的基本假設假定2：X是非隨機的在重復抽樣中，X值是固定的。條件回歸分析。即假定X是非隨機的（nostochastic）。假定每次我們把X固定在某個值上（比如80$），隨機抽取一個樣本點進行觀測，可以得到一個Y值；再按這固定的X值（X還是80$），抽取一個Y值。在每次抽取中（即重復抽樣），X值都固定在80$。采用這個方法可以對所有的X值重復這一過程。這意味著我們的回歸分析是條件回歸分析（conditionalregressionanalysis），就是以回歸元X的給定值為條件的29第二十九頁，共111頁。CLRM的基本假設假定3：擾動項的均值為零。對于給定X的每一個Y總體，都是圍繞其均值而分布的。有的Y值位于均值之上，有的位于其下，離開均值的上方和下方的距離就是是說，凡是模型不顯含的并因而歸屬于的因素，對Y的均值都沒有系統(tǒng)的影響。正的抵消了負的，以致它們對Y的平均影響為零（見下圖）等價于30第三十頁，共111頁。CLRM的基本假設模型中不顯含而體現(xiàn)在擾動項ui中的因素，對于Y的均值沒有系統(tǒng)影響。正的ui值抵消了負的ui值，平均影響為零。31第三十一頁，共111頁。假定4：同方差性，即的方差相等注意幾個術(shù)語同方差性(homoscedasticity)異方差性(heteroscedasticity)意味著Yi的條件方差也是同方差的CLRM的基本假設32第三十二頁，共111頁。CLRM的基本假設33第三十三頁，共111頁。CLRM的基本假設34第三十四頁，共111頁。假定5：擾動項無序列相關(guān)(serialcorrelation)或自相關(guān)(autocorrelation)CLRM的基本假設35第三十五頁，共111頁。假定6：ui和Xi的協(xié)方差為零，或這個假定是說，干擾u和解釋變量X是不相關(guān)的若X和u相關(guān)，就不可能把它們各自對Y的影響（貢獻）分解開來；只要Xi和ui無關(guān)，即使X是隨機的，回歸分析理論仍然是成立的。CLRM的基本假設36第三十六頁，共111頁。假定7：觀測次數(shù)n必須大于待估參數(shù)的個數(shù)假定8：X的值要有變異性在一個給定的樣本中，X值不可以全是相同的。必須是一個有限的正數(shù)如果全部X值都相等，即，會全為零。就不能從下式中估計出，從而也就無法估計CLRM的基本假設37第三十七頁，共111頁。假定9：正確地設定了模型模型的設定問題包括：①該包括哪些變量？②模型的函數(shù)形式如何？是否線性？③進入模型的

，

和

需做哪些概率上的假定？在經(jīng)驗分析中所采用的模型不存在設定偏誤

（specificationbiasorerror）CLRM的基本假設38第三十八頁，共111頁。雖然我們假定，但從樣本中我們未必能得出。這須要其它技術(shù)來處理自相關(guān)和異方差的情況假定10：不存在完全的多重共線性（multicollinearity）也就是說，解釋變量之間不存在完全的線性關(guān)系(noperfectlinearrelationships)——出現(xiàn)在多元線性回歸模型上述假定的真實性如何？在任何科學研究中，假定都未必是真實的，符合現(xiàn)實的，而是在于它們使我們可以方便地展開我們的研究。我們先深入研究CLRM的性質(zhì)，然后再放松一些假定深化這一研究CLRM的基本假設39第三十九頁，共111頁。CLRM可信嗎？計量經(jīng)濟學中的CLRM相當于微觀經(jīng)濟學中的完全競爭模型。40第四十頁，共111頁。第三節(jié)OLS的性質(zhì)：高斯-馬爾科夫定理高斯-馬爾可夫定理(Gauss–Markov

theorem)：在給定經(jīng)典線性回歸模型的假定下，OLS估計量，在無偏線性估計量中，有最小方差，即OLS估計量是最優(yōu)線性無偏估計量（bestlinearunbiased

estimator,BLUE）。BLUE1、線性:指的是參數(shù)估計量是被解釋變量的線性函數(shù)。2、無偏性:參數(shù)估計量的均值（數(shù)學期望）等于被估計的真值，即3、有效性（最小方差性）：在所有上述線性無偏估計量中具有最小方差41第四十一頁，共111頁。BLUE：

線性證明

由之前關(guān)于OLS性質(zhì)的證明得到令

可見，是的一個線性函數(shù)，所以，它是一個線性估計量（linearestimator），而∴也是一個線性估計量42第四十二頁，共111頁。BLUE：

線性證明權(quán)重

的一些性質(zhì)：（1）因為的非隨機，∴非隨機。（2）（3）（4）43第四十三頁，共111頁。BLUE：

無偏性證明先證：上式兩邊求數(shù)學期望得：（ki非隨機）44第四十四頁，共111頁。

再證：由式得：其中，∴上式BLUE：

無偏性證明第四十五頁，共111頁。根據(jù)假定，ui是互不相關(guān)的，而且；當時，。從而BLUE：

最小方差性證明第四十六頁，共111頁。下面求：BLUE：

最小方差性證明第四十七頁，共111頁。根據(jù)方差的定義有：BLUE：

最小方差性證明第四十八頁，共111頁。下證具有最小方差的性質(zhì)：為此，定義的另一個具有線性特征的估計量為：其中wi也是權(quán)數(shù)，但不一定等于ki。取期望值BLUE：

最小方差性證明第四十九頁，共111頁。下證具有最小方差的性質(zhì)：為此，定義的另一個具有線性特征的估計量為：其中wi也是權(quán)數(shù)，但不一定等于ki。取期望值BLUE：

最小方差性證明第五十頁，共111頁。對取期望值為使無偏，必有：

和此時的方差為：（數(shù)學技巧！）BLUE：

最小方差性證明（后面要利用）（利用方差的性質(zhì)）第五十一頁，共111頁。其中：第五十二頁，共111頁。當時，必有因此，可以推斷這表明在線性無偏估計量中，最小二乘估計量的方差一定小于其它任一估計量的方差。下面證是的OLS估計量：回顧：（1）因此：（2）第五十三頁，共111頁。注：對總體有：，對樣本則為：（1）式減去（2）式得：（3）再回顧：（4）把（3）式代入（4）式得：（5）兩邊平方，再求和得：（6）第五十四頁，共111頁。兩邊取數(shù)學期望得：求第一項A：

求第二項B：第五十五頁，共111頁。根據(jù)假定

求第三項C：于是有第五十六頁，共111頁。如果定義則

這表明是真實方差的無偏估計（量）。第五十七頁，共111頁。第五十八頁，共111頁。第五十九頁，共111頁。第四節(jié)OLS估計的精度：估計量的方差與標準誤由于Y是隨機變量，而b1和b2是它的函數(shù)，因此b1和b2也是隨機變量。當數(shù)據(jù)從一個樣本變到另一個樣本時，它們的值會出現(xiàn)擺動。因此，需要找一個量來度量這種擺動的大小，即衡量估計量b1和b2的精度/可靠性?！@個量就是估計量的方差及標準誤。第六十頁，共111頁。OLS估計量隨樣本的變動而變動，估計量精度(precision)由估計量的標準誤差(standarderror,se)來衡量。第四節(jié)OLS估計的精度：估計量的方差與標準誤61第六十一頁，共111頁。的估計是真實但未知的的OLS估計量

n-2是被稱為自由度(degreesoffreedom,df)的個數(shù)則表示殘差平方和(residualsumofsquares,RSS)

被稱為回歸的標準誤（區(qū)別于前面回歸估計量b1和b2的標準誤）。第四節(jié)OLS估計的精度：估計量的方差與標準誤62第六十二頁，共111頁。或者由下式算出：由于∴

叫做估計的標準誤（standarderroroftheestimate）。它是Y對估計的回歸線的離差的標準差。常用來衡量所估計的回歸線的“擬合優(yōu)度（goodnessoffit）”

第六十三頁，共111頁。例：博彩支出一例的方差和標準誤第六十四頁，共111頁。例題：在家庭可支配收入-消費支出例中，對于所抽出的一組樣本數(shù)，參數(shù)估計的計算可通過下面的表進行。第六十五頁，共111頁。因此，由該樣本估計的回歸方程為：第六十六頁，共111頁。用OLS法估計出b1，b2（得到了SRF）在一定的假設前提下，OLS估計量的性質(zhì)用方差和標準誤，衡量了OLS估計的精度

回歸分析的第一階段：參數(shù)估計

回歸分析的第二階段：統(tǒng)計檢驗

第六十七頁，共111頁。雙變量模型的統(tǒng)計檢驗在博彩支出一例中，疑問：可以認為總體回歸函數(shù)中真實的B2就等于0.08，或據(jù)此認定B2不為0嗎？若采用表2-3的抽樣結(jié)果進行OLS估計：表2-3YX23150181752420025225282502727531300293253335034375第六十八頁，共111頁。雖然OLS法得到的b2最大程度地擬合了樣本點，并且如果重復足夠多次抽樣，多個b2的均值就等于B2

；但是b2畢竟不是B2

，由于抽樣波動性，b2的數(shù)值會隨樣本的變化而不同。因此，對于總體回歸函數(shù)中的參數(shù)是否等于0（或某個假設值），需要用一個正式的檢驗過程來驗證—假設檢驗第六十九頁，共111頁。1、假設檢驗：顯著性檢驗法（1）零假設與備擇假設零假設，假設檢驗中首先要提出一個有待根據(jù)樣本信息來檢驗的、關(guān)于總體的某種說法或論斷，稱之為原假設或“0假設”,記為H0（它一般是研究者想收集證據(jù)予以反對的假設）例如H0：

B2＝0，H0：

B1＝0備擇假設，與原假設對立的假設，也稱“研究假設”，即為預備在拒絕原假設時所選擇的假設，記為H1第七十頁，共111頁?？傮w參數(shù)假設的三種形式H0:m=m0;H1:m≠m0

H0:m=m0;H1:m<m0(或H0:m≥m0;H1:m<m0)H0:m=m0;H1:m>m0(或H0:m≤m0;H1:m>m0)上述三種類型的假設檢驗依次稱為雙側(cè)檢驗（或雙尾檢驗）、左側(cè)檢驗（或左尾檢驗）和右側(cè)檢驗（或右尾檢驗），左側(cè)檢驗和右側(cè)檢驗通稱為單側(cè)檢驗（或單尾檢驗）。第七十一頁，共111頁。（2）檢驗的基本思想合理構(gòu)造一定的統(tǒng)計量，利用該統(tǒng)計量在零假設下的抽樣分布，結(jié)合樣本數(shù)據(jù)算出該統(tǒng)計量的值，并在事先確定的顯著性水平下（能容忍的犯錯誤概率），決定是否接受零假設。第七十二頁，共111頁。CLRM假設7：擾動項服從正態(tài)分布。結(jié)合3和4即為：系數(shù)b1,b2,是ui的線性函數(shù)，所以：第七十三頁，共111頁。雙變量模型：假設檢驗在假設“總體回歸函數(shù)Yi=B1+B2Xi+ui中，誤差項ui服從均值為零，方差為的正態(tài)分布，即，”之下：第七十四頁，共111頁。標準化用估計量代替方差第七十五頁，共111頁。（3）檢驗回歸系數(shù)是否為零——t檢驗用得最多的是：檢驗斜率系數(shù)是否為零。這樣一個“

0”零假設(“Zero”nullhypothesis)，也稱之為稻草人假設(strawmanhypothesis)。選擇這樣一個假設，是為了看Y究竟是否與X有關(guān)。如果X與Y就無關(guān)，那么再檢驗假設，B2=－2或B2為其他任何值就沒有意義了。當然，如果零假設為真，則就沒有必要把X包括到模型之中。因此，如果X確實屬于這個模型，那么，我們就期望拒絕“0”零假設H0而接受備擇假設H1，比如說，B2≠0。用于這一檢驗的統(tǒng)計量為：通常稱為t統(tǒng)計量，可由OLS估計結(jié)果算得。（EViews軟件在報告回歸結(jié)果時自動給出）第七十六頁，共111頁。雙變量模型：假設檢驗假設檢驗正態(tài)分布第七十七頁，共111頁。例：博彩支出一例的t統(tǒng)計量第七十八頁，共111頁。統(tǒng)計學術(shù)語的運用在t檢驗的基礎(chǔ)上，如果決定“不能拒絕H0

”，不是說它毫無疑問是真的，而是根據(jù)樣本提供的信息，我們沒有理由去拒絕它。類似的例子：法庭宣布嫌疑犯無罪≠清白不能拒絕H0第七十九頁，共111頁。（4）第一、二類錯誤與p值H0:B2=B2*拒絕H0接受H0H0為真棄真錯誤第一類錯誤判斷正確H0不為真判斷正確取偽錯誤第二類錯誤第八十頁，共111頁。在假設檢驗中，理想的做法是把這兩種錯誤發(fā)生的概率都盡量降低。但不幸的是，在樣本容量一定的條件下，無法做到?。▏酪稽c，取偽少，但棄真多；松一點，棄真少，但取偽多）。為解決該問題，在古典方法中，假定第一類錯誤（棄真）更嚴重，因而首先關(guān)注犯棄真錯誤的概率——用α表示，稱為顯著性水平（levelofsignificance）最常用的顯著性水平值為1%，5%和10%（越來越容易拒絕H0）第八十一頁，共111頁。關(guān)于回歸中報告的p值p值，又稱“精確顯著性水平”，它表示的是一個零假設H0可被拒絕的最低顯著性水平，換句話說，它直接給出了拒絕H0所犯一類（棄真）錯誤的概率（p值越低，拒絕H0的證據(jù)越充分）決策原則當p值小于給定的顯著性水平α時拒絕H0第八十二頁，共111頁。博彩支出一例拒絕H0犯一類（棄真）錯誤的概率為0.0001，即0.01%,小于5%的顯著性水平，因此拒絕H0

，認為B2在統(tǒng)計上顯著異于零，X對Y有顯著影響。p值第八十三頁，共111頁。在博彩例中，t=7.262>2，由此拒絕B2=0的零假設，認為B2顯著（顯著異于0），即從統(tǒng)計的角度，每周可支配收入X所對每周博彩支出Y具有顯著的影響。第八十四頁，共111頁。置信區(qū)間的估計第八十五頁，共111頁。第五節(jié)擬合優(yōu)度的度量：判定系數(shù)r2擬合優(yōu)度(goodnessoffit)是指樣本回歸線與樣本觀測值之間的擬合程度。判定系數(shù)r2

(Coefficientofdetermination)或R2

就是衡量樣本回歸線對數(shù)據(jù)擬合程度的總度量。如何計算呢？86第八十六頁，共111頁。恒等式變換把該式進行恒等式變換：（的變異）（由變異所解釋的部分）（未解釋部分）用小寫字母寫成與均值的離差形式：兩邊平方并求和：87第八十七頁，共111頁。平方和分解TSS=ESS+RSS88第八十八頁，共111頁。TSS=ESS+RSS兩邊同時除以TSS得：

（1）我們定義為：（2）或者寫成另一形式：（3）第八十九頁，共111頁。90第九十頁，共111頁。判定系數(shù)判定系數(shù)r2測度了在Y的總變異(variation)中由回歸模型解釋的那部分所占的比例。R2非負

91第九十一頁，共111頁。判定系數(shù)r2與相關(guān)系數(shù)的關(guān)系

相關(guān)系數(shù)r2與相關(guān)系數(shù)不同:在回歸分析中，r2是一個比相關(guān)系數(shù)更有意義的度量，因為前者告訴我們在因變量的變異中解釋變量解釋的那個部分所占的比例，即一個變量的變異在多大程度上決定另一個變量的變異，

r2為其提供了一個總的度量。92第九十二頁，共111頁。3.9正態(tài)性檢驗：誤差項ui服從正態(tài)分布嗎？假設ui是同分布的，是嗎？ei作為ui的樣本，可以進行檢驗。具體方法參照教材：P58第九十三頁，共111頁。1殘差直方圖檢驗法（基于直觀）第九十四頁，共111頁。2正態(tài)概率圖檢驗法正態(tài)概率圖(NormaProbabilityPlot,NPP)(在專用的正態(tài)概率紙上作