第四章多元回歸分析

1、第四章 多元回歸分析推論b 的分布對(duì)單個(gè)參數(shù)的檢驗(yàn) 參數(shù)檢驗(yàn)，t-檢驗(yàn)，P-值，置信區(qū)間對(duì)多個(gè)參數(shù)的檢驗(yàn) F-檢驗(yàn)多元回歸分析模型yi = b0+ mik xikæ b0 öæ m1 öæ y1 öæ1öx11Mxn1x1kLy = ç M ÷, x = çMM ÷, b = ç M ÷, m = ç M ÷ç÷ç÷ç÷ç÷ç÷ç

2、;1÷ç÷ç÷bmyxnkLèøèøèøèønkny = xb + m估計(jì)b =' y推論經(jīng)典線性模型的假設(shè) (CLM)到現(xiàn)在為止，我們知道，給定高斯-馬爾科夫假設(shè)(MLR1到MLR5)，OLS是 BLUE,為了能夠做經(jīng)典的假設(shè)檢驗(yàn)，我們需要增加一個(gè)假設(shè)（在MLR1到MLR5假設(shè)之外）MLR6. 假設(shè)u 與 x1, x2, xk，且 u 是均值為0方差為s2的正態(tài)分布： u Normal(0,s2)CLM 假設(shè) (接上頁(yè))在CLM情況下(MLR1-MLR6)

3、， OLS 不僅是BLUE，而且是所有無(wú)偏估計(jì)中方差最小的我們可以總結(jié)關(guān)于CLM的總體假設(shè)如下：y|x Normal(b0 + b1x1 + bkxk, s2) 盡管我們現(xiàn)在假設(shè)正態(tài)分布，但是顯然，事實(shí)并不總是如此大樣本情況下，我們不需要正態(tài)分布假設(shè)一個(gè)自變量情況下，同方差正態(tài)分布yf(y|x).E(y|x) = b0 + b1x.正態(tài)分布x1x2的分布b 定理1、在MLR1到MLR6的假設(shè)下，b N (b ,s 2 (x ' x)-1)其中：s 2b N (b,)jjSST (1-2R )jjb - bjjN (0,1)s2SST (1 - R 2 )jj參數(shù)檢驗(yàn)虛擬假設(shè)H0：通常是

4、母體中參數(shù)的值，一般是我們希望推翻的理論；對(duì)立假設(shè)H1：是我們希望證明是正確的理論；檢驗(yàn)統(tǒng)計(jì)量：用來(lái)決定是否拒絕虛擬假設(shè)，如t統(tǒng)計(jì)量，F(xiàn)統(tǒng)計(jì)量；拒絕區(qū)域：在一定顯著程度（例如1%，5%或10%）下虛擬假設(shè)被拒絕的區(qū)域計(jì)算出檢驗(yàn)統(tǒng)計(jì)量的值； 結(jié)論參數(shù)檢驗(yàn)如果計(jì)算出的檢驗(yàn)統(tǒng)計(jì)量的值落在拒絕區(qū)域里，則拒絕虛擬假設(shè)。此時(shí)我們得出錯(cuò)誤結(jié)論（即拒絕正確的虛擬假設(shè)）的概率是 a ， a是顯著程度。類(lèi)型I錯(cuò)誤：拒絕正確的虛擬假設(shè)如果計(jì)算出的檢驗(yàn)統(tǒng)計(jì)量的值落在拒絕區(qū)域外，則不能拒絕虛擬假設(shè)。此時(shí)我們得出錯(cuò)誤結(jié)論（即沒(méi)有拒絕錯(cuò)誤的虛擬假設(shè)）錯(cuò)誤稱為類(lèi)型II錯(cuò)誤。類(lèi)型II錯(cuò)誤：沒(méi)有拒絕錯(cuò)誤的虛擬假設(shè)類(lèi)型II錯(cuò)誤的概

5、率一般不容易計(jì)算，但與發(fā)生類(lèi)型I錯(cuò)誤的概率成反比。根據(jù)對(duì)立假設(shè)的不同，參數(shù)檢驗(yàn)分單側(cè)和雙側(cè)檢驗(yàn)。t檢驗(yàn)定理2、在MLR1到MLR6的假設(shè)下，b b-jjtn -k - 1s2(1 -2jS S T其中：R)j'm m 2s =n - k- 1t檢驗(yàn)（接上頁(yè)）知道標(biāo)準(zhǔn)化的估計(jì)量的樣本分布，我們就可以進(jìn)行假設(shè)檢驗(yàn)了從一個(gè)虛擬假設(shè)（Null hypothesis)開(kāi)始例如： H0: bj=0如果接受虛擬假設(shè)，那么就接受了“控制其它 x 之后，xj 對(duì) y沒(méi)有影響”。t檢驗(yàn)（接上頁(yè)）為了進(jìn)行我們的檢驗(yàn)，首先需要為bj一個(gè)t統(tǒng)計(jì)量：構(gòu)造º bjtse (b)b jj然后我們用這個(gè)t統(tǒng)計(jì)

6、量和一個(gè)拒絕原則來(lái)決定是否接受虛擬假設(shè)t 檢驗(yàn)：?jiǎn)芜厡?duì)立假設(shè)除了我們的虛擬假設(shè)H0之外，我們需要另一個(gè)對(duì)立假設(shè)H1和一個(gè)顯著性水平aH1 可以是單邊的，也可以是雙邊的H1: bj > 0 和 H1: bj < 0 是單邊的H1: bj ¹ 0 是一個(gè)雙邊對(duì)立假設(shè)如果我們希望錯(cuò)誤地拒絕（當(dāng)它為真，卻被拒絕）H0 的概率只有5%，那么我們說(shuō)我們的顯著性水平是 5%單邊替代假設(shè)（接上頁(yè)）選擇了一個(gè)顯著性水平a之后，我們找自由度為 n k 1 的t 分布的第1 a個(gè)百分位（percentile）處的值，把它叫做 c：臨界值如果t 統(tǒng)計(jì)量的值大于臨界值，我們拒絕虛擬假設(shè)如果t 統(tǒng)計(jì)

7、量的值小于臨界值，我們不能拒絕虛擬假設(shè)單邊對(duì)立假設(shè)（接上頁(yè)）= b0b1xi1+ bkxik + uiH1: bj > 0yi+ H0: bj = 0不能拒絕拒絕a(1 - a)c0單邊檢驗(yàn) vs 雙邊檢驗(yàn)因?yàn)閠 分布是對(duì)稱分布，檢驗(yàn)H1: bj < 0 是直截了當(dāng)?shù)?，臨界值正是上例中臨界值的相反數(shù)如果t 統(tǒng)計(jì)量 < c，那么我們可以拒絕虛擬假設(shè)，如果 t 統(tǒng)計(jì)量 > c 那么我們不能拒絕虛擬假設(shè)在雙邊檢驗(yàn)中，我們以a/2為基礎(chǔ)確定臨界 值，并且當(dāng)t 統(tǒng)計(jì)量的絕對(duì)值> c 時(shí)，拒絕虛擬假設(shè)雙邊對(duì)立假設(shè)= b0b1Xi1+ bkXik + uiyi+ H1: bj

8、¹H0: bj = 00不能拒絕拒絕拒絕a/2(1 - a)a/2-cc0虛擬假設(shè) H0: bj= 0總結(jié)除非特別說(shuō)明，對(duì)立假設(shè)都是雙邊的如果拒絕了虛擬假設(shè)，我們通常說(shuō)：“在a 的水平上，xj 統(tǒng)計(jì)上顯著”如果我們不能拒絕虛擬假設(shè)，我們通常說(shuō)：“在a 的水平上，xj 統(tǒng)計(jì)上不顯著”檢驗(yàn)其他假設(shè)當(dāng)我們要檢驗(yàn)類(lèi)似H0: bj = aj 這樣的假設(shè)的時(shí)候，我們需要t 檢驗(yàn)的一個(gè)更一般的形式這種情況下，正確的 t統(tǒng)計(jì)量是：(bj- a j )t =), 其中se (bj= 0在標(biāo)準(zhǔn)檢驗(yàn)中：a j置信區(qū)間使用經(jīng)典統(tǒng)計(jì)檢驗(yàn)的另一方式是的臨界值構(gòu)造一個(gè)置信區(qū)間A (1 - a) % 置信區(qū)間定義為

9、：邊檢驗(yàn)中± c · se (b j ), 其中c 是bj分布的 æ1- a ö 百分位的值tç2 ÷n-k -1èø計(jì)算t檢驗(yàn)的P值（p-value）經(jīng)典方法的一個(gè)替代方法是問(wèn)“虛擬假設(shè)被拒絕的最小的顯著性水平是什么？”所以，計(jì)算t 統(tǒng)計(jì)量，然后查到它在相應(yīng)的t 分布中的百分位，這就是P值P值是如果虛擬假設(shè)為真，我們觀察到現(xiàn)有t 統(tǒng)計(jì)量的概率Eviews和P值，t 檢驗(yàn)等大多數(shù)計(jì)算機(jī)軟件包(computer packages)都會(huì)為你計(jì)算雙邊檢驗(yàn)的P值。如果你真的想做單邊檢驗(yàn)，那么把雙邊檢驗(yàn)的P值除以2Eview

10、s提供 H0: bj = 0 的t 統(tǒng)計(jì)量， P值和95%置信區(qū)間，分別列在標(biāo)為 “t”, “P > |t|” 和 “95% Conf. Interval”列中檢驗(yàn)一個(gè)線性組合假想我們要檢驗(yàn)的不是b1 是否為0或是否等于一個(gè)常數(shù)，而是你希望檢驗(yàn)它是否等于另一個(gè)參數(shù)： H0 : b1 = b2用構(gòu)造t統(tǒng)計(jì)量的基本步驟，可以得到：b- bt =()12se b- b12檢驗(yàn)一個(gè)線性組合（接上頁(yè)）因：se (b - b ) =Var (b - b )，故：1212Var (b- b ) = Var (b )+ Var (b)- 2Cov (b , b)1212121se (b - b ) =(

11、)+ ése (b)222éùùse b- 2sëûëû121212()其中 s12 是Cov b, b的估計(jì)值12檢驗(yàn)一個(gè)線性組合（接上頁(yè)）所以，要應(yīng)用這個(gè)公式，我們需要知道 s12， 但是它在標(biāo)準(zhǔn)輸出結(jié)果中得不到許多軟件包包含一個(gè)選項(xiàng)，你可以選擇計(jì)算這個(gè)變量，或者也可以讓它直接為你做檢驗(yàn)在Eviews中，“reg y x1 x2 xk”之后，你鍵入：“test x1 = x2” 就可以得到檢驗(yàn)的P值更一般的情況下，你總可以通過(guò)重新表述你的問(wèn)題得到你想要得到的檢驗(yàn)例：假設(shè)你對(duì)競(jìng)選費(fèi)用對(duì)競(jìng)選結(jié)果的影響感模型是vot

12、eA = b0 + b1log(expendA) +b2log(expendB) + b3prtystrA + uH0: b1 = - b2, 或者 H0: q1 = b1 + b2 = 0b1 = q1 b2, 所以代入方程，整理得到Þ voteA = b0 + q1log(expendA) +b2log(expendB - expendA) + b3prtystrA+ u例（接上頁(yè)）：這個(gè)模型和原始模型是一個(gè)模型，但是現(xiàn)在你從基本回歸中直接得到了b1 b2 = q1 的方差估計(jì)任何參數(shù)的線性組合都可以類(lèi)似地進(jìn)行檢驗(yàn)。其他關(guān)于單個(gè)線性參數(shù)組合的例子：ÿ b1 = 1 +

13、b2 ; b1 = 5b2 ; b1 = -1/2b2 ; 等等多元線性約束到現(xiàn)在為止，我們所做過(guò)的所有檢驗(yàn)都只牽涉到一個(gè)單個(gè)的線性約束 (例如： b1 = 0 或b1 = b2 )然而，我們可能想要同時(shí)檢驗(yàn)多個(gè)關(guān)于參數(shù)的假設(shè)一個(gè)典型的例子是：檢驗(yàn)“排除性約束”（exclusions)我們想要知道是否一組參數(shù)全都是0檢驗(yàn)排除約束現(xiàn)在虛擬假設(shè)大約是：H0: bk-q+1= 0對(duì)立假設(shè)是：H1: H0 非真= 0, . , bk我們不能只是一個(gè)一個(gè)進(jìn)行t 檢驗(yàn)，因?yàn)槲覀兿胍朗欠駋 個(gè)參數(shù)在一個(gè)給定的水平上聯(lián)合顯著，可能在聯(lián)合顯著的情況下每一個(gè)單個(gè)參數(shù)都不顯著排除約束（接上頁(yè)）要進(jìn)行這個(gè)檢驗(yàn)，我

14、們需要估計(jì)不包含 xk-q+1, , xk的“受約束模型”（restrictedmodel)，還要估計(jì)所有自變量都包含的“無(wú)約束模型”(unrestricted model)直覺(jué)上，我們想要知道，SSR的變化是否足夠大，以保證 xk-q+1, , xk 應(yīng)該加入進(jìn)來(lái)：F º (SSRr - SSRur )q , 其中：SSRur(n - k -1)r表示受約束，ur表示不受約束F統(tǒng)計(jì)量F 統(tǒng)計(jì)量總是正的，因?yàn)槭芗s束模型的SSR 不可能比無(wú)約束模型的 SSR 小事實(shí)上， F 統(tǒng)計(jì)量度量的是從無(wú)約束到受約束模型， SSR 的相對(duì)增加量q = 約束的個(gè)數(shù)，或者 dfr dfurn k 1

15、=dfurF統(tǒng)計(jì)量（接上頁(yè)） 要確定當(dāng)我們的模型變?yōu)槭芗s束時(shí)，SSR 的增加是否“足夠大”，讓我們有理由拒絕排除條件（exclusions），我們需要知道我們的F統(tǒng)計(jì)量的樣本分布信息 可以證明，F(xiàn) Fq,n-k-1，其中 q 被稱為自由度，n k 1 被稱為分母自由度F統(tǒng)計(jì)量（接上頁(yè)）如果F > c在a的f(F)顯著性水平上拒絕 H0不能拒絕拒絕a(1 - a)0cFF 統(tǒng)計(jì)量的 R2形式因?yàn)镾SR可能大而難處理，有上面公式的替代形式我們利用恒等式SSR = SST(1 R2) 把公式中的 SSRu 和 SSRur 掉()-22RRqurrF º(1- R) (n - k -1

16、)2ur其中仍然有： r表示受約束，ur表示不受約束整體顯著性排除約束的特殊例子是檢驗(yàn)H0: b1 = b2= bk = 0因?yàn)橐粋€(gè)只含常數(shù)項(xiàng)的模型的R2 統(tǒng)計(jì)量形式比較簡(jiǎn)單：是0，F(xiàn)R2kF = (1- R2 ) (n - k -1)一般線性約束F 統(tǒng)計(jì)量的基本形式對(duì)任意一組線性約束都適用首先估計(jì)無(wú)約束模型，然后估計(jì)受約束模型兩種情況下都記下SSR對(duì)模型施加限制可能需要技巧可能必須再次重新定義變量例：還用剛才的選舉模型模型是 voteA = b0 + b1log(expendA) +b2log(expendB) + b3prtystrA + u現(xiàn)在零假設(shè)是： H0: b1 = 1, b3 = 0把約束代入模型: voteA = b0 + log(expendA)+ b2log(expendB) + u, 所以用voteA - log(expendA) = b0 +b2log(expendB) + u 作為受約束模型()R- Rq此時(shí)不能用22。urrF º(1- R) (n - k -1)2urF 統(tǒng)計(jì)量總結(jié)正如有了t 統(tǒng)計(jì)量，P值可以通過(guò)查t 分布表得到，有了F統(tǒng)計(jì)量，P值也可以通過(guò)查對(duì)應(yīng)的F分布的百分位得到Eview可以做到這些，只需鍵入： display fprob(q, n k 1,