第四章--方差分量線性回歸模型(共36頁(yè))

1、精選優(yōu)質(zhì)文檔-傾情為你奉上第四章 方差分量線性回歸模型本章考慮的線性模型不僅有固定效應(yīng)、隨機(jī)誤差，而且有隨機(jī)效應(yīng)。我們先從隨機(jī)效應(yīng)角度理解回歸概念，導(dǎo)出方差分量模型，然后研究模型三種主要解法。最后本章介紹關(guān)于方差分量模型的兩個(gè)前沿研究成果，是作者近期在應(yīng)用數(shù)學(xué)學(xué)報(bào)與國(guó)際數(shù)學(xué)雜志Communications in Statistics上發(fā)表的。第一節(jié) 隨機(jī)效應(yīng)與方差分量模型 一、隨機(jī)效應(yīng)回歸模型前面所介紹的回歸模型不僅都是線性的，而且自變量看作是固定效應(yīng)。我們從資料對(duì)出發(fā)建立回歸模型，過(guò)去一直是把Y看作隨機(jī)的，X1，Xp看作非隨機(jī)的。但是實(shí)際上，自變量也經(jīng)常是隨機(jī)的，而并不是我們可以事先設(shè)計(jì)好的

2、設(shè)計(jì)矩陣。我們把自變量也是隨機(jī)變量的回歸模型稱(chēng)為隨機(jī)效應(yīng)回歸模型。究竟一個(gè)回歸模型的自變量是隨機(jī)的還是非隨機(jī)的，要視具體情況而定。比如一般情況下消費(fèi)函數(shù)可寫(xiě)為 （4.1.1）這里X是居民收入，T是稅收，C0是生存基本消費(fèi)，b是待估系數(shù)。加上隨機(jī)擾動(dòng)項(xiàng)，就是一元線性回歸模型（4.1.2）那么自變量到底是固定效應(yīng)還是隨機(jī)效應(yīng)?那要看你采樣情況。如果你是按一定收入的家庭去調(diào)查他的消費(fèi)，那是取設(shè)計(jì)矩陣，固定效應(yīng)。如果你是隨機(jī)抽取一些家庭，不管他收入如何都登記他的收入與消費(fèi)，那就是隨機(jī)效應(yīng)。對(duì)于隨機(jī)效應(yīng)的回歸模型，我們可以從條件期望的角度推導(dǎo)出與最小二乘法則等價(jià)的回歸函數(shù)。我們希望通過(guò)X預(yù)測(cè)Y，也就是要

3、尋找一個(gè)函數(shù)，當(dāng)X的觀察值為x時(shí)，這個(gè)預(yù)測(cè)的誤差平均起來(lái)應(yīng)達(dá)到最小，即（4.1.3）這里min是對(duì)一切X的可測(cè)函數(shù)L(X)取極小。由于當(dāng)（4.1.4）時(shí)，容易證明（4.1.5）故當(dāng)時(shí)，（4.1.6）要使上式左邊極小，只有取。 這個(gè)結(jié)果告訴我們，預(yù)測(cè)函數(shù)取作條件期望E(Y|X)時(shí)，可使預(yù)測(cè)誤差最小。我們還可以證明，此時(shí)M(X)=E(Y|X)與Y具有最大相關(guān)，即（4.1.7）這里表示相關(guān)系數(shù)。 這是因?yàn)楫?dāng)時(shí)，易證,同時(shí),于是等號(hào)當(dāng)且僅當(dāng)（4.1.8）時(shí)成立，此時(shí)L(X)是M(X)的線性函數(shù)。(4.1.3)與(4.1.7)表達(dá)了的極好性質(zhì)，我們稱(chēng)（4.1.9）為Y關(guān)于X的回歸曲線。 上面的L(X)可

4、取一切函數(shù)。如果限定L(X)是X的線性函數(shù)，即要限定 （4.1.10）這里是對(duì)X的一切線性函數(shù)取極小，則稱(chēng)滿(mǎn)足上式的線性函數(shù)為Y關(guān)于X的回歸直線。我們可以求出的解。記，則 （4.1.11）這里 （4.1.12） （4.1.13） （4.1.14）對(duì)L(0，)求微分(矩陣微商公式)得： （4.1.15）解得 （4.1.16）這里當(dāng)然假定存在，否則使用廣義逆。此時(shí)的預(yù)測(cè)誤差方差是 （4.1.17） （4.1.18）為復(fù)相關(guān)系數(shù)。它指出了Y與多元變量之間的線性相關(guān)程度，是一元相關(guān)系數(shù) （4.1.19）的推廣。從條件期望角度我們導(dǎo)出的隨機(jī)效應(yīng)回歸模型的回歸直線表達(dá)式，與從最小二乘角度導(dǎo)出的固定效應(yīng)的回

5、歸方程，表達(dá)式是等價(jià)的，所以從計(jì)算角度，我們不怎么區(qū)分。二、方差分量模型概念上段我們建立了隨機(jī)效應(yīng)概念，將自變量也視作隨機(jī)變量，這就可以導(dǎo)出方差分量模型。方差分量模型研究工作的奠基人是我國(guó)最早的統(tǒng)計(jì)學(xué)家許寶馭馬錄先生。還是剛才提到的消費(fèi)函數(shù)回歸模型，我們作隨機(jī)抽樣?？紤]居民按職業(yè)的分類(lèi)，如工人、教師、醫(yī)生、律師、店員等等，記為，我們從這些職業(yè)中隨機(jī)抽取了n個(gè)樣本，則模型可寫(xiě)為 （4.1.20）這里Xi可看作是第i種職業(yè)對(duì)收入的效應(yīng)。如果我們事先安排好取哪個(gè)職業(yè)的，當(dāng)然Xi是固定效應(yīng)?？墒俏覀儸F(xiàn)在對(duì)職業(yè)選取是隨機(jī)的，而且我們還想研究職業(yè)效應(yīng)的方差，這就導(dǎo)入了方差分量模型，因?yàn)楝F(xiàn)在Cij的方差由兩

6、部分組成： （4.1.21）為了數(shù)學(xué)符號(hào)統(tǒng)一，我們將經(jīng)濟(jì)學(xué)中的符號(hào)改過(guò)來(lái)，剛才建立的模型是 （4.1.22）它有一項(xiàng)固定效應(yīng)，一項(xiàng)隨機(jī)效應(yīng)1，一項(xiàng)隨機(jī)誤差。如果還要考慮地區(qū)因素對(duì)消費(fèi)的影響，還可以加進(jìn)第二個(gè)隨機(jī)效應(yīng)2，于是可得模型 （4.1.23）這次我們省掉了取值的標(biāo)記，Y的方差由三項(xiàng)組成。一般地，我們建立方差分量模型如下： （4.1.24）這里有固定效應(yīng)向量，隨機(jī)效應(yīng)向量 （4.1.25）并且將隨機(jī)誤差項(xiàng)也并入了隨機(jī)效應(yīng)向量去。設(shè)計(jì)矩陣X以及 （4.1.26）都是已知的。對(duì)于隨機(jī)效應(yīng),合理的假定是 （4.1.27）當(dāng)然以后有時(shí)還可以考慮i是向量的情況，不過(guò)這里假定每個(gè)i是一維變量。記， （

7、4.1.28）則方差分量模型可記為 （4.1.29）模型的主要任務(wù)是要估計(jì)固定效應(yīng)向量與方差分量。和一般的多元線性回歸模型相比，就是待估的方差多了。通過(guò)這些介紹，我們就可以方便地將各種經(jīng)濟(jì)方面的普通線性回歸模型改造成方差分量模型，當(dāng)然要根據(jù)實(shí)際。第二節(jié) 方差分量模型的解法對(duì)于方差分量模型（4.2.1）一般都采用二步估計(jì)法，首先估計(jì)方差分量，然后再估計(jì)固定效應(yīng)。按照廣義最小二乘（4.2.2）其中（4.2.3）所以方差分量模型解法的關(guān)鍵是估計(jì)方差分量。以下介紹的方法，也都是針對(duì)方差分量估計(jì)方法而言的。 一、方差分析法先從一個(gè)簡(jiǎn)單的模型結(jié)合數(shù)據(jù)結(jié)構(gòu)形象地說(shuō)明方法?？紤]模型（4.2.4）0為總平均，是

8、固定效應(yīng)，1,，m是隨機(jī)效應(yīng)，。對(duì)于隨機(jī)誤差。這個(gè)模型如果記作方差分量模型的標(biāo)準(zhǔn)形式是（4.2.5）其中設(shè)計(jì)陣X=(1,1,，1)，隨機(jī)效應(yīng)矩陣為（4.2.6）我們手中資料只有我們采用(4.2.4)記法方便一些，將資料Y排成表 ji12k組內(nèi)平均1Y11Y12Y1k2Y21Y22Y2kmYm1Ym2Ymk方差分析主要掌握三點(diǎn)，一是計(jì)算組內(nèi)差、組間差，二是作平方和分解，三是計(jì)算各自的自由度。先計(jì)算總平均：（4.2.7）總變差(全體資料與總平均的偏差平方和)：（4.2.8）各組平均(各組資料橫向相加并平均)（4.2.9）組間差(各組平均數(shù)與總平均數(shù)的偏差平方和) （4.2.10）組內(nèi)差(各組數(shù)據(jù)與

9、本組平均數(shù)的偏差平方和) （4.2.11）則必有平方和分解 （4.2.12） 將各平方和除以各自的自由度。ST有一個(gè)約束 (4.2.7)，自由度為；SA有m組差，1個(gè)約束，自由度為m 1；Se有mk組差，m個(gè)約束，自由度為mk-m。注意有自由度分解： （4.2.13）于是算出均方： （4.2.14） （4.2.15） （4.2.16）因?yàn)榧俣殡S機(jī)效應(yīng)，可以算出各均方的均值： （4.2.17） （4.2.18）以代者，代替，得方程組： （4.2.19）解得 （4.2.20）這樣就作好了方差分量的估計(jì)，然后可以按(4.2.2)作出的估計(jì)。因?yàn)檫@里的方差分量是由方差分析法作出的，故稱(chēng)為方差分析法。

10、推廣到一般的方差分量模型時(shí)，基本原則是類(lèi)似的。我們不妨考慮方差分量模型 （4.2.21）先對(duì)總平方和YY作平方和分解 （4.2.22）其中S是在模型Y=X+中，的回歸平方和： （4.2.23）是在模型中，消去影響后1的平方和 （4.2.24）類(lèi)似地，是在模型中消去和1影響后，2的平方和： （4.2.25）最后的S為殘差平方和 （4.2.26）可以驗(yàn)證 （4.2.27） （4.2.28） （4.2.29） （4.2.30）這里 （4.2.31） （4.2.32） （4.2.33）這里P*表示關(guān)于*的投影陣。下面計(jì)算各平方和的均值。 （4.2.34）因?yàn)?，所以上式第一?xiàng)為0。在第三項(xiàng)中， （4.2

11、.35）在第六項(xiàng)中 （4.3.36）所以最后有 （4.3.37）其中 （4.2.38） （4.2.39） （4.2.40） （4.2.41）類(lèi)似還可以求得 （4.2.42） （4.2.43） （4.2.44）于是我們得到方程組 （4.2.45）解此方程組，就可以得到的估計(jì)。然后進(jìn)入二步估計(jì)的第二步，就可以得到關(guān)于固定效應(yīng)的估計(jì)。算例4.2.1 市場(chǎng)收益率與股利和換手率的關(guān)系考慮一個(gè)隨機(jī)效應(yīng)的多元線性模型U的形式如同(4.2.6)。問(wèn)題的實(shí)際背景是，觀測(cè)對(duì)象被分成了m組，可能存在一個(gè)隨機(jī)效應(yīng)向量對(duì)各組資料有不同的作用。模型也可以寫(xiě)作數(shù)據(jù)結(jié)構(gòu)及具體數(shù)值如下表所示，m=6,k=6。這些資料采自

12、9;96上海股票市場(chǎng)資料總匯。我們研究目的一是看過(guò)去一年的股利收入與當(dāng)年換手率對(duì)當(dāng)年市場(chǎng)收益率有何影響，二是想知道是否存在一個(gè)潛在的尚未觀測(cè)到的隨機(jī)效應(yīng)，對(duì)行業(yè)有明顯影響。當(dāng)然這種情況采用方差分量模型比較合適。要注意本例是兩個(gè)方差量，上一章第二節(jié)模型(3.2.10)也是兩個(gè)待估的方差量。它們的隨機(jī)效應(yīng)作用范圍不一樣，不是一回事。 表4.2.1 1996年股市資料類(lèi)別股號(hào)股名1996年收益率%1995年股利%1996年日換手率商業(yè)類(lèi)628新世界64.769203.12631中百一店46.84511.81.68632華聯(lián)商廈41.95811.31.81655豫園商城16.19511.21.1068

13、2新百公司79.9115.23.36694大連商場(chǎng)91.3885.84.26電子類(lèi)602真空電子33.112103.52651飛樂(lè)音響8.10801.95800天津磁卡271.76353.74839四川長(zhǎng)虹381.686604.41850華東計(jì)算機(jī)14.63813.27870廈華電子68.5793.94.20化工類(lèi)617聯(lián)合化纖-21.8710.51.53618鹵堿化工22.37022.63672廣東化纖11.86004.65688上海石化179.8173.54.38886湖北興化236.32852.34.45889南京化纖-33.1222.44.644.11醫(yī)藥類(lèi)664哈醫(yī)藥191.6665

14、4.32671天目藥業(yè)111.135164.11812華北制藥152.0158.44.11842中西藥業(yè)13.8212.61.71849四藥股份17.8922.51.68779四川制藥-24.744012.28鋼鐵類(lèi)608異型鋼管8.389102.24665滬昌特鋼75.391.874.01674四川峨鐵35.93233.64808馬鋼股份86.5280.54.52845鋼管股份-25.17001.61894廣鋼股份51.3712.77.08機(jī)械類(lèi)604二紡機(jī)14.4102.31605輕工機(jī)械6.12203.50610中紡機(jī)0.70102.27806昆明機(jī)床41.8521.14.22841上柴

15、股份66.981202.20862南通股份41.093201.36首先我們作普通最小二乘回歸，得到，然后計(jì)算。此時(shí)的已消除固定效應(yīng)影響，我們將它排成平面表，以作方差分析，計(jì)算與。計(jì)算過(guò)程從(4.2.7)至(4.2.20)。從下面計(jì)算過(guò)程可以看到，平方和分解式是滿(mǎn)足的：即(ST=SA+S)。對(duì)于本例資料，隨機(jī)誤差4055.6遠(yuǎn)大于隨機(jī)效應(yīng)方差，組內(nèi)差遠(yuǎn)大于組間差，可以認(rèn)為隨機(jī)效應(yīng)不明顯，即行業(yè)差別不明顯。對(duì)于選定的方差分量模型，回歸結(jié)果是它的標(biāo)準(zhǔn)差很小，為1.0084，這正是采用方差分量模型廣義最小二乘意義所在。擬合效果圖(圖4.2.1.1)令人滿(mǎn)意。-方差分量模型方差分析法計(jì)算程序, 例 4.

16、2.1. 第一列為 Y, 以后各列為 X例421.D 數(shù)據(jù)文件中, m=6, k=6, p=2要顯示原始資料嗎? 0=不顯示, 1=顯示 （0）先作普通最小二乘, 并打印結(jié)果:現(xiàn)在作線性回歸顯著性檢驗(yàn), 計(jì)算t,F,R 統(tǒng)計(jì)量請(qǐng)輸入顯著性水平a, 通常取a=0.01, 0.05, 0.10, a=? （0.05）-線 性 回 歸 分 析 計(jì) 算 結(jié) 果 樣本總數(shù) 36 自變量個(gè)數(shù) 2- 回歸方程 Y = b0+b1*X1+.+b2*X2 Y = 5.3188 + 4.5656 X1 + 6.0128 X2 回歸系數(shù) b0, b1, b2, ., b2 5.3188 4.5656 6.0128-

17、 殘差平方和: .60 回歸平方和: .30 誤差方差的估計(jì) : 4150.0170 標(biāo)準(zhǔn)差 = 64.4206-線 性 回 歸 顯 著 性 檢 驗(yàn) 顯著性水平 : .050- 回歸方程整體顯著性F檢驗(yàn), H0:b0=b1=.=b2=0 F統(tǒng)計(jì)量: 14.5517 F臨界值F(2, 33) 3.285 全相關(guān)系數(shù) R : .6846- 回歸系數(shù)逐一顯著性t檢驗(yàn), H0:bi=0, i=1,.,2 t 臨界值 t( 33) 1.6924 回歸系數(shù)b1-b 2的t值: 5.6318 1.1073- 打印方差分析資料 Y(I,J) -50.6210 -39.0275 -38.6721 137.544

18、1 -56.0541 -50.4640 -22.4490 -8.9357 -7.8936 8.0546 37.4223 -20.2416 -25.8348 221.1285 -21.4183 83.6328 -4.9701 -18.2668 -46.8722 75.9169 132.1827 -13.6501 51.7486 6.1371 30.6483 -14.9082 -34.5268 -8.9422 -40.1694 -42.8772 33.9744 20.2007 -77.2975 -103.9000 -8.8455 -81.7529計(jì)算各種平均: 總平均YYba: .0000各組平均

19、Yba: -16.216 -2.341 39.045 34.244 -18.463 -36.270計(jì)算各種變差: 總變差SST, 組間差SSA, 組內(nèi)差SSESST= .6000 SSA= 27731.9200 SSE= .7000打印方差分量的估計(jì) SIGMAA= 248.4600 SIGMAE= 4055.6240下面計(jì)算協(xié)方差陣及其逆的一塊,并作分解計(jì)算廣義最小二乘估計(jì), 模型轉(zhuǎn)換Y=PY, X=PX, 下面打印矩陣 P 的一塊, PP=的逆SIG1= .1239 -.0007 -.0007 -.0007 -.0007 -.0007SIG1= .0000 .1238 -.0008 -.0

20、008 -.0008 -.0008SIG1= .0000 .0000 .1237 -.0008 -.0008 -.0008SIG1= .0000 .0000 .0000 .1237 -.0008 -.0008SIG1= .0000 .0000 .0000 .0000 .1236 -.0009SIG1= .0000 .0000 .0000 .0000 .0000 .1235下面打印的是廣義最小二乘的統(tǒng)計(jì)結(jié)果:現(xiàn)在作線性回歸顯著性檢驗(yàn), 計(jì)算t,F,R 統(tǒng)計(jì)量請(qǐng)輸入顯著性水平a, 通常取a=0.01, 0.05, 0.10, a=? (0.05)-線 性 回 歸 分 析 計(jì) 算 結(jié) 果 樣本總數(shù)

21、36 自變量個(gè)數(shù) 2- 回歸方程 Y = b0+b1*X1+.+b2*X2 Y = .7309 + 4.5682 X1 + 5.7726 X2 回歸系數(shù) b0, b1, b2, ., b2 .7309 4.5682 5.7726- 殘差平方和: 2290.69 回歸平方和: 2014.61 誤差方差的估計(jì) : 63.6303 標(biāo)準(zhǔn)差 = 7.9769-線 性 回 歸 顯 著 性 檢 驗(yàn) 顯著性水平 : .050- 回歸方程整體顯著性F檢驗(yàn), H0:b0=b1=.=b2=0 F統(tǒng)計(jì)量: 14.5113 F臨界值F(2, 33) 3.285 全相關(guān)系數(shù) R : .6841- 回歸系數(shù)逐一顯著性t檢

22、驗(yàn), H0:bi=0, i=1,.,2 t 臨界值 t( 33) 1.6924 回歸系數(shù)b1-b 2的t值: 5.6411 1.0683-比較殘差平方和: 普通最小二乘的: .6000 : 廣義最小二乘的: 2290.6910下面打印的是利用廣義最小二乘的回歸系數(shù)去計(jì)算原始資料的回歸擬合結(jié)果:要作回歸預(yù)測(cè)嗎? 鍵入 0=不預(yù)測(cè), 1=要預(yù)測(cè) (0)回歸系數(shù): .7309 4.5682 5.7726要打印擬合數(shù)據(jù)嗎? 0=不打印, 1=打印 (0)計(jì)算結(jié)束。 -計(jì)算中需要一些分析與技巧。因?yàn)樾枰盟?4.2.2)計(jì)算*注意UU是一個(gè)分塊對(duì)角陣，共有m個(gè)對(duì)角塊，每塊是一k×k方陣，元素

23、皆為1。這樣的計(jì)算就容易了。恰好X也是分成m塊，每塊為k×p陣。于是而，這就大大簡(jiǎn)化了計(jì)算。如果真的要計(jì)算36×36的矩陣的逆，一般微機(jī)是不可能的。這個(gè)程序開(kāi)始時(shí)調(diào)用了普通多元線性回歸程序?qū)υ假Y料回歸。得到的回歸方程為擬合效果也很好(見(jiàn)圖4.2.1.2)。但是，這個(gè)模型的殘差向量的標(biāo)準(zhǔn)差為64.4206，遠(yuǎn)大于方差分量模型的1.0084。這可以對(duì)比說(shuō)明方差分量模型的作用。二、最小范數(shù)二次無(wú)偏估計(jì)方法方差分量模型中方差分量的最小范數(shù)二次無(wú)偏估計(jì)(Minimum Norm Quadratic Unbiased Estimator, MINQUE)是C.R.Rao提出的，思路類(lèi)

24、似于他處理奇異廣義線性模型的分塊逆矩陣法，先提出估計(jì)應(yīng)滿(mǎn)足的性質(zhì)，根據(jù)這些性質(zhì)去求解(一般是一個(gè)極小值問(wèn)題)，若能解出，當(dāng)然就有那些設(shè)定的性質(zhì)。考慮一般的方差分量模型(4.2.1)，我們要估計(jì)方差分量及其線性函數(shù) （4.2.46）首先考慮的估計(jì)應(yīng)具有的形式，因?yàn)槭枪烙?jì)方差，可考慮采用二次型YAY的形式，即 （4.2.47）A為待估對(duì)稱(chēng)矩陣。再來(lái)考慮YAY應(yīng)具有的性質(zhì)：(1)關(guān)于參數(shù)的平移不變性。若參數(shù)有平移： （4.2.48）則方差分量的估計(jì)應(yīng)該不變。此時(shí)原模型變?yōu)?（4.2.49）其二次型估計(jì)變?yōu)?，?yīng)該有 （4.2.50）這等價(jià)于 （4.2.51）即平移不變性(4.2.50)應(yīng)滿(mǎn)足的充要條件

25、是(2)估計(jì)量的無(wú)偏性。因?yàn)?（4.2.53）今要求對(duì)一切2成立： （4.2.54）則其充要條件應(yīng)為 （4.2.55）（3)最小范數(shù)準(zhǔn)則。經(jīng)過(guò)研究，滿(mǎn)足平移不變性與無(wú)偏性，尚不能唯一確定待估對(duì)稱(chēng)矩陣A。于是可以再加一個(gè)優(yōu)良性質(zhì)。如果隨機(jī)效應(yīng)向量i,i=1,，m是已知的，則=c2的估計(jì)應(yīng)該為 （4.2.56）這里 （4.2.57）現(xiàn)在用YAY去估計(jì)=c2，在滿(mǎn)足不變性條件AX=0時(shí)， （4.2.58）我們自然希望(4.2.56)與(4.2.58)之間相差很小，這只要求矩陣與UAU之間相差很小。我們選用矩陣范數(shù)UAU-來(lái)度量與UAU之間的差異，即應(yīng)選A使 （4.2.59）范數(shù)可選歐氏范數(shù) （4.2

26、.60）若記V=UU，則因是分塊對(duì)角陣及無(wú)偏性要求： （4.2.61）是已知的，則極小化范數(shù)等價(jià)于極小化?？偨Y(jié)上述三項(xiàng)優(yōu)良性要求，求=c2的最小范數(shù)無(wú)偏估計(jì)的問(wèn)題，歸結(jié)為求下述極值問(wèn)題：因?yàn)槟繕?biāo)函數(shù)是矩陣的跡，所以稱(chēng)為最小跡問(wèn)題。要解決極值問(wèn)題(L1)的解，可以先對(duì)其簡(jiǎn)化。因?yàn)?，V正定而存在。令 （4.2.62）則模型(L1)可變?yōu)槎ɡ?.2.1 極值問(wèn)題L2的解為 （4.2.63）其中為方程組 （4.2.64）的解，為L(zhǎng)(Z)的正交補(bǔ)空間L(Z)上的投影陣： （4.2.65）證明 先證方程組(4.2.64)兼容。設(shè)B0滿(mǎn)足極值問(wèn)題(L2)的約束條件，即 （4.2.66）則。因是往上的投影陣，

27、故，記，則 （4.2.67）引進(jìn)拉直算符，表示將Wj按列拉成一個(gè)n2×1的向量，表示將B0按列拉直成一個(gè)n2×1的向量。定義n2×m矩陣G， （4.2.68）L(G)表示按G的各列展成的子空間，是n2維。定義1為向量在L(G)上的投影 （4.2.69）2為向量在L(G)上的投影 （4.2.70）具體形式,則 （4.2.71）這個(gè)情形與最小二乘的基本原理圖標(biāo)(圖1.2.1)一樣，那里是將向量Y向子空間L(X)投影，于是存在常數(shù)1，p,使Y=X=X11+Xpp，即將Y表為X列向量的線性組合?，F(xiàn)在是必存在常數(shù)，可將表示為G的列向量的線性組合，當(dāng)然也可以將在L(G)的投影

28、1表成線性組合： （4.2.72）于是 （4.2.73）現(xiàn)在看(4.2.67)，由公式得 （4.2.74）這就證明了是方程組(4.2.64)的一組解。再證明(4.2.63)的B*是問(wèn)題(L2)的解。由于故B*滿(mǎn)足的約束條件是從方程組tr(BWi) =Ci,i=1,，m中解出來(lái)的，當(dāng)然滿(mǎn)足這個(gè)約束條件。余下看B*是否是trB2的極小值解。設(shè)B為任一滿(mǎn)足(L2)約束條件的解，記D=BB*，則D對(duì)稱(chēng)，DZ=0,tr(DWj)=0,于是 （4.2.75）因此 （4.2.76）這就證明了B*是極小值解。現(xiàn)在回到原問(wèn)題(L1)。由于(4.2.62)所定義的三個(gè)變換都是可逆變換，故(L1)與(L2)等價(jià)。于

29、是(L1)的解存在， （4.2.77）對(duì)于最小范數(shù)二次無(wú)偏估計(jì)，我們介紹了它的原理、算法、解的存在性。深入的討論還可以引出一些問(wèn)題，如解的非負(fù)性，計(jì)算的復(fù)雜性等，我們這里不再討論了。三、極大似然法在假定方差分量模型隨機(jī)效應(yīng)服從正態(tài)的情況下，可以使用極大似然法求出參數(shù)估計(jì)。設(shè)模型為 （4.2.78） （4.2.79）其它記號(hào)仍同以前。則 （4.2.80）Y的條件密度為 （4.2.81）取對(duì)數(shù)，略去常數(shù)，得似然函數(shù)方程 （4.2.82）用矩陣微商公式 （4.2.83） （4.2.84） （4.2.85）得似然方程組（4.2.86）由于似然方程組沒(méi)有顯式解，統(tǒng)計(jì)學(xué)家提出了一些迭代算法。但是在數(shù)值計(jì)算

30、技術(shù)發(fā)達(dá)的今天似乎沒(méi)有必要再介紹這些迭代算法，甚至連求導(dǎo)的似然方程組都沒(méi)有必要。對(duì)于樣本，以及已知設(shè)計(jì)陣，代入到似然函數(shù)(4.2.82)中，調(diào)用本軟件所附的計(jì)算極值的程序(由Sargent改進(jìn)的Powell算法)，就可以計(jì)算出，2的估計(jì)。第三節(jié) 方差分量模型參數(shù)的廣義嶺估計(jì)在這一節(jié)我們先將方差分量模型的方差分量化為派生模型的均值參數(shù)，分別作出其相對(duì)于LSE和BLUE的廣義嶺估計(jì)，再根據(jù)二步估計(jì)法作出原模型均值參數(shù)的廣義二乘估計(jì)及其進(jìn)一步的嶺估計(jì)，證明了這樣不僅使方差分量估計(jì)的均方誤差減少，而且使原模型均值參數(shù)估計(jì)的均方誤差也不增加和進(jìn)一步減少。我們還找到了嶺參數(shù)僅僅依賴(lài)于樣本的估計(jì)。這樣既將嶺

31、估計(jì)方法推進(jìn)至方差分量模型，也改進(jìn)了方差分量模型參數(shù)的離差均值對(duì)應(yīng)方法。一、方差分量嶺估計(jì)的構(gòu)造與性質(zhì)嶺估計(jì)和Stein估計(jì)是減少均方誤差的行之有效的方法。已有文獻(xiàn)將嶺估計(jì)推廣到多元線性回歸模型和設(shè)計(jì)陣是列降秩的情況。本節(jié)則試圖將它們推廣到方差分量模型，以期改進(jìn)離差均值對(duì)應(yīng)方法。設(shè)有一般方差分量模型（4.3.1）這里為已知設(shè)計(jì)陣，為固定效應(yīng)向量，為隨機(jī)效應(yīng)向量。假定記則模型(4.3.1)可記為（4.3.2）按照兩步估計(jì)法我們先求方差分量的估計(jì)，為此采取離差均值對(duì)應(yīng)。記，于是有模型（4.3.3）再記，因?yàn)? ，可得派生模型（4.3.4）此時(shí)原模型的方差分量成了派生模型的均值參數(shù)。對(duì)派生模型(4.

32、3.4)用最小二乘法求出均值參數(shù)的最小二乘估計(jì)(LSE)：（4.3.5）是的無(wú)偏估計(jì)，但由于派生模型是廣義線性模型，它未必是的最佳線性無(wú)偏估計(jì)(BLUE)。當(dāng)F已知時(shí)，(4.3.6)只是在一些特殊情形研究證明了。不難舉例說(shuō)明可能出現(xiàn)負(fù)值分量，也不難看出DD很容易呈現(xiàn)病態(tài)。當(dāng)X，V1，Vm中有兩個(gè)接近相等時(shí)，DD的列向量就呈復(fù)共線。因此需要對(duì)加以改進(jìn)。對(duì)亦然?？紤]原模型中心化與派生模型(4.3.4)中心化的關(guān)系，有引理4.3.1 若模型(4.3.1)設(shè)計(jì)矩陣X，U1，Um均已中心化，則派生模型(4.3.4)也已中心化。證明 已知這里,則故證畢我們不妨設(shè)D已經(jīng)中心化、標(biāo)準(zhǔn)化。當(dāng)F未知時(shí)，對(duì)模型(4

33、.3.4)定義的關(guān)于的廣義嶺估計(jì)為（4.3.7）這里K=diag(k1,km)，ki>0，i=1,m。P是正交方陣致P(DD)P=diag(1,m)=。當(dāng)k1=k2=km時(shí)，就成為狹義嶺估計(jì)。我們將看到狹義嶺估計(jì)雖然能改進(jìn)的均方誤差，但不一定能保證第二步估計(jì)時(shí)的均方誤差不增加。(K)的第i個(gè)分量記作。于是 （4.3.8）當(dāng)F已知時(shí)，定義的關(guān)于的廣義嶺估計(jì)為 (4.3.9)（4.3.10）這里P(DF-1D)P=。自然這里K、P、與(4.3.7)不同。引理4.3.2 若、存在，則 證明 僅證后式，由定義，注意K>0,證畢引理4.3.2說(shuō)明、分別是對(duì)和的壓縮。但這種壓縮是模長(zhǎng)的壓縮，有

34、的分量可能還有伸長(zhǎng)。能否使各分量都?jí)嚎s呢?我們有引理4.3.3 設(shè)存在，0<t<1，則存在函數(shù)關(guān)系，使（4.3.11）類(lèi)似地有（4.3.12）證明 令。則，且 。對(duì)亦然。證畢此時(shí)廣義嶺估計(jì)實(shí)際成了均勻壓縮估計(jì)-Stein估計(jì)。我們記。定理4.3.1 若存在，則存在區(qū)域當(dāng)(k1，km)R，有（4.3.13）這里均方誤差。類(lèi)似有（4.3.14）證明 注意雖然(0)不再是定義中的嶺估計(jì)，但仍是有意義的，令 。它們都是k1,km的函數(shù)。記B=DD+PKP，則令C=B-1PEiiPB-1，對(duì)i=1,m有對(duì)，上式第一項(xiàng)為，第二項(xiàng)為當(dāng)K=0時(shí)，。因多元函數(shù)f(K)及其一階偏導(dǎo)數(shù)連續(xù)，故存在區(qū)域R

35、，在R上。在上對(duì)每一變?cè)猭i，當(dāng)其它變?cè)潭〞r(shí)，f(K)是ki的一元嚴(yán)格遞減函數(shù)，于是當(dāng)KR時(shí)，。即(4.3.13)成立。 若令 B1= ，類(lèi)似有，同理可見(jiàn)(4.3.14)成立。證畢綜合引理4.3.3與定理4.3.1，顯然存在區(qū)域R，使(4.3.11)、(4.3.13)同時(shí)成立，或使(4.3.12)、(4.3.14)同時(shí)成立，也就是能使各方差分量估計(jì)同時(shí)縮小，并且其均方誤差也減小。當(dāng)計(jì)算得或有分量為負(fù)時(shí)，可對(duì)該分量取絕對(duì)值。令（4.3.15）（4.3.16）由于真值各分量為正，顯然有 二、嶺參數(shù)的選擇定理4.3.1中K的存在性證明里還依賴(lài)于待估的未知參數(shù)。我們需要給出僅僅依賴(lài)于樣本的嶺參數(shù)的選

36、擇。先有引理4.3.4 記,則當(dāng)（4.3.17）時(shí)，當(dāng)（4.3.18）時(shí)，取得極小值。證明 由定義，若要上式為正，只須即得(4.3.17)。對(duì)求導(dǎo)并令導(dǎo)數(shù)為0，則得(4.3.18)。證畢 引理4.3.4告訴我們，對(duì)m個(gè)廣義嶺參數(shù)的選擇可以歸到對(duì)一個(gè)參變量t的選擇，這是解決本問(wèn)題邁出的重要一步。但W中還含有未知參數(shù)。下面我們繼續(xù)尋找僅僅依賴(lài)于樣本的t的選擇。首先我們給出t的僅僅依賴(lài)于樣本的比較容易計(jì)算的下界。為此需將F表示出來(lái)。記則y=X+U,因?yàn)镼X=0，故這里。再進(jìn)一步計(jì)算。記，則可表為=，這里ei是p維向量，其第i個(gè)分量為1，其余為0。記，則，且。又為峰度。則這里。故得再結(jié)合W的定義仔細(xì)分

37、析上式。令,H是p2×p2的主對(duì)角陣。當(dāng)i=1,p1時(shí)，。當(dāng)時(shí)，等等。當(dāng)i=p(p-1)+p1+pm-1+1,p2時(shí)，。記（4.3.19）則。令（4.3.20）則。于是有定理4.3.2 當(dāng)（4.3.21）時(shí)，。這里由(4.3.19)，(4.3.20)規(guī)定，它僅僅依賴(lài)于樣本。下面我們?cè)俳o出參數(shù)t的僅僅依賴(lài)于樣本的迭代求法。F含有，以代入就記作FL,WL含義一樣。我們有定理4.3.3. 設(shè)，則的迭代過(guò)程收斂，且這里。這種迭代方法是Hemmerle在1975年提出的。其證明可參見(jiàn)參考書(shū)目7引理3.5及其推論1。這里t0取(4.3.18)式的形式顯然是合理的。下面我們研究一下的估計(jì)及性質(zhì)。在

38、有了的某種估計(jì)即有了的估計(jì)后，回到原模型(4.3.2)，按照兩步估計(jì)法，再作出的估計(jì)。此時(shí)關(guān)于仍為廣義線性模型。（4.3.22）（4.3.23）這里。類(lèi)似可定義、。我們自然希望，在第一步對(duì)方差分量采用嶺估計(jì)使其均方誤差減少以后，第二步均值參數(shù)的估計(jì)比的均方誤差不致增大。定理4.3.4 若、存在，則分別存在K>0使(4.3.13)成立，同時(shí)有（4.2.24）或使(4.3.14)成立，同時(shí)有（4.2.25）證明 因?yàn)?，故由引?.3.3及定理4.3.1，存在K>0，使(4.3.13)成立，且有。于是即(4.3.24)成立。同理可證(4.3.14)、(4.3.25)可以同時(shí)成立。證畢 如果我們找不到引理4.3.3的方法，得不到定理4.3.4的結(jié)論，那么我們的兩步估計(jì)法對(duì)嶺估計(jì)而言就將失去意義。如果發(fā)生了，那么再進(jìn)一步對(duì)采用嶺估計(jì)我們就無(wú)法判斷最終的估計(jì)的均方誤差到底是減少還是增大了?，F(xiàn)在有了定理4.3.4，我們就可以對(duì)廣義線性模型(4.3.2)繼續(xù)采用廣義嶺估計(jì)：(4.3.26)這里。是正交方陣致 。則又存在，使均方誤差進(jìn)一步縮?。海?.3.27）且存在，（4.3.28）利用這種形式，可以作出不依賴(lài)于未知參數(shù)的的估計(jì)。對(duì)亦然，不再贅述。第四節(jié) 方差分量模型參數(shù)經(jīng)驗(yàn)Bayes估計(jì)在這一節(jié)我們將構(gòu)造誤差正態(tài)的方差分量模型參數(shù)的經(jīng)驗(yàn)Bayes估計(jì)