多元統(tǒng)計分析第三章假設檢驗與方差分析

1、第3章多元正態(tài)總體的假設檢驗與方差分析從本章開始，我們開始轉(zhuǎn)入多元統(tǒng)計方法和統(tǒng)計模型的學習。統(tǒng)計學分析處理的對象是帶 有隨機性的數(shù)據(jù)。按照隨機排列、重復、局部控制、正交等原則設計一個試驗，通過試驗結(jié)果 形成樣本信息（通常以數(shù)據(jù)的形式），再根據(jù)樣本進行統(tǒng)計推斷，是自然科學和工程技術領域 常用的一種研究方法。由于試驗指標常為多個數(shù)量指標，故常設試驗結(jié)果所形成的總體為多元 正態(tài)總體，這是本章理論方法研究的出發(fā)點。所謂統(tǒng)計推斷就是根據(jù)從總體中觀測到的部分數(shù)據(jù)對總體中我們感興趣的未知部分作出推 測，這種推測必然伴有某種程度的不確定性，需要用概率來表明其可靠程度。統(tǒng)計推斷的任務 是“觀察現(xiàn)象，提取信息，建

2、立模型，作出推斷”。統(tǒng)計推斷有參數(shù)估計和假設檢驗兩大類問題，其統(tǒng)計推斷目的不同。參數(shù)估計問題回答諸如“未知參數(shù) 二的值有多大？”之類的問題，而假設檢驗回答諸如“未知參數(shù)二的值是“嗎？”之類的問題。本章主要討論多元正態(tài)總體的假設檢驗方法及其實際應用，我們將對一元正態(tài)總 體情形作一簡單回顧， 然后將介紹單個總體均值的推斷，兩個總體均值的比較推斷， 多個總體均值的比較檢驗和協(xié)方差陣的推斷等。3.1 一元正態(tài)總體情形的回顧一、假設檢驗在假設檢驗問題中通常有兩個統(tǒng)計假設（簡稱假設），一個作為原假設（或稱零假設），另一個作為備擇假設（或稱對立假設），分別記為H。和H“。1、顯著性檢驗為便于表述，假定考慮假

3、設檢驗問題：設X1, X2，,Xn來自總體N（，二2）的樣本,我們要檢驗假設(3.1 )Hi：原假設H。與備擇假設Hi應相互排斥，兩者有且只有一個正確。備擇假設的意思是，一旦 否定原假設H。，我們就選擇已準備的假設Hi。當二2已知時，用統(tǒng)計量 zX在原假設Ho成立下，統(tǒng)計量z服從正態(tài)分布zn（0,1），通過查表，查得 N（0,1）的上分位點Z 一 2。對于檢驗問題（3.1.1 ），我們制定這樣一個檢驗規(guī)則（簡稱檢驗）：當z z 2時，拒絕Ho ；當 Z WZa2時，接受 Ho。（3.2）我們稱z一很為臨界值，是N（0,1）的上分位點，不同的臨界值代表不同的檢驗。稱拒絕原假設Ho的統(tǒng)計量z的范圍

4、為拒絕域，稱接受Ho的統(tǒng)計量z的范圍為接受域，因此給出一個檢驗， 就是給出一個拒絕域。2、兩類錯誤由于樣本具有隨機性，因此在根據(jù)樣本進行判斷時，有可能犯兩種類型的錯誤。一類錯誤 是，原假設H。本來正確，但按檢驗規(guī)則卻作出了拒絕H。的判斷，這類錯誤稱為第一類錯誤 （棄真錯誤），其發(fā)生的概率 Pzza=稱為犯第一類錯誤的概率； 另一類錯誤時，原假設Ho 本來不正確，但按檢驗規(guī)則卻作出了接收Ho的判斷，這類錯誤稱為第二類錯誤（存?zhèn)五e誤），其發(fā)生的概率稱為犯第二類錯誤的概率，記為一：。同時控制這兩類錯誤是困難的，當時在樣本容量n固定的條件下，要使:-和同時減小，通常是不可能的。在假設檢驗的應用中，由奈

5、曼（NEYMAN與皮爾遜（PEARSON提出了一個原則，即在控制犯第一類錯誤的概率：條件下，盡量使犯第二類錯誤的概率小,這種檢驗問題，稱為顯著性檢驗問題。根據(jù)這一原則，原假設受到保護，不至于被輕易拒絕，一旦檢驗結(jié)果拒絕 了原假設，則表明拒絕的理由是充分的，如果接受了原假設，則只是表明拒絕的理由還不充分， 未必意味著原假設就是正確的。所以，在實際問題中，為了通過樣本觀測值對某一猜測取得強 有力的支持，通稱我們把這一猜測的否定作為原假設，而把猜測本身作為備擇假設。3、關于檢驗的p值下面，我們再介紹進行檢驗的另一種方式一一p值，我們就以（3.1.1）的檢驗問題為例來X _ 4 a加以說明，對于樣本，

6、我們通過統(tǒng)計量，計算出zo =，是一確定值，這里的 X是CF /樣本觀測值的均值，再由統(tǒng)計量z服從正態(tài)分布zN（o ,1）,計算P zo為檢驗的p值。由于z|等價于P = P z |zo蘭Pz，所以檢驗規(guī)則可以表述為：當p FWilks Lambda0.661127742.903170.0649Pillais Trace0.338872262.903170.0649Hotelling-Lawley Trace 0.512566992.903170.0649Roys Greatest Root 0.512566992.903170.0649可見P值為0.0649，所以否定原假設，即在0.10顯著

7、水平下拒絕 Ho。在實際工作中，一元檢驗與多元檢驗可以聯(lián)合使用，多元的檢驗具有概括和全面的優(yōu)點，而一 元的檢驗容易發(fā)現(xiàn)各指標之間的關系和差異，兩者的結(jié)合能給統(tǒng)計人員提供更多的統(tǒng)計分析信 息。3.3兩總體均值的比較檢驗例3.2 為了研究日美兩國在華企業(yè)對中國經(jīng)營環(huán)境的評價是否存在差異，從兩國在華企業(yè)對中國的政治、經(jīng)濟、法律、文化等環(huán)境打分，得表3-2。試分析日美兩國在華企業(yè)對中國經(jīng)營環(huán)境的評價是否存在差異？表3-2日美兩國在華企業(yè)對中國經(jīng)營環(huán)境的評價美國企業(yè)號政治環(huán)境X1經(jīng)濟環(huán)境X2法律環(huán)境X3文化環(huán)境X4美165352560美275502055美360453565美475404070美5703

8、03050美655403565美760453060美865402560美960503070美1055553575日本企業(yè)號政治環(huán)境Y1經(jīng)濟環(huán)境Y2法律環(huán)境Y3文化環(huán)境Y4日155554065日250604570日345453575日450505070日555503075日660404560日765554575日850653580日940453065日1045504570假設 X =（Xi，X2，X3，X4）服從 Nx匸 x），Y = （丫1,丫2,丫3,丫4）服從 N（S，） 下，且有10對樣品，要做復合檢驗bl1131 1一般情況下，我們考慮 Xi,X2,，Xn為取自P維正態(tài)總體Np(叫，三

9、)的一個樣本, 丫1,丫2,，Ym為取自P維正態(tài)總體Np(2，D的一個樣本。假定兩組樣本相互獨立，且_ 1 n - 1 nX = Xi，丫=Yin i amy一、有共同已知的協(xié)差陣時對于例3.2提出的問題，可歸類為假設檢驗問題：叫：亠二叮Hi：h其中叫2為已知P維向量。在一維情形下，用了統(tǒng)計量 U = X丫 n m，與前面相似的思路，在 p維時，選用統(tǒng)ct0 T n + m計量nmn mT A(X -Y) Z (X -Y)當H。成立時，2服從2(p)-分布。對給定的顯著性水平 ，從P 2 一 2(p :，求出:(p)。當2 一(P)時，拒絕；當 FWilks LambdaPillais Tra

10、ce0.376077346.2240.623922666.224150.0037150.0037Hotelling-Lawley Trace 1.659027526.224150.0037Roys Greatest Root 1.659027526.224150.0037由此可見p值是0.0037，因而日美兩國在華企業(yè)對中國經(jīng)營環(huán)境的評價存在顯著差異。3.4多個總體均值向量的比較檢驗在研究作物栽培時，要考慮播種期、品種、土質(zhì)、施肥方式、灌溉方式對產(chǎn)量的影響；在 化學反應中要觀察原料成分、劑量、催化劑、溫度、壓力，攪拌速度等對得率的影響。在很多 應用領域尤其是科學研究中，都遇到過類似的問題，常涉

11、及許多因素，這類問題要分析出影響 最“大”的因素，就是比較各種因素對試驗結(jié)果所起的作用問題。作為影響試驗結(jié)果的每一因 素或因素的某一水平或某一方案，且試驗結(jié)果都形成一個隨機總體。這樣，比較各種因素對試 驗結(jié)果所起的作用問題就變成對各種因素的試驗結(jié)果所形成的總體的比較問題。由于試驗指標常為多元指標，故常設試驗結(jié)果所形成的總體為多元正態(tài)總體。此外，我們 按照隨機排列、重復、局部控制、正交等原則設計一個試驗，除要考察的因素外，其他試驗條 件均要求一致，即要考察的試驗因素的試驗結(jié)果都是同協(xié)方差陣的且相互獨立的多元正態(tài)總體。 因而，各因素對試驗結(jié)果影響的結(jié)果的比較，就變成了多個同協(xié)方差陣的多元正態(tài)總體均

12、值向 量的比較。統(tǒng)計上解決兩個以上同協(xié)方差陣多元正態(tài)總體均值向量比較的方法叫做多元方差分 析。多個總體均值向量的比較檢驗，特別是多元方差分析正是本節(jié)的內(nèi)容，這類方法在經(jīng)濟管 理，系統(tǒng)控制，生物醫(yī)藥等許多領域有著廣泛的應用。這里先看一個具體實例。341提出問題例3.3為了研究某種疾病，對三組人測量：第1組是20至35歲女性、第2組是20至25歲男性、第3組是30至55歲男性。每組取20個人，測量第I組的第J人4個指標是：一：脂蛋白 （X；）、甘油三脂（X；2）、脂蛋白（X（3）、前0脂蛋白（X（4 ）。測量結(jié)果見表3-3。 問三組人的指標間有沒有顯著差別？表3-3脂蛋白、甘油三脂、丄脂蛋白、前脂

13、蛋白數(shù)據(jù)(1)Xj；(1)Xj2(1)Xj3(1)Xj4(2) Xj1j2)Xj2j2)Xj3j2)Xj4j3)Xj1j3)Xj2j3)Xj3j3)Xj4260754018310122302132064391720072341731060351826059371124087451819040271536088282617065391722565341629510036122701103924170653716270653221205130342321082311738011436211906927 1528067 :371824055P 4210200464515210383617260553

14、42025011721202806530232601102920200107282020076401729573332122513036 11120076 3920240114P 3818210125261728094261131010332181706431 11419060 13317330112211127076331329555301634512724201906034 16270125 :242125062P 22162808120182801203218260592119310119251524062 343027057318280692920345120

15、3618250673114370703020360107252326013539292804037172501173616問題中的3組人的測量值X、X、X，每個隨機向量有4個指標，即4維隨機 向量。例3.3要從每個總體20個樣品值出發(fā)，檢驗 E(X)=E(X(2) = E(X(3)是否成立。3.4.2單因素方差分析的數(shù)學模型方差分析的目的在于找出自變量與因變量之間的線性關系，或自變量對因變量的實驗效果。方差分析是一種處理實驗數(shù)據(jù)的方法，考察一個被稱為因變量或相依變量(depe nde nt variable,)的連續(xù)響應變量，又稱反應變量(Response Variable)，其數(shù)值則是連續(xù)的

16、，它在由分類變量識別的幾種試驗條件下被測量，這些分類變量被稱為自變量，獨立變量(independent variable)，定性變量(Qualitative Variable )或分類變量(Classification Variable)，其數(shù)值多半是不連續(xù)的。這些分 類變量的水平組合形成試驗設計的單元。例如，某個試驗要測量男人和女人的重量變化(因變 量)，他們采取了三種不同的減肥方法，這個設計的6個單元由性別(男、女)和減肥方法(A、B、C) 6種組合形成。一項試驗有多個影響因素，因素也可以看成是一種變量，其取值不是數(shù)，而是水平。例如 “產(chǎn)地”是一個變量，它取的值是“北京”、“上?！?、“南京

17、”等。這種變量稱為屬性變量，定性變量或分類變量如果只有一個因素在發(fā)生變化，其他因素保持不變，貝U稱為單因素試驗， 與之對應的方差分析，稱為單因素方差分析。我們所考察的影響產(chǎn)品指標的因素(如產(chǎn)地，溫度)也稱為因子，用大寫字母 A,B,C表示。因素所能處的狀況，如甲、乙、丙；60, 65, 70, 75,，稱為因素的水平，簡稱為水平。水平常以A, A2, B1, B2,.表示。一般地，假設因素 A有k個水平：A,.,Ak。對第i個水平A進行試驗，獨立觀察 ni次， i=1,2，k，整個試驗共作了 n1 n2 nk = n次，且完全隨機排列。設A的第j次觀察的試驗指標為p維向量X(i) =(x(1)

18、,x(2),，X(ip) Np(Ui2) i=1,2，k , j=1,2，ni 假設：(1) 同一個水平Aj下得到的觀測值X1(1), x2)xni ;X1(k)，X，由于實驗過程中各種偶然因素的干擾及測量誤差所致，每次實驗中這些偶然因素的總和稱為實驗誤差，它們是方差相同的零均值正態(tài)隨機變量；(2) 所有誤差相互獨立；(3) 由于水平的不同，可能會給Xj一個定量的確定性的影響，其大小是未知的。假定=1 0譏令：.j =丄n i于是有模型：；ij1 Np(0j)且相互獨立i =1,2, ,k , j -1,2,其中卩稱為總體均值向量， 為A的主效應向量， 為a的第j次觀察的隨機誤差向量，根 據(jù)假

19、設相互獨立且均服從 Np(0,匕)。判斷這個因素的影響是否顯著就是要檢驗假設:Ho ： 1 = 2 八八 k =0 Hi : 1 , 2 ,k 不全為 0( 3.7)1 ni設第I組樣本均值X 丄 x(i)ni j41 kni總均值Xx(i)n i 4 j4kni 樣本組內(nèi)差EM二(X； -茹)以- 丁)i 1 j 1k 樣本組間差 B = 7 n/X - X)(X - X(i),i 4k niA 八 、(Xj -XHXj - X)= B E，i =1 j 呂對于該檢驗問題的統(tǒng)計量，取 WILKS統(tǒng)計量上 二 E/A定理3.3若打則上二E / A服從WILKS分布二p, n _k.1,k _2

20、x(2)x,x證明參見朱道元第177頁例3.3為了研究某種疾病，對三組人測量：第 1組是20至35歲女性、第2組是20至25歲男 性、第3組是30至55歲男性。每組取 20個人，測量第I組的第J人4個指標是：一：脂蛋白(i)(i)(i)(x(7 )、甘油三脂(X；?)、脂蛋白(x；3 )、前：脂蛋白(Xj4 )。測量結(jié)果見表3.3。問三組人的指標間有沒有顯著差別?x(2)x,xx(2)x,x解這兒有3個總體，建立假設 H 0 ： S二篤八1不全相等x(2)x,xx(2)x,x計算三總體樣本均值231.0253.5292.7589.672.5590.232.932.4531.75.17.1 一.

21、17.9 一-18.4 一x(2)x,xx(2)x,x計算組內(nèi)差x(2)x,x305306298-107819515736.8 -796.8 1387.8 Ei =I .95590.2413.8517057021.5-1571.582712288.95 -807.95 321.1 E2 =.364.95-5.1133.843173.759959-1301.2572312441.2-333457.4E3 =.761.5-112476.812504.823278.5-395.75174840466.395 -1937.752166.3E =巳 +E2 + Er=.2082.5-26.9.1024.

22、2計算組間差39065.832307.92-724.08786 14017.23-35.82-26.9B =13.43-14.7J17.2 一計算總方差-164474.5825586.4244484.18-4674.83-1973.572534 12139.4A=B+E=.2095.93-41.61041.4 一計算上統(tǒng)計量一i = |E|/帆二0.6621 ，查得 A p,n4 4k/ (0.01) = 0.7090.6621 ；所以高度顯著否定 H。，故三組人身體指標有顯著差異。3.5總體協(xié)差陣相等的檢驗本章第三節(jié)和第四節(jié)中， 總假定不同總體的方差是相同的，這一假定是否合理？在一些問 題中

23、應當加以證明。3.5.1個正態(tài)總體協(xié)方差陣的檢驗設Xi,X2,，Xn為取自P維正態(tài)總體Np(d2)的一個樣本，二未知，且三0。首先，我們考慮假設檢驗問題:Ho : = I p， HiIp所構(gòu)造的檢驗統(tǒng)計量為一 expQtrA A n2(np2其中nTA 八(Xj _X)(Xj _X)i A然后，我們考慮假設檢驗問題：Ho :二匸0 = I p， H1 ： ：匸0 = I p因為Zo0，所以存在非奇異矩陣D，使得DoDT = Ip令丫 =DXj, i =1,2，,n則Y NP(D),D3Dt ) =NP(H )因此檢驗二二70等價于匕=I p此時構(gòu)造檢驗統(tǒng)計量為階沖* A*.苫嚴其中n*-、TA

24、=v (Yj -Y)(Yj -Y)i A給定檢驗水平,因為直接有的分布計算臨界值很困難，所以通常采用的近似分布。在H 0成立時，- 21n 的極限分布是2 (p( p 1). 2)，因此當n p ,由樣本值計算出值，若-21 n 2.，即 e_：2，則拒絕Ho，否則不能拒絕 Ho。3.5.2多個協(xié)方差陣相等檢驗剛才討論的檢驗、-lo是一個正態(tài)總體協(xié)方差陣的檢驗，是檢驗當前協(xié)方差陣與過去是否一樣，在一些實際問題中，可能會遇到多個正態(tài)總體的協(xié)方差陣是否相等的問題。設有k個正態(tài)總體分別為 Np(叫,Zi ),，Np(k ,6)，匕i - 0且未知，i = 1,2，k從第i個總體中取ni個樣本Xj=

25、(x(1),x(2)，x(p) Np(Ui Ji ), j這里n1 n2川卷nk =門為總樣本容量。=1 ,2, ni我們考慮假設檢驗問題為H o : 1=匸2=_=k，構(gòu)造檢驗統(tǒng)計量為Hi仁i 不全相等np 2i AAn2k p：2丨ni 4山A (Xj(i)_X(i)(X(i)_X(i)T，j 二(i)X1ni二丄V X(i) j ?ni j m按照Bartlett的建議，記 Nj二山kni 二血 = NANi 2NNp2k廠 NiNip2i=1-1, N = n - k得到修正的檢驗統(tǒng)計量則在Ho成立時,2(f)，其中1-2lnr的極限分布是一1 d1f =2 p(p 1)(k T)汁+

26、3p-1眩1 1 I Nk環(huán)必相等; d =6(p+1)(k-1) #Ni N!(2p3p-1)(k+1),也廂等I6(p+1)Nk例3.4有甲、乙兩品種，取得如表3-4所示的兩個二元正態(tài)樣本，試檢驗 H。： 1=匕2觀察值和Z Xi2工 X1X23002322171002863201455385109甲X23525431017123341726085 (2)200 :150r 333150283383350P 3002149635167乙X1616381* Z v5043834173808610055642044表3-4方差陣檢驗數(shù)據(jù)&32271.5-3742.51解：A =-3742.58

27、95.5 一90163.4 8540.0 A 8540.04297.5A =14892822A2 =460883525A =314545504.17 8991 1 2 2 852A I2|1 2 2 852 3 4 0.2In Aj =16.5164In A2 =17.6461In A =19.5666由于 p =2，k =2，-2In 丨 N In A-p I nN 亠 p N k I nN k N k IniTiTN -12，故Ak=175.1614 43.3371 -206.0957 =7.815d =0.18741匕p(p皿仆311 -d0.052(3) = 9.6176由于-2ln

28、6176，故應拒絕H0 :72，即認為11 ,匕2有顯著差異。3.6獨立性檢驗X (1) | q一個隨機向量 X = | (2)，若其中兩子向量相互獨立，則可化為兩個低維隨即向量x(2處理，給統(tǒng)計分析帶來極大的便利，因此檢驗一個隨機向量的子向量之間是否獨立是參數(shù)假設檢驗中的重大課題，而當陟Np隠冒-X 一 I 尸一二 21-12 時，X,x(2)相互獨立口 X,x(2)互不相22J關二712 =0(二 二21 =0)。這時，X (1) , X的獨立性檢驗可歸結(jié)為參數(shù)假設檢驗。般情況下，設 XNp(1) ,3正定，將X分割成k個子向量:X =(x(1),x(2),，x(k) )T,其中X的維數(shù)為

29、Pi , ik= 1,2，kPi = p，將與三也作相應的剖分:i =4亠工11V己121 k卩(2)9,龍=21S22a2kmHkl1 1k1Ik2kk _必卩=檢驗子向量x(1)，,X(k)之間的相互獨立的假設問題可寫成:i , j 2, kH1 : j =0至少有一對i, j也就是說，如果H。成立，則00-22-kk現(xiàn)從總體X Np(丄，0抽取容量為n的樣本X1 ,X2，Xn ,將樣本的總離差陣nA (x X)(Xi X)T，剖分成i 4a11a12a1 pA11A-m12Aika21a22sa2pa=A21A22A2ka.a p1a p2app 1Ak1A-Mk2Akk _A 二P1P2Pk也可以計算樣本相關陣，并作相應剖分112r1 pR11R12R1kr21i1 亠ar2p費R21aR22aR2karp1rp2 1px：pRk1 a SRk2Rkk _PlP2Pk其中rij= aij 、aiiajj檢驗問題(3.6.1)式的似然比統(tǒng)計量為IA通常取v|AlR 作為統(tǒng)計量n Aiii z!n Riii z1關于在Ho成立