統(tǒng)計(jì)學(xué)概念和方法第7章

第七章假設(shè)檢驗(yàn)數(shù)學(xué)與信息科學(xué)學(xué)院王坤TELellowang@163.統(tǒng)計(jì)學(xué)概念和方法統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第1頁(yè)!主要內(nèi)容作為一個(gè)問(wèn)題的假設(shè)：備擇假設(shè)、回答假設(shè)時(shí)的錯(cuò)誤怎樣回答零假設(shè)所提出的問(wèn)題：p值假設(shè)檢驗(yàn)的機(jī)制拒絕或接受零假設(shè)顯著水平雙邊檢驗(yàn)假設(shè)檢驗(yàn)和構(gòu)造置信區(qū)間不拒絕零假設(shè)意味著什么Excel2007在假設(shè)檢驗(yàn)方面提供的功能小結(jié)問(wèn)題統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第2頁(yè)!統(tǒng)計(jì)推斷包括估計(jì)和假設(shè)檢驗(yàn)。估計(jì)的任務(wù)是根據(jù)樣本尋找總體參數(shù)值及其范圍。那么，這樣估計(jì)的把握性有多大呢？假設(shè)檢驗(yàn)的興趣是對(duì)任意一個(gè)有關(guān)未知分布的假設(shè)。假設(shè)檢驗(yàn)又分為參數(shù)檢驗(yàn)和非參數(shù)檢驗(yàn)。參數(shù)檢驗(yàn)考慮總體參數(shù)是否等于某個(gè)特定的值。非參數(shù)檢驗(yàn)是考慮利用子樣擬合總體分布。本章只介紹參數(shù)檢驗(yàn)。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第3頁(yè)!例1988年7月28日的紐約時(shí)報(bào)上刊登了一篇關(guān)于人們地理知識(shí)的文章。這篇文章描述了一個(gè)調(diào)查公司的研究結(jié)果。研究者們從一些國(guó)家抽取許多成年人并請(qǐng)他們鑒別在一個(gè)地圖上的16個(gè)地方，然后把每個(gè)人答對(duì)的個(gè)數(shù)加起來(lái)。四個(gè)國(guó)家的樣本中答對(duì)的個(gè)數(shù)的均值為美國(guó)6.9墨西哥8.2英國(guó)9.0法國(guó)9.2上述結(jié)果是一個(gè)樣本均值的情況，可以輕易獲得樣本均值差。那么，總體均值是否有差異呢？統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第4頁(yè)!記μm為墨西哥的總體均值，μu為美國(guó)的總體均值。那么零假設(shè)可以寫成：H0：μm-μu=0H代表假設(shè)，下標(biāo)0表明是零假設(shè)?！傲恪钡囊馑际羌僭O(shè)內(nèi)容的差異為零。注：希臘字母代表總體參數(shù)。零假設(shè)就是提出一個(gè)參數(shù)是否等于某一個(gè)特殊值。形式上，零假設(shè)寫成：H0：參數(shù)=值統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第5頁(yè)!回答假設(shè)時(shí)的錯(cuò)誤真實(shí)狀態(tài)檢驗(yàn)結(jié)論接受H0拒絕H0H0為真正確類錯(cuò)誤（棄真，α錯(cuò)誤）H1為真第二類錯(cuò)誤（存?zhèn)?，β錯(cuò)誤）正確零假設(shè)的問(wèn)題有兩個(gè)答案，“是”或者“不是”。但由于樣本所攜帶的信息是來(lái)自樣本而不是總體，其信息量會(huì)受到限制，就有可能提供錯(cuò)誤答案。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第6頁(yè)!思考一個(gè)人因?yàn)闅⑷硕軐徖怼Ｋ麑?shí)際上是有罪的，但法官確認(rèn)他為無(wú)罪。這里零假設(shè)是：一個(gè)人是無(wú)罪的除非你能證明他有罪。則此案中，法官犯的是類錯(cuò)誤還是第二類錯(cuò)誤？法官犯另外一類錯(cuò)誤的情形是怎樣的？統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第7頁(yè)!p值p值（pvalue）就是當(dāng)原假設(shè)H0為真時(shí)所得到的樣本觀察結(jié)果或更極端結(jié)果出現(xiàn)的概率。如果p值很小，說(shuō)明這種情況的發(fā)生的概率很小，而如果出現(xiàn)了，根據(jù)小概率原理，我們就有理由拒絕原假設(shè)，p值越小，我們拒絕原假設(shè)的理由越充分?？傊?，p值越小，表明結(jié)果越顯著。通常，如果p值<0.05，說(shuō)明樣本結(jié)果是統(tǒng)計(jì)顯著的，拒絕H0。如果p值>0.05，說(shuō)明結(jié)果更傾向于接受假定H0。這里的0.05稱為顯著水平。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第8頁(yè)!正態(tài)分布N(μ,σ2)自由度為10的t-分布統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第9頁(yè)!拒絕或接受零假設(shè)剛才計(jì)算得到的p=0.00001是一個(gè)非常非常小的概率。對(duì)此情況有兩種解釋：1.零假設(shè)是正確的，但觀測(cè)到的數(shù)據(jù)恰好是不常發(fā)生的那一類；2.觀測(cè)到的數(shù)據(jù)是常見的那一類，那么零假設(shè)就是錯(cuò)誤的。由于總體均值相等時(shí)樣本均值有1.3的概率為p=0.00001，所以我們選擇第二種解釋，拒絕H0，即認(rèn)為兩個(gè)總體均值差異不是零.統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第10頁(yè)!雙邊檢驗(yàn)正態(tài)分布和t分布是對(duì)稱的。上述例子中，備擇假設(shè)為：H1:μm-μu≠0上式中不等于零的意思可以理解為大于零或者小于零，即否定域分配到抽樣分布的兩端故稱為雙邊檢驗(yàn)。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第11頁(yè)!正態(tài)總體均值檢驗(yàn)：μ0=μ1統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第12頁(yè)!7.6假設(shè)檢驗(yàn)和構(gòu)造置信區(qū)間二者都是與樣本數(shù)據(jù)為基礎(chǔ)，做出關(guān)于參數(shù)值的結(jié)論。設(shè)置信區(qū)間的范圍是從L到U，若果零假設(shè)中相關(guān)的參數(shù)值在L和U之間，那么我們不拒絕零假設(shè)，如果參數(shù)值在這個(gè)區(qū)間之外，則拒絕零假設(shè)。置信區(qū)間比假設(shè)檢驗(yàn)提供更多的信息。因?yàn)樗o了我們參數(shù)值的可能取值范圍，而假設(shè)檢驗(yàn)只考慮了一個(gè)可能的參數(shù)值。如果總體參數(shù)值不等于這個(gè)值，那么我們就不知道它是多少了。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第13頁(yè)!關(guān)于合作性與競(jìng)爭(zhēng)性的心理測(cè)試一個(gè)心理學(xué)家正在研究對(duì)一項(xiàng)工作如何能有效地使一群人在他們的工作策略上進(jìn)行合作或者競(jìng)爭(zhēng)。在觀測(cè)了8組人群后，有7組人群被劃為合作類。心理學(xué)家想知道這一現(xiàn)象是隨機(jī)的還是和工作本身有關(guān)。記π為一群人合作的概率。如果是隨機(jī)現(xiàn)象，那么π=0.5，且服從二項(xiàng)分布。于是建立假設(shè)：H0：π=0.5套用二項(xiàng)分布公式=0.0312即p值=0.0312，這個(gè)p值大于0.05/2=0.025這個(gè)雙邊假設(shè)的檢驗(yàn)標(biāo)準(zhǔn)，所以接受H0。即每一組合作與否可能完全有運(yùn)氣決定，與工作本身無(wú)關(guān)。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第14頁(yè)!這里引用費(fèi)歇爾的原話：“相信一個(gè)假設(shè)已經(jīng)被證明是真的，僅僅是由于該假設(shè)與已知的事實(shí)沒有發(fā)生相互矛盾，這種邏輯上的誤解，在統(tǒng)計(jì)推斷上是缺乏堅(jiān)實(shí)根基的，在其它類型的科學(xué)推理中也是如此。當(dāng)顯著性檢驗(yàn)被準(zhǔn)確使用時(shí)，只要顯著性檢驗(yàn)與數(shù)據(jù)相矛盾，這個(gè)顯著性檢驗(yàn)就能夠拒絕或否定這些假設(shè)，但該顯著性檢驗(yàn)永遠(yuǎn)不能確認(rèn)這些假設(shè)一定是真的，……”所以假設(shè)檢驗(yàn)的目的在于試圖找到證據(jù)拒絕原假設(shè)，而不在于證明什么是正確的。當(dāng)沒有足夠證據(jù)拒絕原假設(shè)時(shí)，不采用“接受原假設(shè)”的表述，而采用“不拒絕原假設(shè)”的表述?！安痪芙^”的表述實(shí)際上意味著并未給出明確的結(jié)論，我們沒有說(shuō)原假設(shè)正確，也沒有說(shuō)它不正確。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第15頁(yè)!統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第16頁(yè)!小結(jié)零假設(shè)說(shuō)參數(shù)等于某個(gè)值，名稱的來(lái)歷是說(shuō)參數(shù)值的變化或者差異為零。備擇假設(shè)是零假設(shè)邏輯上的反面假設(shè)，通常描述的是兩個(gè)參數(shù)的差別。類錯(cuò)誤和第二類錯(cuò)誤。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第17頁(yè)!問(wèn)題1統(tǒng)計(jì)顯著是什么意思？樣本數(shù)據(jù)導(dǎo)致拒絕零假設(shè)。2.什么是零假設(shè)？零假設(shè)與備擇假設(shè)有什么不同？二者如何表示？零假設(shè)是某個(gè)參數(shù)是否等于一個(gè)特定的值。而備擇假設(shè)是問(wèn)：參數(shù)是否等于所有沒有在零假設(shè)中限定的值。H0和H1。3.一般來(lái)說(shuō)，如果樣本均值與零假設(shè)中所設(shè)的總體均值相差很大，是否應(yīng)該拒絕零假設(shè)？當(dāng)樣本統(tǒng)計(jì)量與零假設(shè)中限定的值相差很大時(shí)，我們拒絕零假設(shè)。4.p值能告訴我們什么信息？顯著水平與p值有和區(qū)別？p值表示，當(dāng)零假設(shè)為真時(shí)，從總體得到數(shù)據(jù)時(shí)的概率；顯著水平是事先設(shè)定的一個(gè)非常小的概率，而p值是由樣本統(tǒng)計(jì)量計(jì)算出來(lái)的。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第18頁(yè)!9某英語(yǔ)培訓(xùn)學(xué)校對(duì)教學(xué)方法的改進(jìn)做了一個(gè)實(shí)驗(yàn)。在同一門課程中，將18名學(xué)生等分成A組和B組分別采用新舊兩種方法教學(xué)。然后對(duì)兩組學(xué)生進(jìn)行測(cè)試。得到A組學(xué)生成績(jī)均值為87.65，B組學(xué)生成績(jī)均值為87.61，假設(shè)兩組學(xué)生近似正態(tài)且方差相等。那么如何說(shuō)明新舊兩種方法不同呢？做假設(shè)檢驗(yàn)：H0:μA=μBH1:μA<μB統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第19頁(yè)!7.1作為一個(gè)問(wèn)題的假設(shè)在上述問(wèn)題中，來(lái)自墨西哥和美國(guó)的總體均值差異是否為零？零假設(shè)(原假設(shè)）

墨西哥與美國(guó)的樣本均值差為8.2-6.8=1.3，這個(gè)值是否超出樣本抽樣隨機(jī)性解釋范圍？為此，我們可以假設(shè)總體均值相等，即兩個(gè)總體的均值之差為零。這就是統(tǒng)計(jì)學(xué)中的零假設(shè)(nullhypothesis）。在這個(gè)例子里，零假設(shè)就是問(wèn)這兩個(gè)總體均值之差是否等于零。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第20頁(yè)!備擇假設(shè)零假設(shè)邏輯上的反面假設(shè)是“兩個(gè)參數(shù)的差異不為零”，這種反面假設(shè)稱為備擇假設(shè)(alternativehypothesis)。上述例子中，備擇假設(shè)為：H1:μm-μu≠0顯然，零假設(shè)H0與備擇假設(shè)H1不相容。如果樣本數(shù)據(jù)能證明零假設(shè)提出的問(wèn)題應(yīng)該否定，那么我們就拒絕零假設(shè)H0，而傾向于備擇假設(shè)H1。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第21頁(yè)!犯兩類錯(cuò)誤的概率當(dāng)然是越小越好，但是當(dāng)樣本容量n固定時(shí),α,β不能同時(shí)都小，即α變小時(shí),β就變大；而β變小時(shí)，α就變大。只有當(dāng)樣本容量n增大時(shí)，才有可能使兩者同時(shí)變小。在實(shí)際應(yīng)用中,人們常遵循Neyman-Pearson原則：在控制犯類錯(cuò)誤的概率α的條件下，尋找拒絕域（或檢驗(yàn)法則），使得犯第二類錯(cuò)誤的概率β達(dá)到最小。不過(guò)，基于Neyman-Pearson原則的最優(yōu)檢驗(yàn)不一定存在。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第22頁(yè)!7.2怎樣回答零假設(shè)所提出的問(wèn)題為了確定1.3這么大的差異是否屬于一類不常見的數(shù)據(jù)集合，我們計(jì)算當(dāng)總體差別為零時(shí)，得到一個(gè)大于等于1.3的樣本均值之差的概率。這個(gè)概率稱為p值。當(dāng)p值很小，以至于幾乎不可能在零假設(shè)正確時(shí)出現(xiàn)目前的樣本數(shù)據(jù)時(shí)，我們就拒絕零假設(shè)。p值越小，拒絕零假設(shè)的理由就越充分。著名統(tǒng)計(jì)學(xué)家R.Fisher把0.05作為標(biāo)準(zhǔn)，即0.05或者比0.05小的概率被認(rèn)為是小概率事件。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第23頁(yè)!假設(shè)檢驗(yàn)的機(jī)制為了求得p值，我們需要把觀測(cè)到的樣本均值之差轉(zhuǎn)換為t=4.25。（這個(gè)過(guò)程好比把華氏度轉(zhuǎn)換為攝氏度）這里美國(guó)的樣本包含了1600個(gè)觀測(cè)，墨西哥的樣本有1200個(gè)觀測(cè)。這個(gè)例子里，對(duì)于觀測(cè)數(shù)大于2000的樣本來(lái)說(shuō)，t值大于等于4.25的概率是0.00001。即樣本均值之差大于等于1.3的概率為0.00001，這個(gè)結(jié)果是非常非常顯著的。注：統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第24頁(yè)!統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第25頁(yè)!7.3顯著水平在收集數(shù)據(jù)之前，統(tǒng)計(jì)學(xué)家已經(jīng)根據(jù)預(yù)定的小概率確定好一個(gè)區(qū)間（拒絕域），這個(gè)小概率稱為檢驗(yàn)的顯著水平（significantlevel），通常選0.05。這個(gè)顯著水平通常認(rèn)為是一個(gè)合理的風(fēng)險(xiǎn)。顯著水平為0.05的意思是：在零假設(shè)正確的情況下進(jìn)行100次抽樣，會(huì)有5次錯(cuò)誤地拒絕零假設(shè)。顯著水平是允許犯類錯(cuò)誤的最大概率。顯著水平是允許犯第一類錯(cuò)誤的最大概率。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第26頁(yè)!備擇假設(shè)也可改為H1:μm-μu>0這表示墨西哥人的人均水平不低于美國(guó)的人均水平。這是一個(gè)單邊假設(shè)。通常可以用數(shù)學(xué)方法根據(jù)顯著水平，得到單邊假設(shè)的拒絕域。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第27頁(yè)!各種檢驗(yàn)統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第28頁(yè)!7.7統(tǒng)計(jì)顯著和實(shí)際顯著在一些實(shí)際問(wèn)題場(chǎng)合中，統(tǒng)計(jì)顯著性可能是微不足道或者是沒有意義。一個(gè)統(tǒng)計(jì)顯著的結(jié)果在實(shí)際中并不一定是一個(gè)顯著結(jié)果。在大樣本中，大多數(shù)結(jié)果都是統(tǒng)計(jì)顯著地。一個(gè)結(jié)果在實(shí)際中顯著與否只有在研究清楚了來(lái)龍去脈后才能下結(jié)論。例如，兩個(gè)樣本均值相差0.1，并且零假設(shè)被拒絕（統(tǒng)計(jì)顯著）。按說(shuō)我們得承認(rèn)總體均值有差異，但如果總體數(shù)量很大，一些實(shí)際問(wèn)題中，我們認(rèn)為實(shí)際不顯著。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第29頁(yè)!不拒絕零假設(shè)意味著什么P值大于α的時(shí)候，結(jié)論到底是什么呢？最早提出這個(gè)問(wèn)題的是：E·皮爾遜問(wèn)耶日·奈曼，在檢驗(yàn)一組數(shù)據(jù)是否為正態(tài)分布時(shí)，如果沒能得到一個(gè)顯著性的P值，那么怎樣才能看這組數(shù)據(jù)是正態(tài)分布的呢？費(fèi)歇爾其實(shí)已經(jīng)間接地回答了這個(gè)問(wèn)題。費(fèi)歇爾把比較大的P值（代表沒有找到顯著性證據(jù)）解釋為：根據(jù)該組數(shù)據(jù)不能做出充分的判斷。統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第30頁(yè)!Excel2007在假設(shè)檢驗(yàn)方面提供的功能成對(duì)觀測(cè)值t檢驗(yàn)；方差相等的雙樣本t檢驗(yàn)；方差不等的雙樣本t檢驗(yàn)；兩均值差的z檢驗(yàn)；雙樣本差的F檢驗(yàn)；卡方檢驗(yàn)；方法，在表格區(qū)里錄入兩組數(shù)據(jù)后，點(diǎn)“數(shù)據(jù)”->“數(shù)據(jù)分析”，按提示進(jìn)行傻瓜式操作即可。Excel2003也可進(jìn)行假設(shè)檢驗(yàn)：工具加載宏數(shù)據(jù)分析統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第31頁(yè)!統(tǒng)計(jì)學(xué)概念和方法第7章共35頁(yè)，您現(xiàn)在瀏覽的是第32頁(yè)!P值是在零假設(shè)為真（即參數(shù)等于某個(gè)值）時(shí)觀測(cè)到的或比它更極端的數(shù)據(jù)的概率。它給出了在多次抽樣中能得到某種數(shù)據(jù)的機(jī)會(huì)的大小。它不是零假設(shè)為真的概率。如果p值非常?。ㄒ话阈∮?.05或者0.025）就拒絕零假設(shè)。當(dāng)一個(gè)零假設(shè)被拒絕時(shí)，我們可以說(shuō)樣本結(jié)果是統(tǒng)計(jì)顯著的。根據(jù)不同的問(wèn)題，樣本值須轉(zhuǎn)換