非參數(shù)假設(shè)檢驗(yàn)方法

非參數(shù)假設(shè)檢驗(yàn)方法

在前面的課程中，我們已經(jīng)了解了假設(shè)檢驗(yàn)的基本思想，并討論了當(dāng)總體分布為正態(tài)時，關(guān)于其中未知參數(shù)的假設(shè)檢驗(yàn)問題.

然而可能遇到這樣的情形，總體服從何種理論分布并不知道，要求我們直接對總體分布形式提出種種假設(shè)，然后利用樣本信息對假設(shè)進(jìn)行檢驗(yàn)。在統(tǒng)計(jì)學(xué)中把不依賴于分布形式的統(tǒng)計(jì)方法稱為非參數(shù)統(tǒng)計(jì)。對總體的分布形式的檢驗(yàn)就是非參數(shù)檢驗(yàn)。第2頁,共61頁，2024年2月25日，星期天

例如，從1500到1931年的432年間，每年爆發(fā)戰(zhàn)爭的次數(shù)可以看作一個隨機(jī)變量，椐統(tǒng)計(jì)，這432年間共爆發(fā)了299次戰(zhàn)爭，具體數(shù)據(jù)如下:戰(zhàn)爭次數(shù)X01234

22314248154發(fā)生X次戰(zhàn)爭的年數(shù)

在概率論中，大家對泊松分布產(chǎn)生的一般條件已有所了解，容易想到，每年爆發(fā)戰(zhàn)爭的次數(shù)，可以用一個泊松隨機(jī)變量來近似描述.也就是說，我們可以假設(shè)每年爆發(fā)戰(zhàn)爭次數(shù)分布X近似泊松分布.現(xiàn)在的問題是：上面的數(shù)據(jù)能否證實(shí)X

具有泊松分布的假設(shè)是正確的？第3頁,共61頁，2024年2月25日，星期天

又如，某鐘表廠對生產(chǎn)的鐘進(jìn)行精確性檢查，抽取100個鐘作試驗(yàn)，撥準(zhǔn)后隔24小時以后進(jìn)行檢查，將每個鐘的誤差（快或慢）按秒記錄下來.問該廠生產(chǎn)的鐘的誤差是否服從正態(tài)分布？

再如，某工廠制造一批骰子，聲稱它是均勻的.

為檢驗(yàn)骰子是否均勻，要把骰子實(shí)地投擲若干次，統(tǒng)計(jì)各點(diǎn)出現(xiàn)的頻率與1/6的差距.也就是說，在投擲中，出現(xiàn)1點(diǎn)，2點(diǎn)，…，6點(diǎn)的概率都應(yīng)是1/6.問題是：得到的數(shù)據(jù)能否說明“骰子均勻”的假設(shè)是可信的？第4頁,共61頁，2024年2月25日，星期天

本章只介紹

2擬合優(yōu)度檢驗(yàn)、柯爾莫哥洛夫以及斯米爾諾夫檢驗(yàn)、偏度峰度檢驗(yàn)。除此還有：獨(dú)立性、符號檢驗(yàn)、游程檢驗(yàn)、秩和檢驗(yàn)等等。K.皮爾遜

這是一項(xiàng)很重要的工作，不少人把它視為近代統(tǒng)計(jì)學(xué)的開端。

解決這類問題的工具是英國統(tǒng)計(jì)學(xué)家K.皮爾遜在1900年發(fā)表的一篇文章中引進(jìn)的所謂

2檢驗(yàn)法.

2檢驗(yàn)法是在總體X的分布未知時，根據(jù)來自總體的樣本，檢驗(yàn)關(guān)于總體分布的假設(shè)的一種檢驗(yàn)方法。第5頁,共61頁，2024年2月25日，星期天一、

2擬合優(yōu)度檢驗(yàn)適用范圍廣：一個離散、連續(xù)、正態(tài)總體都適用。1、多項(xiàng)分布的

2檢法離散總體第6頁,共61頁，2024年2月25日，星期天對一次抽樣來說，現(xiàn)在對總體X進(jìn)行假設(shè)，即對X的分布律進(jìn)行假設(shè)第7頁,共61頁，2024年2月25日，星期天由于頻率是概率的近似表現(xiàn)，那么當(dāng)容量n較大時，

為了進(jìn)行檢驗(yàn)，還必須知道其分布，否則進(jìn)行不了檢驗(yàn)。第8頁,共61頁，2024年2月25日，星期天為此在1900年，英國統(tǒng)計(jì)學(xué)家KarlPearson首先提出從該統(tǒng)計(jì)量直觀上判斷有，

另外，用該統(tǒng)計(jì)量對總體分布律進(jìn)行檢驗(yàn)，還必須知道其分布。Pearson給出了其漸近分布。類似于以前的檢驗(yàn)方法，取一個知道分布標(biāo)準(zhǔn)化的度量。第9頁,共61頁，2024年2月25日，星期天定理1由此可以建立H0的拒絕域

只要給定一組樣本觀察值，代入檢驗(yàn)統(tǒng)計(jì)量計(jì)算后，就能得出結(jié)論。第10頁,共61頁，2024年2月25日，星期天例1

某商場為了研究顧客對一類商品的某三種品牌商品的喜好比例，以便為下次進(jìn)貨提供較科學(xué)的依據(jù)。現(xiàn)隨機(jī)觀察購買此商品的150名顧客，并記錄下其所買的品牌，統(tǒng)計(jì)人數(shù)如下：品牌甲乙丙所購買的人數(shù)615336

依據(jù)這些數(shù)據(jù)，是否可以斷定顧客對此三種品牌的商品喜好確實(shí)存在著顯著的差異？(

=0.05)解若對此三種品牌的商品喜好確實(shí)不存在著顯著的差異就意味著，對三種品牌的商品喜好比例p1,p2,p3相等。第11頁,共61頁，2024年2月25日，星期天此是m=3，n1

=61，n2=53，n3

=36，n=150由于6.52>5.991故有理由拒絕H0認(rèn)為顧客對此三種品牌的商品喜好確實(shí)存在著顯著的差異.第12頁,共61頁，2024年2月25日，星期天例264只某種雜交的幾內(nèi)亞豬的后代，其中34只紅色，10只黑色，20只白色，根據(jù)遺傳模型，它們之間的比例應(yīng)為9:3:4，問以上數(shù)據(jù)在0.05的水平下體現(xiàn)的與遺傳模型是否吻合。解若基本吻合，則p1=9/16，p2=3/16，p3=4/16此是m=3，n1

=34，n2=10，n3

=20，n=64認(rèn)為基本吻合第13頁,共61頁，2024年2月25日，星期天例3

在一個暗盒中存放有白色與黑色兩色乒乓球，問該盒中的白、黑球的個數(shù)是否相等？為此作以下試驗(yàn)，用不返回抽取發(fā)式從此盒中取球，直到取出的球是白色球?yàn)橹梗⒂涗浵鲁槿〉拇螖?shù)。共重復(fù)獨(dú)立試驗(yàn)了100次，結(jié)果如下：抽取次數(shù)X12345試驗(yàn)累計(jì)數(shù)43311565解若兩色球個數(shù)相等，則每次取到白球的概率為1/2以抽取次數(shù)X為考查對象，則X服從幾何分布，即計(jì)算得第14頁,共61頁，2024年2月25日，星期天此是m=5,n1

=43,n2=31,n3

=15,n4

=6,n5=5，n=100計(jì)算有結(jié)論：接受H0第15頁,共61頁，2024年2月25日，星期天若X的分布函數(shù)F(x)的具有明確表達(dá)式F0(x)，不含未知參數(shù)。根據(jù)樣本信息推斷X的分布函數(shù)是否為F0(x).第一步：第二步：采用分組離散化方法計(jì)算例4

驗(yàn)證一枚骰子是否均勻。電話號碼的數(shù)字出現(xiàn)的概率等等問題。第16頁,共61頁，2024年2月25日，星期天第三步：記數(shù)第四步：檢驗(yàn)其中m為分組數(shù)H0的拒絕域?yàn)橐话阌衝>50，npi>5最好npi>10，否則應(yīng)重新分組。使得npi>5最好npi>10.第17頁,共61頁，2024年2月25日，星期天定理2（R.A.Fisher）(3)若X的分布函數(shù)F(x)的具有明確表達(dá)式F0(x;

)，但含r個未知參數(shù)。根據(jù)樣本信息推斷X的分布函數(shù)是否為F0(x).第一步：由樣本進(jìn)行參數(shù)的點(diǎn)估計(jì)后，將參數(shù)估計(jì)值代入分布函數(shù)中，使得分布函數(shù)成為已知函數(shù)F0(x;

)。第二步：仿造情形(2)分組離散。第三步：其中m為分組數(shù)，r為分布函數(shù)中待估參數(shù)數(shù).令第18頁,共61頁，2024年2月25日，星期天(3)若X的分布函數(shù)F(x)的具有明確表達(dá)式F0(x;

)，但含r個未知參數(shù)。根據(jù)樣本信息推斷X的分布函數(shù)是否為F0(x).第一步：由樣本進(jìn)行參數(shù)的點(diǎn)估計(jì)后，將參數(shù)估計(jì)值代入分布函數(shù)中，使得分布函數(shù)成為已知函數(shù)F0(x;

)。第二步：仿造情形(2)分組離散。第三步：其中m為分組數(shù)，r為分布函數(shù)中待估參數(shù)數(shù).令第四步：檢驗(yàn)H0的拒絕域?yàn)橐话阌衝>50，npi>5最好npi>10，否則應(yīng)重新分組。使得npi>5最好npi>10.第19頁,共61頁，2024年2月25日，星期天

下面列出了84個依特拉斯坎人男子的頭顱的最大寬度(mm),試驗(yàn)證這些數(shù)據(jù)是否來自正態(tài)總體?141148132138154142150146155158150140147148144150149145149158143141144144126140144142141140145135147146141136140146142137148154137139143140131143141149148135148152143144141143147146150132142142143153149146149138142149142137134144146147140142140137152145例50.1)(=a解所求問題為檢驗(yàn)假設(shè)第20頁,共61頁，2024年2月25日，星期天由最大似然估計(jì)法得在H0

為真的前提下,X的概率密度的估計(jì)為第21頁,共61頁，2024年2月25日，星期00870.05190.17520.31200.28110.13360.03750.734.3614.7226.2123.6111.223.156.7941.5524.4010.02=87.675.0914.374.91例5的擬合檢驗(yàn)計(jì)算表第22頁,共61頁，2024年2月25日，星期天故在水平0.1下接受H0,認(rèn)為樣本服從正態(tài)分布.X的概率密度的基本符合第23頁,共61頁，2024年2月25日，星期天

讓我們回到檢驗(yàn)每年爆發(fā)戰(zhàn)爭次數(shù)分布是否服從泊松分布.按參數(shù)為

=0.69的泊松分布，計(jì)算事件X=i的概率pi

，將有關(guān)計(jì)算結(jié)果列表如下:pi的估計(jì)是根據(jù)觀察結(jié)果，得參數(shù)

的極大似然估計(jì)為假設(shè)H0:X～P(

)=0.69，i=0,1,2,3,4戰(zhàn)爭次數(shù)實(shí)測頻數(shù)x01234fi

22314248154pi0.580.310.180.010.02npi216.7149.551.612.02.16

第24頁,共61頁，2024年2月25日，星期天因H0所假設(shè)的理論分布中有一個未知參數(shù)，0.1830.3760.2511.623戰(zhàn)爭次數(shù)實(shí)測頻數(shù)x01234fi

22314248154pi0.580.310.180.010.02npi216.7149.551.612.02.16

14.162.43<5的要合并，即將發(fā)生3次及4次戰(zhàn)爭的組歸并為一組.按

=0.05，自由度為4-1-1=2查

2分布表得故認(rèn)為每年發(fā)生戰(zhàn)爭的次數(shù)X服從參數(shù)為0.69的泊松分布.

2=2.43<5.991，由于統(tǒng)計(jì)量的實(shí)測值未落入否定域.第25頁,共61頁，2024年2月25日，星期天

奧地利生物學(xué)家孟德爾進(jìn)行了長達(dá)八年之久的豌豆雜交試驗(yàn)，并根據(jù)試驗(yàn)結(jié)果，運(yùn)用他的數(shù)理知識，發(fā)現(xiàn)了遺傳的基本規(guī)律.

在此，我們以遺傳學(xué)上的一項(xiàng)偉大發(fā)現(xiàn)為例，說明統(tǒng)計(jì)方法在研究自然界和人類社會的規(guī)律性時，是起著積極的、主動的作用.孟德爾子二代子一代…黃色純系…綠色純系第26頁,共61頁，2024年2月25日，星期天

由于隨機(jī)性，觀察結(jié)果與3:1總有些差距，因此有必要去考察某一大小的差異是否已構(gòu)成否定3:1理論的充分根據(jù)，這就是如下的檢驗(yàn)問題.這里，n=70+27=97,k=2,檢驗(yàn)孟德爾的3:1理論:假設(shè)H0:p1=3/4,p2=1/4

H1:p1=3/4,p2=1/4至少一不成立理論頻數(shù)為：

np1=72.75,np2=24.25實(shí)測頻數(shù)為70，27.他的一組觀察結(jié)果為：黃70，綠27近似為2.59:1，與理論值相近.

根據(jù)他的理論，子二代中,黃、綠之比近似為3:1，第27頁,共61頁，2024年2月25日，星期天由于統(tǒng)計(jì)量

2的實(shí)測值統(tǒng)計(jì)量自由度為m-1=1

2=0.4158<3.841，按

=0.05，自由度為1，查

2分布表得

20.05(1)=3.841未落入否定域.故認(rèn)為試驗(yàn)結(jié)果符合孟德爾的3:1理論.

這些試驗(yàn)及其它一些試驗(yàn)，都顯示孟德爾的3:1理論與實(shí)際是符合的.這本身就是統(tǒng)計(jì)方法在科學(xué)中的一項(xiàng)重要應(yīng)用.用于客觀地評價(jià)理論上的某個結(jié)論是否與觀察結(jié)果相符，以作為該理論是否站得住腳的印證.第28頁,共61頁，2024年2月25日，星期天例6

某種動物的后代按體格的屬性分為三類，據(jù)觀察某一群此類動物其中各類的數(shù)目分別為10,53,46.按照遺傳模型其各類的頻率應(yīng)為p2:2p(1-p):(1-p)2，問這些數(shù)據(jù)是否與此模型相吻合。在

=0.05的顯著性水平。解(1)用最大似然估計(jì)法估計(jì)參數(shù)p.第29頁,共61頁，2024年2月25日，星期天例6

某種動物的后代按體格的屬性分為三類，據(jù)觀察某一群此類動物其中各類的數(shù)目分別為10,53,46.按照遺傳模型其各類的頻率應(yīng)為p2:2p(1-p):(1-p)2，問這些數(shù)據(jù)是否與此模型相吻合。在

=0.05的顯著性水平。解(1)用最大似然估計(jì)法估計(jì)參數(shù)p(2)計(jì)算(3)假設(shè)(4)計(jì)算

20.40614.440548.5595二0.1024-2.221648.2216三0.40292.218912.2189一類別第30頁,共61頁，2024年2月25日，星期天例6

某種動物的后代按體格的屬性分為三類，據(jù)觀察某一群此類動物其中各類的數(shù)目分別為10,53,46.按照遺傳模型其各類的頻率應(yīng)為p2:2p(1-p):(1-p)2，問這些數(shù)據(jù)是否與此模型相吻合。在

=0.05的顯著性水平。解(1)用最大似然估計(jì)法估計(jì)參數(shù)p.(2)計(jì)算(3)假設(shè)(4)計(jì)算

2(5)H0的拒絕域(6)結(jié)論接受H0，認(rèn)為此數(shù)據(jù)基本符合模型的。第31頁,共61頁，2024年2月25日，星期天(4)

2擬合優(yōu)度檢驗(yàn)法的特點(diǎn)1)適用面廣，離散和連續(xù)總體均可以使用，是考察實(shí)測頻率與理論頻率的差異。2)此法從本質(zhì)上看，只是檢驗(yàn)了理論分布函數(shù)的而未真正檢驗(yàn)然而雖然樣本與分組情況都具有隨機(jī)性，但是當(dāng)分布函數(shù)較為光滑時，即使F(x)與F0(x)有差異，也不應(yīng)該太大。故此法雖有誤差，但是常用的方法之一。3)

2擬合優(yōu)度檢驗(yàn)法依賴于區(qū)間的劃分，即依賴與分組情況。即使，但若恰好在分組點(diǎn)處的兩函數(shù)值相差不大，即便H0是不真，但

2的檢驗(yàn)統(tǒng)計(jì)值不改變。從而

2擬合優(yōu)度檢驗(yàn)法的精度不高，容易范取偽錯誤。第32頁,共61頁，2024年2月25日，星期天二、柯爾莫哥洛夫檢驗(yàn)

為了進(jìn)一步提高精度，柯爾莫哥洛夫針對一個總體的分布函數(shù)，在采用分組離散化后利用經(jīng)驗(yàn)分布函數(shù)的性質(zhì)的方法，較完整的考察了經(jīng)驗(yàn)分布函數(shù)Fn(x)與理論分布函數(shù)F(x)的差異。提高了檢驗(yàn)的精度。但假定分布函數(shù)是連續(xù)的。設(shè)總體X的分布函數(shù)F(x)連續(xù)，故可以選用第33頁,共61頁，2024年2月25日，星期天定理3設(shè)分布函數(shù)F(x)連續(xù)，則定理4設(shè)分布函數(shù)F(x)連續(xù)，則第34頁,共61頁，2024年2月25日，星期天1、選用Dn為檢驗(yàn)統(tǒng)計(jì)量，假設(shè)H0的拒絕域?yàn)?2、當(dāng)n>40或100時，可得一近似求Dn,

值方法假設(shè)H0的拒絕域仍為:即此種方法雖較精確，但計(jì)算量較大。第35頁,共61頁，2024年2月25日，星期天例7

某林區(qū)中，隨機(jī)抽取340株樹木組成的樣本，測其胸徑，經(jīng)整理后數(shù)據(jù)統(tǒng)計(jì)如下：胸徑分組(cm)10~1414~1818~2222~2626~3030~3434~3838~4242~46組間值121620242832364944株數(shù)41134761126622105試用柯爾莫哥洛夫檢驗(yàn)法檢驗(yàn)該林區(qū)的樹木胸徑是否服從正態(tài)分布(=0.05)解(1)第36頁,共61頁，2024年2月25日，星期天解組號分組值頻率組上限標(biāo)準(zhǔn)化經(jīng)驗(yàn)函數(shù)理論函數(shù)110~140.011814-2.23880.01180.01260.0008214~180.03218-1.67980.04380.04650.0027318~220.10022-0.98070.14380.16350.0197422~260.223526-0.28170.36730.38970.0224526~300.3294300.41730.69670.66280.0339630~340.1941341.11640.89060.86860.022734~380.0647381.81540.95550.96560.0101838~420.0294422.51440.98450.99400.0095942~460.0151463.21341.00000.99930.0007(4)求(5)檢驗(yàn)接受H0第37頁,共61頁，2024年2月25日，星期天

柯爾莫哥洛夫檢驗(yàn)法，除了分布檢驗(yàn)外，還可以用來未知分布函數(shù)F(x)進(jìn)行區(qū)域估計(jì)。實(shí)際有xyo第38頁,共61頁，2024年2月25日，星期天三、斯米爾諾夫檢驗(yàn)比較兩個總體的真分布是否相同.第39頁,共61頁，2024年2月25日，星期天三、偏度、峰度檢驗(yàn)1.問題的提出

根據(jù)第五章關(guān)于中心極限定理的論述知道,正態(tài)分布隨機(jī)變量較廣泛地存在于客觀世界,因此,當(dāng)研究一連續(xù)型總體時,人們往往先考察它是否服從正態(tài)分布.上面介紹的檢驗(yàn)法雖然是檢驗(yàn)總體分布的較一般的方法,但用它來檢驗(yàn)總體的正態(tài)性時,犯第II類錯誤的概率往往較大.為此,在對檢驗(yàn)正態(tài)總體的種種方法進(jìn)行比較后,認(rèn)為“偏度、峰度檢驗(yàn)法”較好第40頁,共61頁，2024年2月25日，星期天2.隨機(jī)變量的偏度和峰度的定義第41頁,共61頁，2024年2月25日，星期天3.樣本偏度和樣本峰度的定義第42頁,共61頁，2024年2月25日，星期天4.偏度、峰度檢驗(yàn)法第43頁,共61頁，2024年2月25日，星期天第44頁,共61頁，2024年2月25日，星期天于是得拒絕域以上檢驗(yàn)法稱為偏度、峰度檢驗(yàn)法.使用該檢驗(yàn)法時注意樣本容量應(yīng)大于100.第45頁,共61頁，2024年2月25日，星期天例8

試用偏度、峰度檢驗(yàn)法檢驗(yàn)本節(jié)例5中的數(shù)據(jù)是否來自正態(tài)總體?解第46頁,共61頁，2024年2月25日，星期天下面來計(jì)算樣本中心距第47頁,共61頁，2024年2月25日，星期天則樣本偏度和樣本峰度為于是得拒絕域第48頁,共61頁，2024年2月25日，星期天解例9試檢驗(yàn)這顆骰子的六個面是否勻稱?根據(jù)題意需要檢驗(yàn)假設(shè)把一顆骰子重復(fù)拋擲300次,結(jié)果如下:H0:這顆骰子的六個面是勻稱的.其中X表示拋擲這骰子一次所出現(xiàn)的點(diǎn)數(shù)(可能值只有6個),第49頁,共61頁，2024年2月25日，星期天在H0

為真的前提下,第50頁,共61頁，2024年2月25日，星期天所以拒絕H0,認(rèn)為這顆骰子的六個面不是勻稱的.第51頁,共61頁，2024年2月25日，星期天

在一試驗(yàn)中,每隔一定時間觀察一次由某種鈾所放射的到達(dá)計(jì)數(shù)器上的粒子數(shù),共觀察了100次,得結(jié)果如下表:例10第52頁,共61頁，2024年2月25日，星期天解所求問題為:在水平0.05下檢驗(yàn)假設(shè)由最大似然估計(jì)法得根據(jù)題目中已知表格,第53頁,共61頁，2024年2月25日，星期天具體計(jì)算結(jié)果見下頁表8.3,第54頁,共61頁，2024年2月25日，星期天擬合檢