第五章非參數(shù)檢驗(yàn)方法

第五章非參數(shù)檢驗(yàn)方法數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用第一頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用$5.1 非參數(shù)檢驗(yàn)方法概述非參數(shù)統(tǒng)計(jì)是一種不要求變量值為某種特定分布和不依賴某種特定理論的統(tǒng)計(jì)方法，或者是在不了解總體分布及其全部參數(shù)的情況下的統(tǒng)計(jì)方法。非參數(shù)統(tǒng)計(jì)方法開始于20世紀(jì)中期，早期的符號檢驗(yàn)可以追溯到18世紀(jì)。實(shí)際工作中，有許多資料常不能確定或假設(shè)其總體變量值的分布，因此參數(shù)統(tǒng)計(jì)不宜使用，不知道總分布，就不能比較參數(shù)，而只能比較非參數(shù)。所謂非參數(shù)，即指數(shù)據(jù)的正負(fù)符號，大小順序號，綜合判斷所劃分的名次、嚴(yán)重程度、優(yōu)劣等級等，利用直接說明或比較兩個(gè)或幾個(gè)樣本的非參數(shù)的方法均屬于非參數(shù)統(tǒng)計(jì)法。第二頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用參數(shù)檢驗(yàn)和非參數(shù)檢驗(yàn)參數(shù)檢驗(yàn)：指總體分布服從正態(tài)分布或總體分布已知條件下的統(tǒng)計(jì)檢驗(yàn)。非參數(shù)檢驗(yàn)：指總體分布不要求服從正態(tài)分布或總體分布情況不明時(shí)，用來檢驗(yàn)數(shù)據(jù)資料是否來自同一個(gè)總體的統(tǒng)計(jì)檢驗(yàn)方法。第三頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用通常非參數(shù)統(tǒng)計(jì)方法適用于以下幾種情況未知分布型，或樣本數(shù)太少(n6)而使得分布狀況尚未顯示出來非參數(shù)性，只能以嚴(yán)重程度、優(yōu)劣等級、效果大小、名次先后以及綜合判斷等方式記錄其符號或等級分布程度偏態(tài)組內(nèi)個(gè)別隨機(jī)變量偏離過大。第四頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用非參數(shù)檢驗(yàn)的優(yōu)點(diǎn)和缺點(diǎn)：優(yōu)點(diǎn)：不受總體分布的限制，適用范圍廣。適宜定量模糊的變量和等級變量。方法簡便易學(xué)。缺點(diǎn)：當(dāng)測量的數(shù)據(jù)能夠滿足參數(shù)統(tǒng)計(jì)的所有假設(shè)時(shí)，非參數(shù)檢驗(yàn)方法雖然也可以使用，但效果遠(yuǎn)不如參數(shù)檢驗(yàn)方法。由于當(dāng)數(shù)據(jù)滿足假設(shè)條件時(shí)，參數(shù)統(tǒng)計(jì)檢驗(yàn)方法能夠從其中廣泛地充分地提取有關(guān)信息。非參數(shù)統(tǒng)計(jì)檢驗(yàn)方法對數(shù)據(jù)的限制較為寬松，只能從中提取一般的信息，相對參數(shù)統(tǒng)計(jì)檢驗(yàn)方法會浪費(fèi)一些信息。第五頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用$5.2 Pearson’sX2擬合檢驗(yàn)需要研究所研究的對象或者實(shí)驗(yàn)的結(jié)果是否與預(yù)期的原假設(shè)之間有顯著性的差異，也就是檢驗(yàn)觀察值與理論值之間的緊密程度。X2擬合檢驗(yàn)就是用來確定事件出現(xiàn)的頻數(shù)分布與某一理論分布之間的差別是否是隨機(jī)性的。X2定義：理論頻數(shù)的期望值實(shí)測值或觀察值頻數(shù)m試驗(yàn)結(jié)果只有兩個(gè)，且頻數(shù)較小第六頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用$5.2Pearson'schi-squaretest如果檢驗(yàn)的參數(shù)是一個(gè)特定值，比如產(chǎn)品的不合格率，由于產(chǎn)品的合格與不合格問題屬于二項(xiàng)式分布，此時(shí)就還可以用：

觀察值np:觀察值的期望值第七頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用$5.2.1X2擬合檢驗(yàn)的步驟把觀察到的不同類別的頻數(shù)分別歸入k類，這些頻數(shù)之和應(yīng)是獨(dú)立觀察到總頻數(shù)之和。假設(shè)H0，即確定出每一類應(yīng)有的期望書Tk（或np）。如k>2，只要有20%的Tk（或np）<5，就要合并相鄰精度類別以減少k值，以此來增加某些Tk值。如k=2，只有當(dāng)Tk都5時(shí)，才能應(yīng)用式5-1來進(jìn)行X2檢驗(yàn)，否則就需要應(yīng)用修正式來檢驗(yàn)。計(jì)算X2。根據(jù)給定的置信概率，查X2分布表，如果計(jì)算值小于表值，則接受H0，反之則拒絕。第八頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用第九頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用例5-2（講義上的解是錯的）一試劑公司按現(xiàn)行生產(chǎn)工藝生產(chǎn)的化學(xué)試劑，其優(yōu)品率要占到10%。現(xiàn)從一批產(chǎn)品中抽取100個(gè)進(jìn)行檢驗(yàn)，結(jié)果發(fā)現(xiàn)優(yōu)級品僅5個(gè)。問是否優(yōu)級品率出現(xiàn)了下降的變化(=0.05)？因?yàn)閄2<X20.05,1，所以優(yōu)級品率沒有出現(xiàn)下降的變化。第十頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用$5.3符號檢驗(yàn)$5.3.1符號檢驗(yàn) 檢驗(yàn)不知道分布類型的數(shù)據(jù) 根據(jù)統(tǒng)計(jì)資料的符號，可以簡便地來檢驗(yàn)兩組成對的數(shù)據(jù)是否屬于同一總體。兩個(gè)樣本既可以是互相獨(dú)立，也可以是相關(guān)的，也就是說既可檢驗(yàn)兩總體是否存在顯著差異，也可檢驗(yàn)是否來自同一總體。 思想：若兩個(gè)樣本差異不顯著，正差值與負(fù)差值的個(gè)數(shù)應(yīng)大致各占一半。 假定P(X>Y)，則如果X與Y屬于同一總體的話，P(X>Y)=0.5第十一頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用$5.3.2符號檢驗(yàn)的步驟編符號：一對一比較，如果前者大于后者，或者前者較優(yōu)，記以符號”+”，否則記以”-”，如二者相等或不能判明優(yōu)劣，就記為”0”。建立假設(shè)：

H0:P(X1>X2)=P(X2>X1)=0.5 H1:P(X1>X2）≠P(X2>X1)≠0.5清點(diǎn)“+”、“-”、“0”各有幾個(gè)，分別記為n+、n-、n0進(jìn)行顯著性檢驗(yàn)查符號檢驗(yàn)表（表中N=n++n-)：r=min(n+,n-)，查表，如r>表值，差異不顯著，r

表值，差異顯著。（講義附錄的表是錯的）第十二頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用第十三頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用$5.3.2符號檢驗(yàn)的步驟2檢驗(yàn)：如2<2/2,1，接受H0，否則拒絕H0。N25：Z-檢驗(yàn)，查t檢驗(yàn)表（雙側(cè)），如|Z|<z/2，接受H0，否則拒絕H0。第十四頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用$5.3.2符號檢驗(yàn)的步驟X2檢驗(yàn)：如X2<2/2,v，接受H0，否則拒絕H0。 在樣本數(shù)比較小的情況下，查符合檢驗(yàn)表檢驗(yàn)并不是很靈敏。第十五頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用第十六頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用第十七頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用$5.4Wilcoxon符號秩次檢驗(yàn)$5.4.1Wilcoxon符號秩次檢驗(yàn)的基本思想如果兩個(gè)總體的分布相同，每個(gè)配對數(shù)值的差應(yīng)服從以0為中心的對稱分布。也即是將差值按照絕對值的大小編秩（排順序）并給秩次加上原來差值的符號后，所形成的正秩和與負(fù)秩和在理論上是相等的（滿足差值總體中位數(shù)為0的假設(shè)），如果二者相差太大，超出界值范圍，則拒絕原假設(shè)。符號檢驗(yàn)沒有充分應(yīng)用信息，主要是大小。第十八頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用$5.4.2符號秩次檢驗(yàn)的步驟1、N<25或30(小樣本)（1）把相關(guān)樣本對應(yīng)數(shù)據(jù)之差值按絕對值從小到大作等級排列（注意差值為零時(shí)，零不參加等級排列）；如果差值相同，則就取它們的平均秩次；（2）在各等級前面添上原來的正負(fù)號；（3）分別求出帶正號的等級和（T+）與帶負(fù)號的等級和（T-），取兩者之中較小的記作T；（4）建立假設(shè)：H0:T+=T-H1:T+

T-（4）根據(jù)N，T查成對秩和檢驗(yàn)表

T>T表：接受H0

TT表：拒絕H0第十九頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用成對資料秩和檢驗(yàn)表對子數(shù)較小的秩號之和對子數(shù)較小的秩號之和(n)=0.05=0.01(n)=0.05=0.0160—16302072—17352384018402896219463210832052381111521594312147226649131710237355142113248161152516258968第二十頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用2、N>25(大樣本)當(dāng)N>25時(shí)，一般認(rèn)為T的分布接近正態(tài)分布，其平均數(shù)和標(biāo)準(zhǔn)差分別為:第二十一頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用例某幼兒園對10名兒童在剛?cè)雸@時(shí)和入園一年后均進(jìn)行了血色素檢查，結(jié)果如下，試問兩次檢查有否明顯變化？解：T-＝1+6+2+5＝14

T+=8+4+3+7+9=31,

T=T-＝14，N=9，查符號秩次檢驗(yàn)表，雙側(cè)檢驗(yàn)，

T0.05＝6，因?yàn)門>T0.05,所以，兩次血色素檢查差異不顯著。第二十二頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用注意：對同一問題用符號檢驗(yàn)法和符號等級檢驗(yàn)法，如果出現(xiàn)矛盾的結(jié)果，應(yīng)該相信符號等級檢驗(yàn)法的結(jié)果，因?yàn)樗瓤紤]差值的符號，也考慮其大小，利用了更多的信息，所以結(jié)果相對可靠些。第二十三頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用例5-4為了比較兩種血漿皮質(zhì)醇放射免疫測定法，每份標(biāo)本同時(shí)用H3法和I131法測定，數(shù)據(jù)及秩次計(jì)算見下表，用非參數(shù)法進(jìn)行顯著性檢驗(yàn)。編號H3法I131法差值絕對值等級秩次110.07.03.027.06.50.535.54.01.545.54.01.556.09.03.0614.014.00.0710.010.00.085.56.00.597.57.00.5108.06.02.0112.52.20.3122.52.00.51310.06.23.8143.02.01.0158.57.51.0165.53.02.5177.57.50.0第二十四頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用$5.5秩和檢驗(yàn)秩和即秩次的和或等級之和。秩和檢驗(yàn)法也叫Mann-Whitney-Wilcoxon檢驗(yàn)，它常被譯為曼－惠特尼－維爾克松檢驗(yàn)，簡稱M-W-W檢驗(yàn)，也稱Mann-WhitneyZ檢驗(yàn)。（一）適用資料1）秩和檢驗(yàn)法與參數(shù)檢驗(yàn)法中獨(dú)立樣本的t檢驗(yàn)法相對應(yīng)。當(dāng)“總體正態(tài)”這一前提不成立時(shí)，不能用t檢驗(yàn)，可以用秩和檢驗(yàn)法；2）當(dāng)兩個(gè)樣本都為定序（順序）變量時(shí)，也需使用秩和法進(jìn)行差異顯著性檢驗(yàn)。第二十五頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用$5.4.2秩和檢驗(yàn)的步驟1、小樣本：兩個(gè)樣本容量均小于10（n110,n210）（1）將兩個(gè)樣本數(shù)據(jù)混合由小到大排列秩次（如果大小相同就計(jì)算它們的平均秩次）；（2）把樣本容量較小的樣本中各數(shù)據(jù)的秩次相加，以T表示；（3）建立假設(shè)

H0：A=BH1：AB（4）檢驗(yàn) 把T值與秩和檢驗(yàn)表中的臨界值比較

T

T1或TT2，則表明兩樣本差異顯著；

T1<T

<T2,則意味著兩樣本差異不顯著。第二十六頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用例5-5醫(yī)學(xué)院試驗(yàn)兩種新藥治療貧血病人，兩個(gè)月后病人的紅細(xì)胞數(shù)(萬/毫米3)增加的秩次如下表，試問這兩種新藥有無顯著性差異？(=0.05)秩次1234567891011121314甲藥107118120124134134145147乙藥7085101119120120解：T=1+2+3+6+8+8=28查表，n1=6,n2=8,=0.05(雙測),c1=29,c2=61因?yàn)椋篢<c1，所以兩種藥有顯著差異第二十七頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用2、大樣本：兩個(gè)樣本容量均大于10（n1>10,n2>10）?？梢宰C明，當(dāng)n時(shí)，T就趨向正態(tài)分布，此時(shí)，秩和T的分布接近正態(tài)分布，可以進(jìn)行Z檢驗(yàn)。其平均數(shù)和標(biāo)準(zhǔn)差如下：第二十八頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用例5-6有兩個(gè)水稻品系A(chǔ)與B，分別在10塊試驗(yàn)田中作栽培試驗(yàn)，得產(chǎn)量如下表，試問它們的平均產(chǎn)量有無顯著性差異？(=0.05)A18.516.717.817.715.816.716.918.316.619.220.919.014.619.518.0B17.417.016.319.015.017.517.917.516.915.115.614.015.117.816.7第二十九頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用例對某班學(xué)生進(jìn)行注意穩(wěn)定性實(shí)驗(yàn)?zāi)猩c女生的實(shí)驗(yàn)結(jié)果如下，試檢驗(yàn)?zāi)信g注意穩(wěn)定性有否顯著差異？男生1932213419252531312722262629女生2530283423252735302929333537243432第三十頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用第三十一頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用$5.6感官檢驗(yàn)的一致性$5.6.1感官檢驗(yàn)的一致性 在對產(chǎn)品質(zhì)量的檢驗(yàn)上，常常要用到人的感覺器官來對產(chǎn)品的質(zhì)量進(jìn)行評定，例如評酒、評茶要用口感，紡織品質(zhì)量要用手感，有色澤的可以用目測，有香味的可以憑嗅覺。這種檢驗(yàn)就稱為感官檢驗(yàn)，也叫做官感檢驗(yàn)。 問題：不同檢驗(yàn)人員的檢驗(yàn)結(jié)果是否一致？ 必須解決能用來檢驗(yàn)一致性的統(tǒng)計(jì)量的問題。第三十二頁，共三十七頁，2022年，8月28日數(shù)理統(tǒng)計(jì)在化學(xué)中的應(yīng)用感官檢驗(yàn)一致性的統(tǒng)計(jì)量：m:參加檢驗(yàn)的人員數(shù)n:被檢驗(yàn)的樣品數(shù)S:每一類樣品秩和的偏差平方和W