非參數(shù)統(tǒng)計 單一樣本的推斷問題.ppt

1、胡雪梅,QQ:182048520 E-mail：,第三章,數(shù)學與統(tǒng)計學院,單一樣本的推斷問題,主要內(nèi)容,第一節(jié) 符號檢驗和分位數(shù)推斷,假設總體 ， 是總體的中位數(shù)，對于假設檢驗問題： 是待檢驗的中位數(shù)取值,定義: ，則 在零假設情況下 ，在顯著性水平為 的拒絕域為 其中k是滿足上式最大的k值。,例3.1. 假設某地16座預出售的樓盤均價，單位(百元/平方米)如下表所示： 36 32 31 25 28 36 40 32 41 26 35 35 32 87 33 35,解一: 用t檢驗法,用T統(tǒng)計量,結論: 不能拒絕H0。,解二: 用符號檢驗法,在顯著性水平0.05下，拒絕H0。 符號檢驗與t檢驗

2、得到了相反的結論，到底選擇哪一種結果呢？,結論：符號檢驗在總體分布未知的情況下優(yōu)于t 檢驗！,補充: R中的t檢驗法的用法,t-test(x) X1,X2,XnN(a, 2), H0 : a=a0 , H1: aa0,補充: R中的t檢驗法的用法,例如, 某食品廠用自動裝罐機裝罐頭食品,每罐質量為500g, 現(xiàn)從每天生產(chǎn)的罐頭中隨機抽測9罐,其質量分別為: 510, 505, 498, 503, 492, 502, 497, 506, 495(單位:g) 欲檢驗H0: a=500, H1: a500, t.test(x-500) data: x - 500 t = 0.46, df = 8,

3、p-value = 0.6578 alternative hypothesis: mean is not equal to 0 95 percent confidence interval: -3.567471 5.345249 sample estimates: mean of x 0.8888889,2) 配對t檢驗法 X1,X2,XnN(a1, 12), Y1,Y2,YnN(a2, 22), H0 : a1=a2 , H1: a1a2,補充: R中的t檢驗法的用法,例如, 欲比較甲乙兩種輪胎的耐磨性, 現(xiàn)抽取數(shù)據(jù)如下: 甲: 4900,5220,5500,6020,6340,7660,8

4、650,4870 乙: 4930,4900,5140,5700,6110,6880,7930,5010 欲檢驗H0 : a1=a2 , H1: a1a2, x y t.test(x,y,alternative=“l(fā)ess”,paired=T),補充: R中的t檢驗法的用法,Paired t-Test data: x and y t = 2.8312, df = 7, p-value = 0.9873 alternative hypothesis: mean of differences is less than 0 95 percent confidence interval: NA 534.

5、1377 sample estimates: mean of x - y 320 接受H0, 認為兩種輪胎無顯著性差異.,結果討論,例 生產(chǎn)過程是否需要調(diào)整。 某企業(yè)生產(chǎn)一種鋼管，規(guī)定長度的中位數(shù)是l0米?，F(xiàn)隨機地： 從正在生產(chǎn)的生產(chǎn)線上選取10根進行測量，結果： 9.8 10.1 9.7 9.9 9.8，10.0，9.7 10.0，9.9 9.8,分析：中位數(shù)是這個問題中所關心的一個位置參數(shù)。 若產(chǎn)品長度真正的中位數(shù)大于或小于10米，則生產(chǎn)過程 需要調(diào)整。這是一個雙側檢驗，應建立假設,大樣本結論,當n較大時 ： 當n不夠大的時候可用修正公式進行調(diào)整。 雙邊： ，p-值 左側： ，p-值 右側

6、： ，p-值,例3.2 設某化妝品廠商有A和B兩個品牌，為了解顧客對A品牌和B品牌在使用上的差異，將A品牌和B品牌同時交給45個顧客使用，一個月后得到如下數(shù)據(jù)： 喜歡A品牌的客戶人數(shù)：22人 喜歡B品牌的客戶人數(shù)：18人 不能區(qū)分的人數(shù)： 5人,解：假設檢驗問題：,由給定的數(shù)據(jù)知：,運用大樣本的性質，,結論：不能拒絕零假設。,符號檢驗在配對樣本比較中的應用,配對樣本(x1,y1), (x2,y2) , (xn,yn) 將 記為“+”， 記為“-” ， 記為“0”，記P+ 為“+”比例， P- 為“-”比例， 那么假設檢驗問題： 可以用符號秩檢驗。,H0:P+=P- H1:P+=P-,例3.4

7、如右表是某種商品在12家超市促銷活動前后的銷售額對比表，用符號檢驗分析促銷活動的效果如何？,連 促銷前 促銷后 鎖 銷售額 銷售額 符號 店 1 42 40 + 2 57 60 - 3 38 38 0 4 49 47 + 5 63 65 - 6 36 39 - 7 48 49 - 8 58 50 + 9 47 47 0 10 51 52 - 11 83 72 + 12 27 33 -,結論：不能拒絕零假設。,根據(jù)同樣原理，可以將中位數(shù)符號檢驗推廣為任意分位點的符號檢驗。,例3.1. 假設某地16座預出售的樓盤均價，單位(百元/平方米) 36,32,31,25,28,36,40,32,41,26

8、,35,35,32,87,33,35,36 32 31 25 28 36 40 32 41 26 35 35 32 87 33 35 - - - - - - 0 - + - - - - + - -,S+=2, S-=13, Pbinom(15, 0.75)minS+,S-2=0 因此,拒絕H0。,binom.test(sum(x40),length(x)-1,0.75) Exact binomial test data: sum(x 40) out of length(x)-1 number of successes = 2, n = 15, p-value = 9.23e-07 altern

9、ative hypothesis: p is not equal to 0.75,R編程計算：,95 percent confidence interval: 0.01657591 0.40460270 sample estimates: probability of success 0.1333333,Cox-Staut趨勢存在性檢驗,檢驗原理: 設數(shù)據(jù)序列： ，雙邊假設檢驗問題： 令： 取數(shù)對 ， ， 為正的數(shù)目， 為負的數(shù)目, 當正號或者負號太多的時候，認為數(shù)據(jù)存在趨勢。在零假設情況下 Di服從二項分布。從而轉化為符號檢驗問題。,X1,X2,Xn,例3.6 某地區(qū)32年來的降雨量如下表

10、問 （1）：該地區(qū)前10年來降雨量是否有變化？ （2）：該地區(qū)32年來降雨量是否有變化？,年份 1971 1972 1973 1974 1975 1976 1977 1978 降雨量 206 223 235 264 229 217 188 204 年份 1979 1980 1981 1982 1983 1984 1985 1986 降雨量 182 230 223 227 242 238 207 208 年份 1987 1988 1989 1990 1991 1992 1993 1994 降雨量 216 233 233 274 234 227 221 214 年份 1995 1996 1997

11、1998 1999 2000 2001 2002 降雨量 226 228 235 237 243 240 231 210,=5,結論: 不能拒絕零假設。, x y binom.test(sum(xy),length(x),0.5) Exact binomial test data: sum(x y) out of length(x) number of successes = 2, n = 5, p-value = 1 alternative hypothesis: p is not equal to 0.5, x y binom.test(sum(xy),length(x-y),0.5) E

12、xact binomial test data: sum(x y) out of length(x - y) number of successes = 2, n = 16, p-value = 0.004181 alternative hypothesis: p is not equal to 0.5 結論: 拒絕H0, 認為降雨量有明顯變化., rain year anova(lm(rain(year) Analysis of Variance Table Response: rain Terms added sequentially (first to last) Df Sum of S

13、q Mean Sq F Value Pr(F) year 1 535.36 535.3637 1.579228 0.2185691 Residuals 30 10170.11 339.0035 接受H0,認為降雨量線性趨勢并不顯著.,隨機游程檢驗,游程的概念 一個總體，如按性別區(qū)分的人群，按產(chǎn)品是否有毛病區(qū)分的總體等等，隨機從中抽取一個樣本，樣本也可以分為兩類；類型I和類型E。若凡屬類型I的給以符號A，類型E的給以符號B，則當樣本按某種順序排列(如按抽取時間先后排列)時，一個或者一個以上相同符號連續(xù)出現(xiàn)的段，就被稱作游程，也就是說，游程是在一個兩種類型的符號的有序排列中，相同符號連續(xù)出現(xiàn)的段。

14、,例如，將某售票處排隊等候購票的人按性別區(qū)分，男以A表示，女以B表示。按到來的時間先后觀察序列為：AABABB。在這個序列中，AA為一個游程，連續(xù)出現(xiàn)兩個A；B是一個游程，A也是一個游程，BB也是一個游程。于是，在這個序列中，A的游程有2個，B的游程也有2個，序列共有4個游程。每一個游程所包含的符號的個數(shù),稱為游程的長度。如上面的序列中，有一個長度為2的A游程、一個長度為2的B游程，長度為1的A游程、B游程也有1個。,游程: 01111為兩個游程 游程長度: 一個游程中數(shù)據(jù)的個數(shù) 一個序列里游程個數(shù)記為R. 例3.7 序列1100001110110000111100 R=8，游程長度分別為2,

15、4,3,1,2,4,4,2 極端情況: 000001111111 R=2 0101010101010 R=2min(n0,n1)+1 所以, 2R2min(n0,n1)+1 極端情況都說明數(shù)據(jù)不具有隨機性。 R服從什么分布呢？,檢驗原理和計算方法,設是由0或者1組成的序列 ，假設檢驗問題：,R為游程個數(shù)，假設有 個0， 個1， ，這時R取任何一個值的概率都是 ，R的條件分布,建立了抽樣分布之后，在零假設成立時，可以計算 或者 的值，進行檢驗。,X1,X2,Xn,小樣本的例子(p69 例3.8),H0: 樣本中的觀測是隨機產(chǎn)生的. Ha: 樣本中的觀測是隨機產(chǎn)生的 = .05 n1 = 18 n

16、2 = 8 R = 12 由于 7 R = 12 17,不能拒絕 H0,Runs Test: 大樣本的例子,經(jīng)驗表明： 如果 n1或 n2 20, R 的抽樣分布近似為正態(tài),Runs Test:大樣本例子(p70 例3.10),H0: 樣本中的觀測是隨機產(chǎn)生的. Ha: 樣本中的觀測是隨機產(chǎn)生的 = .05 n1 = 40 n2 = 10 如果 -1.96 Z 1.96,不能拒絕 H0 否則 拒絕H0. 1 1 2 3 4 5 6 7 8 9 0 11 NNN F NNNNNNN F NN FF NNNNNN F NNNN F NNNNN 12 13 FFFF NNNNNNNNNNNN R =

17、 13,Runs Test: 大樣本例子,-1.96 Z = -1.81 1.96, 不能拒絕 H0,/web/packages/tseries/index.html, library(tseries) run1=c(1,1,1,0,rep(1,7),0,1,1,0,0,rep(1,6), + 0,rep(1,4),0,rep(1,5),rep(0,4),rep(1,13) ff=as.factor(run1) runs.test(ff) Runs Test data: ff Standard Normal = -1.8074, p-value

18、= 0.0707 alternative hypothesis: two.sided,Wilcoxon符號秩檢驗,基本概念及性質 對稱分布的中心一定是中位數(shù)，在對稱分布情況下，中位數(shù)不唯一，研究對稱中心比中位數(shù)更有意義。,例：下面的數(shù)據(jù)中，O是對稱中心嗎？,稱連續(xù)分布F(x)關于 對稱,如果,稱 是分布的對稱中心。,Wilcoxon符號秩檢驗既考慮了Xi-M0的符號，又考慮其大小。,Wilcoxon符號秩檢驗原理以及性質,如果數(shù)據(jù)關于0點對稱，那么對稱中心兩側的數(shù)據(jù)疏密程度應該一樣，取正值數(shù)據(jù)在絕對值樣本中的秩和與取負值在絕對值樣本中的秩和相近。,用 表示 在絕對值樣本中的秩，Wilcoxon

19、符號秩統(tǒng)計量定義為：,正等級的總和即正秩次總和,負等級的總和即負秩次總和,Wilcoxon符號秩檢驗原理以及性質,例3.11 如果樣本值：9,13,-7,10,-18,4，計算符號秩統(tǒng)計量。,Wilcoxon符號秩檢驗步驟：,3. 令 表示和 對應的 的秩和，令 表示 和 對應的 的秩和。,2. 找出 的秩，打結時取平均秩。,1. 計算,4. 雙邊檢驗 ,取 ，當W很小時拒絕零假設；對 ,取 ；對 ，取 。,5. 根據(jù)W的值查Wilcoxon符號秩檢驗分布表。對n很大的時候，可以采用正態(tài)近似。,Wilcoxon符號秩統(tǒng)計量分布,在小樣本情況下可以計算Wilcoxon符號秩統(tǒng)計量的精確分布。在大

20、樣本情況下可以使用正態(tài)近似：,計算出Z值以后，查正態(tài)分布表對應的p-值，如果p-值很小，則拒絕零假設。,在小樣本情況下，用連續(xù)性修正公式：,例3.12,為了解垃圾郵件對大型公司決策層工作發(fā)影響程度，某網(wǎng)站收集了19家大型公司的CEO郵箱里每天收到的垃圾郵件數(shù)，得到如下數(shù)據(jù): (單位：封) 310 350 370 377 389 400 415 425 440 295 325 296 250 340 298 365 375 360 385 問收到垃圾郵件的數(shù)量的中心位置是否超出320封？,使用Wilcoxon符號秩檢驗法計算如下：,例3.12,結論：不拒絕原假設。,例3.12,用R的內(nèi)置函數(shù)計算 格式: wilcox.test(x, y, alternative=two.sided, mu=0, paired=F, exact=T, correct=T) alternative two.sided“ or greater or less mu X分布的中心位置 paired 是否是配