非參數(shù)第三章課件

1、第三章 單樣本問題3.1 廣義符號檢驗和有關的置信區(qū)間例3.1 （數(shù)據(jù)：ExpensiveCities.TXT ）下面是世界上71個大城市的花費指數(shù)按遞增次序排列如下（上海是44位，其指數(shù)為63.5）： 27.8 27.8 29.1 32.2 32.7 32.7 36.4 36.5 37.5 37.7 38.8 41.9 45.2 45.8 46.0 47.6 48.2 49.9 51.8 52.7 54.9 55.0 55.3 55.5 58.2 60.8 62.7 63.5 64.6 65.3 65.3 65.4 66.2 66.7 67.7 71.2 71.7 73.9 74.3 74.

2、5 76.6 76.8 77.7 77.9 79.1 80.9 81.0 82.6 85.7 86.2 86.4 89.4 89.5 90.3 90.8 91.8 92.8 95.2 97.5 98.2 99.1 99.3 100.0 100.6 104.1 104.6 105.0 109.4 122.4 第1頁，共37頁。 可以假定這個樣本是從世界許多大城市中隨機抽樣得到的，所有大城市的指數(shù)組成了總體.有人說64應該是這種大城市花費指數(shù)的中位數(shù)（median）;而另外有人說，64頂多是下四分位數(shù)（first quantile）.這里看上去有兩個關于位置參數(shù)的不同檢驗問題.（1）樣本中位數(shù)M是

3、否大于64.（2）樣本下四分位點Q0.25是否小于64.由于中位數(shù)也是分位點（0.5分位點）.這兩個問題實際上是一個問題，即關于分位點的檢驗問題.當然也出現(xiàn)了求 分位點 的 置信區(qū)間問題.第2頁，共37頁。第3頁，共37頁。3.1.1 廣義符號檢驗：對分位點進行的檢驗所謂的廣義符號檢驗是對連續(xù)變量 分位點 進行的檢驗；而狹義的符號檢驗則是僅針對中位數(shù) 進行的檢驗.假定檢驗的零假設是 ，而備擇假設則可能為記樣本中小于 的點數(shù)為 ，而大于 的點數(shù)為并且用小寫的 和 分別代表 和 的實現(xiàn)值.記 第4頁，共37頁。在零假設 下， 應該服從二項分布 對 的檢驗，下面變量K 的分布為 ， 為樣本 分位點備

4、擇假設值使檢驗有意義的條件第5頁，共37頁。而對于 的特例，這時 為中位數(shù)，通常記為M ，則有下面的表.對 的檢驗，變量 的分布為備擇假設 值第6頁，共37頁。例3.1（續(xù)）下面討論例3.1的樣本下四分位點 是否小于64的檢驗.則檢驗問題是第7頁，共37頁。再看關于64是否為中位數(shù)的檢驗，大樣本正態(tài)近似第8頁，共37頁。3.1.2 基于符號檢驗的中位數(shù)及分位點的置信區(qū)間中位數(shù) 的對稱置信區(qū)間.首先我們考慮關于中位數(shù) 的基于符號檢驗的 置信區(qū)間.它定義為：對于顯著性水平為 的中位數(shù)的雙邊符號檢驗 ，不會使 被拒絕的那些零假設點 的集合.第9頁，共37頁。例3.2（數(shù)據(jù)：tax.txt）下面是隨機

5、抽取的22個企業(yè)的納稅額.數(shù)據(jù)已經(jīng)按照升冪排列. 1.00 1.35 1.99 2.05 2.06 2.10 2.30 2.61 2.86 2.95 2.98 3.23 3.73 4.03 4.82 5.24 6.10 6.64 6.81 6.86 7.11 9.00實際置信度置信區(qū)間0.9999995（1，9）0.999989（1.35，7.11）0.9998789（1.99，6.86）0.9991446（2.05，6.81）0.9830995（2.10，6.10）0.9475212（2.30，5.24）第10頁，共37頁。 3.2 Wilcoxon符號秩檢驗，點估計和區(qū)間估計Wilcoxo

6、n符號秩檢驗：把觀測值和零假設的中心位置之差的絕對值的秩分別按照不同的符號相加作為其檢驗統(tǒng)計量.注意，該檢驗需要假定樣本點 來自連續(xù)對稱總體分布.例3.3 （數(shù)據(jù)：EuroAlc.txt）下面是10個歐洲城鎮(zhèn)每人每年平均消費的酒類相當于純酒精數(shù)（單位：升），數(shù)據(jù)已經(jīng)按照升冪排列.4.12 5.81 7.63 9.74 10.39 11.92 12.32 12.89 13.54 14.45 檢驗問題是：第11頁，共37頁。Wilcoxon符號秩檢驗步驟如下：（1）計算3.88 2.19 0.37 1.74 2.39 3.92 4.32 4.89 5.54 6.45（2）把上面的n個絕對值排序，并

7、找出它們的n個秩，如果有相同的樣本點，每個點取平均秩.5 3 1 2 4 6 7 8 9 10（3）令 等于 的 的秩的和. 而 等于 的 的秩的和.注意：第12頁，共37頁。（4）對雙邊檢驗 ，在零假設下， 和 應該差不多.因而，當其中之一很小時，應懷疑零假設.取檢驗統(tǒng)計量 類似的，對 的單邊檢驗取對 的單邊檢驗取 第13頁，共37頁。（5）根據(jù)得到的W值，利用統(tǒng)計軟件或查Wilcoxon符號秩檢驗的分布表以得到在零假設下的p值.Psignrank(w,10)得到p=0.032（6）如果p值較小，則可以拒絕零假設.如果p值較大則沒有充分證據(jù)來拒絕零假設，但不意味著接受零假設. wilcox.

8、test(x-8,alt=greater) Wilcoxon signed rank testdata: x - 8 V = 46, p-value = 0.03223alternative hypothesis: true location is greater than 0 第14頁，共37頁。W+在零假設下的分布.秩符號的8種組合123 + - - + + - + - + - + - + +- - - + - + + + W+0 1 2 3 3 4 5 6概率注意 W+和 W- Wilcoxon分布的關系第15頁，共37頁。3.2.2 基于Wilcoxon符號秩檢驗的點估計和區(qū)間估計.首

9、先求每兩個數(shù)的平均 （一共有 個）來擴大樣本數(shù)目.這樣的平均稱為Walsh平均.可以證明前面的統(tǒng)計量 W+等于大于零的Walsh平均的個數(shù).即 如果考慮移位 ，即 ，同樣可以用第16頁，共37頁。 對稱中心 可由Walsh平均的中位數(shù)來估計，稱為Hodge-Lehmann估計量： 利用Walsh平均還可以得到 的置信區(qū)間，先按照升冪排列Walsh平均，記為 ，則 的 置信區(qū)間為這里整數(shù)k由 來決定. 第17頁，共37頁。在大樣本時，用類似于Wilcoxon檢驗的近似得到例3.3歐洲酒精人均消費的例子.Walsh平均有55個值（按照升冪排列）4.120 4.965 5.810 5.875 6.7

10、20 6.930 7.255 7.630 7.775 8.020 8.100 8.220 8.505 8.685 8.830 8.865 9.010 9.065 9.285 9.350 9.675 9.740 9.775 9.975 10.065 10.130 10.260 10.390 10.585 10.830 11.030 11.040 11.155 11.315 11.355 11.640 11.640 11.920 11.965 12.095 12.120 12.320 12.405 12.420 12.605 12.730 12.890 12.930 13.185 13.215 1

11、3.385 13.540 13.670 13.995 14.450第18頁，共37頁。3.3 正態(tài)記分檢驗考慮線性秩統(tǒng)計量 ，要按照正態(tài)分布來定義記分函數(shù)，為了使 ，不用 作為這里的記分，而稍微改變一下記分函數(shù)使其為經(jīng)過相應的替換后第19頁，共37頁。把 標準化，就得到這里的對單樣本位置的所謂正態(tài)記分檢驗統(tǒng)計量如果觀測值的總體分布接近于正態(tài)，或者在大樣本情況下，可以認為T近似的有標準正態(tài)分布.實際上，對于很小的樣本也適用.如果記 ，則有 大約等于 ，也就是說，它和期望正態(tài)記分相近.第20頁，共37頁。4.125.187.639.7410.3911.9212.3212.8913.5414.453

12、.882.190.371.742.393.924.324.985.546.4553124678910-0.6045-0.3487-0.11410.22980.47270.74780.90841.09681.33511.69064.125.187.639.7410.3911.9212.3212.8913.5414.458.386.694.872.762.110.580.180.391.041.9510987631245-1.6906-1.3351-1.0968-0.9084-0.7478-0.3487-0.11410.22980.47270.6045Sn=5.41406，T=1.9135，p=0

13、.02783Sn= -4.9346 T= -1.74409 p=0.0405結(jié)論：拒絕零假設結(jié)論：拒絕零假設例3.3 的正態(tài)記分檢驗第21頁，共37頁。正態(tài)記分（NS+）相對于Wilcoxon符號秩檢驗（W+）對于不同總體分布的ARE總體分布均勻 正態(tài) Logistic 重指數(shù) CauchyARE（NS+，W+）+ 1.047 0.955 0.847 0.708第22頁，共37頁。3.4 Cox-Stuart趨勢檢驗例3.4（數(shù)據(jù)：TJAir.txt ）天津機場從1995年1月到2003年12月的108個月旅客吞吐量（人次）54379 45461 55408 59712 60776 57635

14、 63335 71296 70250 76866 75561 66427 61330 58186 67799 76360 86207 75509 83020 89614 75791 80835 72179 61520 66726 60629 68549 73310 80719 67759 70352 82825 70541 74631 68938 53318 62653 58578 63292 69535 73379 62859 72873 87260 67559 76647 70590 58935 58161 64057 63051 58807 63663 57367 70854 79949

15、 66992 80140 62260 55942 58367 56673 61039 74958 85859 67263 87183 97575 79988 88501 68600 58442 68955 56835 67021 81547 85118 70145 95080 106186 86103 88548 70090 65550 69223 85138 89799 99513 98114 68172 97366 116820 95665 109881 87068 75362 88268 85183 87909 79976 27687 50178 100878 131788 116293

16、 120770 104958 109603第23頁，共37頁。 plot(x,xlab=Month,ylab=Number of Passenger) lines(x)第24頁，共37頁。主要有三種檢驗：（1）H0：無增長趨勢； H1：有增長趨勢.（2）H0：無減少趨勢； H1：有減少趨勢.（3）H0：無趨勢； H1：有增長或減少趨勢. 形式上，該檢驗問題可以重新敘述為：假定獨立觀測值 分別來自分布為 的總體，這里 對稱于零點.上面第一個單邊檢驗為 ，對 （至少一個不等式是嚴格的）.第25頁，共37頁?？梢园衙總€觀測值和相隔大約 的另一個觀測值配對比較，因此大約有 個對子.然后看增長的對子和減

17、少的對子各有多少來判斷總的趨勢.具體做法為，取 和 組成一對 ，這里用每一對的兩元素差 的符號來衡量增減.令 為正的 的數(shù)目，而令 為負的 的數(shù)目.顯然當正號太多時，即 很大時，有下降趨勢,反之，則有增長趨勢.第26頁，共37頁。類似于符號檢驗，對于上面1，2，3三種檢驗，分別取檢驗統(tǒng)計量 .這里在例3.4中，由于 ，表明可能有增長的趨勢，考慮檢驗：H0：無增長趨勢； H1：有增長趨勢.第27頁，共37頁。Cox-Stuart趨勢檢驗的過程總結(jié)如下：零假設：H0備擇假設：H1檢驗統(tǒng)計量（K）p值H0：無增長趨勢H1：有增長趨勢H0：無減少趨勢H1：有減少趨勢H0：無趨勢H1：有增長或減少趨勢大

18、樣本時，用近似的正態(tài)統(tǒng)計量 作出結(jié)論第28頁，共37頁。關于隨機性的游程檢驗（run test） 游程檢驗方法是檢驗一個取兩個值的變量的這兩個值的出現(xiàn)是否是隨機的.例1：假定下面是由0和1組成的一個這種變量的樣本（數(shù)據(jù)run1.sav）：0 0 0 0 1 1 1 1 1 1 0 0 1 0 1 1 1 0 0 0 0 0 0 0 0其中相同的0（或相同的1）在一起稱為一個游程（單獨的0或1也算）.這個數(shù)據(jù)中有4個0組成的游程和3個1組成的游程。一共是R=7個游程。其中0的個數(shù)為m=15，而1的個數(shù)為n=10. 第29頁，共37頁。例2 （數(shù)據(jù)：run01.txt）假定我們擲一個硬幣，以概率p

19、出現(xiàn)正面（記為1），以概率1-p出現(xiàn)反面（記為0）；這是一個Bernoulli試驗，如果這個試驗是隨機的，則不大可能出現(xiàn)許多1或許多0連在一起，也不可能0和1交替出現(xiàn)的太頻繁.例如，下面為一例這樣的結(jié)果0 0 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 1 1 1 1 0 0 則上面這組數(shù)中有3個0游程，2個1游程，一共5個游程.0的總個數(shù)為m=13,1的總個數(shù)n=10，總的試驗次數(shù)N=m+n=23.第30頁，共37頁。出現(xiàn)0和1的的這樣一個過程可以看成是參數(shù)為某未知p的Bernoulli試驗。但在給定了m和n之后，在0和1的出現(xiàn)是隨機的零假設之下，R的條件分布就和這個參數(shù)無關

20、了。根據(jù)初等概率論，R的分布可以寫成（令N=m+n）第31頁，共37頁。關于隨機性的游程檢驗（run test） 于是就可以算出在零假設下有關R的概率，以及進行有關的檢驗了。利用上面公式可進行精確檢驗；也可以利用大樣本的漸近分布和利用Monte Carlo方法進行檢驗。利用上面數(shù)據(jù)的結(jié)果是 第32頁，共37頁。關于隨機性的游程檢驗（run test） 當然，游程檢驗并不僅僅用于只取兩個值的變量，它還可以用于某個連續(xù)變量的取值小于某個值及大于該值的個數(shù)（類似于0和1的個數(shù)）是否隨機的問題。看下面例子。例 (run2.sav): 從某裝瓶機出來的30盒化妝品的重量如下（單位克） 71.6 71.0 71.8 70.3 70.5 72.9 71.0 71.0 70.1 71.8 71.9 70.3 70.9 69.3 71.2 67.3 67.6 67.7 67.6 68.1 68.0 67.5 69.8 67.5 69.7 70.0 69.1 70.4 71.0 69.9為了看該裝瓶機是否工作正常，首先需要驗證是否大于和小于中位數(shù)的個