非參數(shù)統(tǒng)計(jì)__秩相關(guān)分析和秩回歸

1、第七章第七章 秩相關(guān)分析和秩回歸秩相關(guān)分析和秩回歸相關(guān)系數(shù)的度量相關(guān)系數(shù)的度量12211()()()()niiisnniiiiRR QQrRRQQ12211()()()()niiinniiiixxyyrxxyy常用的相關(guān)系數(shù)有三種:1. Pearson相關(guān)系數(shù)2. Spearman秩相關(guān)系數(shù)3. Kendall 相關(guān)系數(shù)1(1)/22()()(1)cdcdcdijijij nNNNNNNn nsign xxyyn n 7.1 Spearman秩相關(guān)系數(shù)及檢驗(yàn)秩相關(guān)系數(shù)及檢驗(yàn)檢驗(yàn)問題設(shè)樣本 來自總體 ： 11nn(X,Y)(X ,Y ),(X ,Y )F(x,y)01H :XH :XY與Y不相關(guān)

2、與 正相關(guān).設(shè) 是 在 中的秩, 是 在 中的秩。Spearman秩相關(guān)系數(shù)：秩相關(guān)系數(shù)可簡化為：iRiX12n(X ,X ,X )iQiY12n(Y,Y ,Y )nnniiiii 1i 1i 1snnnn22iiiii 1i 1i 1i 111(RR )(QQ )nnr11(RR )(QQ )nnn2sii2i 16r1(RQ )n(n1) 檢驗(yàn)檢驗(yàn)在零假設(shè)成立時(shí)， 服從自由度為 的t分布。 時(shí)表示正相關(guān)。在存在重復(fù)數(shù)據(jù)的時(shí)候，可以采用平均秩，結(jié)不多的時(shí)候，T仍然可以采用。s2sn2Tr1 rn2 ,Tt 在大樣本情況下，可以采用正態(tài)近似進(jìn)行檢驗(yàn)：sn1rN(0,1)n 在出現(xiàn)打結(jié)的時(shí)候，需

3、要使用修正公式計(jì)算。當(dāng)例例7.1解答解答0.01t(10)3.1690.01/2t(10)3.1690.01c(12)0.727 相關(guān)系數(shù)及檢驗(yàn)相關(guān)系數(shù)及檢驗(yàn) Kendall Kendall(1938)提出一種類似于Spearman秩相關(guān)的檢驗(yàn)方法，從兩變量 是否協(xié)同(concordant)來檢驗(yàn)變量之間的相關(guān)性。首先引入?yún)f(xié)同的概念：若 ， 則稱數(shù)對 和 協(xié)同。若 ， 則稱數(shù)對 和 不協(xié)同。ii(x ,y )jiji(xx)(yy) 0jiii(x ,y )jj(x ,y )jiji(x x)(y y) 0jiii(x ,y )jj(x ,y ) 01H :XH :XY與Y不相關(guān)與 正相關(guān).這

4、樣的樣本共有 個(gè)數(shù)對，用 表示協(xié)同的數(shù)對的數(shù)目， 表示不協(xié)同的數(shù)對數(shù)目。則 系數(shù)定義為：其中 ，易知nn(n1)/22 cNdNKendall cdcdcdijij1 i j nNNNN2SNNn(n1)/2n(n1)2sign(xx )(yy )n(n1) cdSNN11 在 取大值的時(shí)候拒絕. 具體檢驗(yàn)時(shí)可以查零分布表,大樣本時(shí)可以采用正態(tài)近似。打結(jié)情況下用正態(tài)修正。 0H另一種轉(zhuǎn)換形式:將X的數(shù)據(jù)由小到大排序, 由于協(xié)同性考慮Y的秩, 記為: d1,d2,dn, 計(jì)算PQn(n1)/2 nijiij ii 1nijiij ii 1pIdd ,PpqIdd ,Qq例例7.2d1,d2, d

5、101 0Nc=38, Nd=7tao=2*31/90=0.6889結(jié)論: 拒絕H0, 體重與肺活量有關(guān)系.38 7 x-c(75,95,85,70,76,68,60,66,80,88)yck 2n 1k(n1)W 當(dāng)樣本中有結(jié)點(diǎn)時(shí)，采用修正的Kendall協(xié)和系數(shù)22i.i.c23R(R ) / nWk (nn)kT12g3iiT() 例例7.3 x1 x2 x3 y1 y2 y3 Rh SSR SSR1 657.5 Wc ka qchisq(0.95,9)1 16.91898 %查表值 ka1 24.35185 %計(jì)算值 (拒絕H0, 三個(gè)因素一致相關(guān))Kappa一致性一致性檢驗(yàn)檢驗(yàn) 實(shí)際

6、問題:1) 兩家不同醫(yī)院的專家對同一X光片會(huì)診診斷結(jié)果是否一致?2) 公司的兩個(gè)部門領(lǐng)導(dǎo)對一個(gè)項(xiàng)目的鑒定意見是否一致?01H :H :兩種方法不一致兩種方法一致Kappa一致性一致性檢驗(yàn)檢驗(yàn) 按光潔程度將產(chǎn)品分為三類: 優(yōu)等品、合格品和不合格品。兩位檢驗(yàn)員分別對72件產(chǎn)品進(jìn)行檢驗(yàn)，檢驗(yàn)結(jié)果如下：檢驗(yàn)員1檢驗(yàn)員2合計(jì)優(yōu)等合格不合格優(yōu)等174829合格512017不合格1031326合計(jì)32192172問兩個(gè)檢驗(yàn)員檢驗(yàn)結(jié)果是否一致？Kappa一致性一致性檢驗(yàn)檢驗(yàn) 列和B1BrA1p11p1rp1.Arpr1prrpr.行和p.1p.rp. 一般的 rr聯(lián)列表：一致性的度量公式：11221.rrro

7、iiinnnPpnKappa一致性一致性檢驗(yàn)檢驗(yàn) .1reiiiPp p與一致性相反的是獨(dú)立性。Kappa統(tǒng)計(jì)量：1oeePPKP特別，當(dāng)Po=1，則K=1，顯然非對角線上的元素都為0，這時(shí)，一致性非常好。若Po=Pe，則K=0，則認(rèn)為一致性較差。具體一致性程度的劃分為三種：1)0.4,2)0.40.83)0.8KKK較低中度較高（Kappa系數(shù)）Kappa一致性一致性檢驗(yàn)檢驗(yàn) 2.21var()()(1)eeiiiiieKPPp pppnP理論上可推導(dǎo)則正態(tài)近似(0,1)var()KZNK0.0251.96,0ZZK當(dāng)則例例 檢驗(yàn)員1檢驗(yàn)員2合計(jì)優(yōu)等合格不合格優(yōu)等174829合格512017

8、不合格1031326合計(jì)32192172解答解答 A ,1 ,2 ,3 1, 17 4 82, 5 12 03, 10 3 13 PA PA ,1 ,2 ,3 1, 0.23611111 0.05555556 0.11111112, 0.06944444 0.16666667 0.00000003, 0.13888889 0.04166667 0.1805556 rPA cPA Po Po1 0.5833333 Pe Pe1 0.3466435 K K1 0.3622675 （較低）一元線性回歸一元線性回歸例例多元線性回歸多元線性回歸多元線性回歸系數(shù)估計(jì)多元線性回歸系數(shù)估計(jì)例例X1=c(-0.

9、05, 0.25,0.60,0, 0.25,0.20, 0.15,0.05,-0.15, 0.15,0.20, 0.10,0.40,0.45,0.35,0.30, 0.50,0.50, 0.40,-0.05,-0.05,-0.10,0.20,0.10,0.50,0.60,-0.05,0, 0.05, 0.55)X2=c( 5.50,6.75,7.25,5.50,7.00,6.50,6.75,5.25,5.25,6.00,6.50,6.25,7.00,6.90,6.80,6.80,7.10,7.00,6.80,6.50,6.25,6.00,6.50,7.00,6.80,6.80,6.50,5.7

10、5,5.80,6.80)Y=c( 7.38,8.51,9.52,7.50,9.33,8.28,8.75,7.87,7.10,8.00,7.89,8.15,9.10,8.86,8.90,8.87,9.26,9.00,8.75,7.95,7.65,7.27,8.00,8.50,8.75,9.21,8.27,7.67,7.93,9.26)lm.sol x y mx-median(x)分組程序分組程序 y1-yx=mxx1-xx=mxy2mxx2mx例例7.5 X5.5, 5.8, 6.3, 6.5, 6.8, 6.9, 7.0, 7.2, X1med=6.65Y6.3, 5.5, 6.8, 7.6,

11、 7.0, 7.8, 6.6, 6.1, Y1med=6.7X7.3, 7.5, 7.6, 8.1, 8.2, 8.3, 9.1, X2med=8.1Y7.9, 8.4, 7.1, 8.0, 9.0, 9.6, 8.7, Y2med=8.412128.46.71.17248.1 6.650.6586:1.17240.6586medmedBMmedmedeBMiBMiiYYXXmedian yxyx 回歸方程例例7.5 xy67896789一元線性回歸一元線性回歸 lm(yx)Call:lm(formula = y x)Coefficients:(Intercept) x 0.7996 0.92

12、88 :0.92880.7996yx回歸方程一元線性回歸一元線性回歸擬合效果圖形： plot(x,y) abline(lm(yx)xy67896789jiijjiyysxx1）Theil方法：當(dāng)X沒有重復(fù)數(shù)據(jù)時(shí)，任給i S for(i in 1:14)for(j in (i+1):15)Si,j Sx Sm Sm1 0.969697al al1 0.6909091:0.96970.6909yx回歸方程三種方法的效果圖形三種方法的效果圖形 0.92880.7996yx最小二乘法1.17240.6586BMyx方法0.96970.6909Theilyx方法課后習(xí)題課后習(xí)題7.5 plot(x,y)

13、X33 45 30 20 39 34 34 21 27 38 30Y76 103 69 50 86 85 74 58 62 88 210 xy20253035404550100150200異常值1）BM方法 mx-median(x)y1-yx=mxx1-xx=mxy2mxx2mx BM BM1 2.157895 alf alf1 5.8947372.15795.8947yx2）Theil方法 x0 y0 S for(i in 1:9)for(j in (i+1):10)Si,j Sx Sm Sm1 2 al al1 10.7510.752yx關(guān)于關(guān)于和和的檢驗(yàn)問題的檢驗(yàn)問題 0001000010:,:,:HHHH圖形分析：xy67896789n1n2xmed1）BM方法100200#( ,):,#( ,):,iiimediiiimedinx yxxyxnx yxxyx122212:4:()()44nnnnnnn0在H 的假定下構(gòu)造統(tǒng)計(jì)量關(guān)于關(guān)于和和的檢驗(yàn)問題的檢驗(yàn)問題 22212200.05