補(bǔ)充異常值的識(shí)別與處理

異常值的識(shí)別與處理箱式圖亦稱盒形圖（boxplot)，箱須圖(box-whiskerplot)，統(tǒng)計(jì)圖表一章中已討論。利用中位數(shù)、上下四分位數(shù)來(lái)描述數(shù)據(jù)分布的中心位置和分布范圍。

。如果分布是對(duì)稱的，上下四分位數(shù)與中位數(shù)的距離（空間）應(yīng)相等；如果上四分位數(shù)比下四分位數(shù)離中位數(shù)更遠(yuǎn)，則此分布是正偏；反之，負(fù)偏。箱圖(boxplot)也稱箱須圖(box-whiskerplot)，用于反映一組或多組連續(xù)型定量數(shù)據(jù)分布的中心位置和分布范圍。

異常值（outlyingvalue，outlier)定義：一個(gè)觀察值x如屬于下面情形之一，則為異常值。若一個(gè)觀察值x屬于下面情形之一，則稱為極端異常值（extremeoutlyingvalue)。對(duì)于箱式圖在樣本中從上四分位數(shù)到最大的非異常值之間畫一垂直的條形；在樣本中從下四分位數(shù)到最小的非異常值之間畫一垂直的條形；在樣本箱式圖中識(shí)別異常值和極端異常值，并分別用“0”及“＊”表示。抽樣誤差用上述方法識(shí)別異常值是描述性的，它對(duì)樣本大小很敏感，即大樣本時(shí)可能有更多的“異常值”被檢查出來(lái)；因此，識(shí)別異常值的最好應(yīng)建立在假設(shè)檢驗(yàn)的基礎(chǔ)上。異常值的認(rèn)識(shí)前面定性描述了可能存在異常值，實(shí)際上某些異常值有時(shí)會(huì)對(duì)研究結(jié)論產(chǎn)生重要影響。識(shí)別異常值并將其排除在外，或至少作出有無(wú)異常值的統(tǒng)計(jì)結(jié)論。異常值的定量描述常用方法是以遠(yuǎn)離均數(shù)的標(biāo)準(zhǔn)差倍數(shù)的多少倍來(lái)描述。在一個(gè)樣本中把這個(gè)統(tǒng)計(jì)量應(yīng)用于最極端的觀察值時(shí)稱為極端學(xué)生化偏差（extremestudentizeddeviate,ESD)。EDS應(yīng)取多大才能列為異常值？回答是與樣本含量n有關(guān)。對(duì)于樣本含量為n的正態(tài)分布，建立在ESD統(tǒng)計(jì)量上的抽樣分布的臨界值由B.Rosner(1983)給出，列于表10。記?。捍私缰狄蕾囉趎及你定義的第p個(gè)百分位點(diǎn)，因此該統(tǒng)計(jì)量的分界點(diǎn)記為ESDn,p。單個(gè)異常值的判斷：若ESD＞該界值，則認(rèn)為該觀察值是異常值；反之不認(rèn)為存在異常值。異常值的定量描述多個(gè)異常值的判斷設(shè)x1,…,xn中大多數(shù)數(shù)據(jù)呈正態(tài)分布，但我們懷疑有k個(gè)異常點(diǎn)，此處k=min([n/10],5)

其中[n/10]是一個(gè)不超過(guò)n/10的最大整數(shù)。H0:沒(méi)有異常值；H1:至少有1個(gè)但不超過(guò)k個(gè)異常值。用下面的法則去識(shí)別異常值：識(shí)別多個(gè)異常值的法則記x(n)點(diǎn)上達(dá)到ESD，其值為ESD(n)；移去x(n)，再重新計(jì)算均數(shù)、標(biāo)準(zhǔn)差、ESD等，在樣本點(diǎn)x(n-1)達(dá)到ESD，其值為ESD(n-1)；類推，直到有k個(gè)ESD值:ESD(n),ESD(n-1),…，ESD(n-k+1)。與其對(duì)應(yīng)的原始數(shù)據(jù)為x(n),x(n-1),…,

x(n-k+1)。從附表10找出每一個(gè)ESD對(duì)應(yīng)的界值，分別判斷之。除非我們很有把握知道只可能有一個(gè)異常值，一般情況下應(yīng)按多個(gè)異常值來(lái)處理。若發(fā)現(xiàn)有異常值，又該怎么辦？異常值的處理方法一，將有異常值與刪去異常值情形下去分析數(shù)據(jù)以便比較；也可以不刪去異常值，但將它們?cè)跀?shù)據(jù)分析中的作用盡量減少：①秩轉(zhuǎn)換非參數(shù)統(tǒng)計(jì)分析；②穩(wěn)健