試驗(yàn)數(shù)據(jù)異常值的檢驗(yàn)及剔除方法

1、目錄摘要I.關(guān)鍵詞I.1弓I言.12異常值的判別方法.1.檢驗(yàn)（3S）準(zhǔn)則1.狄克松（Dixon）準(zhǔn)貝U2.格拉布斯（Grubbs）準(zhǔn)貝U2指數(shù)分布時(shí)異常值檢驗(yàn)3.萊茵達(dá)準(zhǔn)M（PanTsj）3.肖維勒準(zhǔn)貝U（Chauvenet）43實(shí)驗(yàn)異常數(shù)據(jù)的處理4.4結(jié)束語(yǔ)5.6.參考文獻(xiàn)試驗(yàn)數(shù)據(jù)異常值的檢驗(yàn)及剔除方法摘要：在實(shí)驗(yàn)中不可避免會(huì)存在一些異常數(shù)據(jù)，而異常數(shù)據(jù)的存在會(huì)掩蓋研究對(duì)象的變化規(guī)律和對(duì)分析結(jié)果產(chǎn)生重要的影響，異常值的檢驗(yàn)與正確處理是保證原始數(shù)據(jù)可靠性、平均值與標(biāo)準(zhǔn)差計(jì)算準(zhǔn)確性的前提.本文簡(jiǎn)述判別測(cè)量值異常的幾種統(tǒng)計(jì)學(xué)方法，并利用DPS軟件檢驗(yàn)及剔除實(shí)驗(yàn)數(shù)據(jù)中異常值，此方法簡(jiǎn)單、直觀、快捷

2、，適合實(shí)驗(yàn)者用于實(shí)驗(yàn)的數(shù)據(jù)處理和分析.關(guān)鍵詞：異常值檢驗(yàn)；異常值剔除；DPS;測(cè)量數(shù)據(jù)1引言在實(shí)驗(yàn)中，由于測(cè)量產(chǎn)生誤差，從而導(dǎo)致個(gè)別數(shù)據(jù)出現(xiàn)異常，往往導(dǎo)致結(jié)果產(chǎn)生較大的誤差，即出現(xiàn)數(shù)據(jù)的異常.而異常數(shù)據(jù)的出現(xiàn)會(huì)掩蓋實(shí)驗(yàn)數(shù)據(jù)的變化規(guī)律，以致使研究對(duì)象變化規(guī)律異常，得出錯(cuò)誤結(jié)論.因此，正確分析并剔除異常值有助于提高實(shí)驗(yàn)精度.判別實(shí)驗(yàn)數(shù)據(jù)中異常值的步驟是先要檢驗(yàn)和分析原始數(shù)據(jù)的記錄、操作方法、實(shí)驗(yàn)條件等過(guò)程，找出異常值出現(xiàn)的原因并予以剔除.利用計(jì)算機(jī)剔除異常值的方法許多專(zhuān)家做了詳細(xì)的文獻(xiàn)1報(bào)告.如王鑫，吳先球，用Origin剔除線(xiàn)形擬合中實(shí)驗(yàn)數(shù)據(jù)的異常值；嚴(yán)昌順.用計(jì)算機(jī)快速剔除含粗大誤差的“環(huán)值”

3、；運(yùn)用了統(tǒng)計(jì)學(xué)中各種判別異常值的準(zhǔn)則，各種準(zhǔn)則的優(yōu)劣程度將體現(xiàn)在下文.2異常值的判別方法判別異常值的準(zhǔn)則很多，常用的有t檢驗(yàn)（3S）準(zhǔn)則、狄克松（Dixon）準(zhǔn)則、格拉布斯（Grubbs）準(zhǔn)則等準(zhǔn)則.下面將一一簡(jiǎn)要介紹.2.1檢驗(yàn)（3S）準(zhǔn)則t檢驗(yàn)準(zhǔn)則又稱(chēng)羅曼諾夫斯基準(zhǔn)則，它是按t分布的實(shí)際誤差分布范圍來(lái)判別異常值，對(duì)重復(fù)測(cè)量次數(shù)較少的情況比較合理.基本思想：首先剔除一個(gè)可疑值，然后安t分布來(lái)檢驗(yàn)被剔除的值是否為異常值.設(shè)樣本數(shù)據(jù)為Xi,X2,X3Xn,若認(rèn)X為可疑值.計(jì)算余下n1個(gè)數(shù)據(jù)平均值1n1no*門(mén)及標(biāo)準(zhǔn)差$一，即Xn。=工Xi，Sn,=JZ（Xi-Xn）n-1i±i;j-n

4、-2i土F.然后，按t分布來(lái)判別被剔除的值X是否為異常值.若Xj-XnA>k（na），則X為異常值，應(yīng)予剔除，否則為正常值，應(yīng)予以保留.其中：a為顯著水平；n數(shù)據(jù)個(gè)數(shù)；k（n,a）為檢驗(yàn)系數(shù)，可通過(guò)查表得到狄克松(Dixon)準(zhǔn)則設(shè)有一組測(cè)量數(shù)據(jù)X1Mx2Mx3MXn,且為正態(tài)分布，則可能為異常值的測(cè)量數(shù)據(jù)必然出現(xiàn)在兩端，即X1或Xn.狄克松給出了不同樣本數(shù)量n時(shí)檢驗(yàn)統(tǒng)計(jì)量的計(jì)算公式(見(jiàn)表1).當(dāng)顯著水平a為1%或5%時(shí)，狄克松給出了其臨界值Dia(n).如果測(cè)量數(shù)據(jù)的檢驗(yàn)統(tǒng)計(jì)量_a(n)DAD-(n),則Xi為異常值，如果測(cè)量數(shù)據(jù)的檢驗(yàn)統(tǒng)計(jì)量D'>Dj(n),則Xn為異常

5、值.表1狄克松檢驗(yàn)統(tǒng)計(jì)量計(jì)算公式為數(shù)據(jù)個(gè)數(shù)n統(tǒng)里DX1為可疑值DXn為可疑值D3<n<7(X2-X1)Z(Xn-X)(Xn-A)Z(Xn-X1)8<n<10(X2-X1)Z(XnA-Xj(Xn-Xn)Z(Xn-X?)11<n<13(X3XjZ(Xn,-X)(Xn-Xn,)Z(Xn-X2)14<n<30(X3-X1)Z函2-X)(Xn-Xn)Z(Xn-X3)格拉布斯(GrubbS)準(zhǔn)則設(shè)有一組測(cè)量數(shù)據(jù)為正態(tài)分布，為了檢驗(yàn)數(shù)據(jù)中是否存在異常值，將其按大小順序排列，即Xi<X2<X3工Xn,可能為異常值的測(cè)量數(shù)據(jù)一定出現(xiàn)在最大或最小的數(shù)據(jù)中

6、.若最小值Xi是可疑的，則檢驗(yàn)統(tǒng)計(jì)量G=(x-Xi)Zs.式中X是均值、s是標(biāo)準(zhǔn)n1n即XXini土對(duì)于檢驗(yàn)統(tǒng)計(jì)量G，格拉布斯導(dǎo)出了其統(tǒng)計(jì)分布，并給出了當(dāng)顯著水平a為1%或5%時(shí)的臨界值G()(n).G()(n)稱(chēng)格拉布斯系數(shù)，可通過(guò)抽查表得到.當(dāng)最小值X或最大值4對(duì)應(yīng)的檢驗(yàn)統(tǒng)計(jì)量G大于臨界值時(shí)，則認(rèn)為與之對(duì)應(yīng)的“或“為可疑異常值，應(yīng)予以剔除指數(shù)分布時(shí)異常值檢驗(yàn)設(shè)一組測(cè)量數(shù)據(jù)為指數(shù)分布，為了檢驗(yàn)數(shù)據(jù)中是否存在異常值，將其按大小順序排列，即X1Mx2Mx3MXn檢驗(yàn)最小值或最大值是否為異常值的檢驗(yàn)方法如下：nn當(dāng)樣本量nM1。時(shí)，計(jì)算統(tǒng)計(jì)量Tn(n)=Xn/£X及=X"

7、63;Xi_1t對(duì)于給定的顯著水平a(通常取0.5)和樣本數(shù)量n，通過(guò)查表得到Tn(n)及Tn分別對(duì)應(yīng)的臨界值Tn(n)(1-a)和Tn(a).若Tnn)A%)(1a)時(shí)，認(rèn)為為異常值；若Tn<Tn(i)(a)時(shí)，認(rèn)為Xi為異常值.n當(dāng)樣本谷量n>100時(shí)，計(jì)算統(tǒng)計(jì)量En(n)=(n-1)(Xn-Xn)/已為+Xn)及inEn(1)=n(n-1)X1/(?Xi-nX1).i&1對(duì)于給定顯著水平a和樣本數(shù)量n,若En0naF2,2-2,1立=(n-1)(af,-1),則1判斷Xn為異常值；若En(1)AF2,2n/,a-1)(1-a)=-1,則判斷X為異常值.萊茵達(dá)準(zhǔn)則(Pa

8、nTa)n對(duì)于實(shí)驗(yàn)數(shù)據(jù)測(cè)出值X1,X2,X3，Xn,求取其算術(shù)平均值x=1/nEXi及剩余誤差值Vi=Xi-X,然后求出其均方根偏差仃=(£Vi2/n-1)1/2.判別依據(jù)(假設(shè)v服從正態(tài)分布)：Xi-X>3CT,則X相對(duì)而言誤差較大，應(yīng)舍去；X-X<3cr,x為正常數(shù)據(jù)，應(yīng)該保留.有概率論統(tǒng)計(jì)可知，如果誤差服從正要分布，誤差大于3仃的觀測(cè)數(shù)據(jù)出現(xiàn)的概率小于0.003,相當(dāng)大于300次觀測(cè)中有一次出現(xiàn)的可能.萊茵達(dá)準(zhǔn)則只是進(jìn)行粗略的剔除，取舍的概率較小，可能將不合理的異常值保留.肖維勒準(zhǔn)則(Chauvenet)次準(zhǔn)則也是建立在實(shí)驗(yàn)數(shù)據(jù)服從正態(tài)分布.假設(shè)多次測(cè)量的n個(gè)測(cè)量值

9、中，數(shù)據(jù)的參與誤差v>Zca,則剔除該數(shù)據(jù).其中。=(£v2/n-1)1/2,樣品容量為n時(shí)的判別系數(shù)Zc<3,彌補(bǔ)了萊茵達(dá)準(zhǔn)則的不足，故此準(zhǔn)則優(yōu)勝于萊茵達(dá)準(zhǔn)則，但條件更為苛刻.3實(shí)驗(yàn)異常數(shù)據(jù)的處理對(duì)于測(cè)定中異常數(shù)據(jù)的處理，必須慎重考慮，不能憑預(yù)感任意刪除或添加.應(yīng)該從所學(xué)知識(shí)上考慮，異常值有時(shí)能反映試驗(yàn)中的某些新現(xiàn)象.這類(lèi)“異常值”正深化人們對(duì)客觀事物的認(rèn)識(shí)，如果隨意刪除它，可能深入了解和發(fā)現(xiàn)新事物的一次機(jī)會(huì)，那么對(duì)學(xué)者深入研究非?？上?所以對(duì)任何異常數(shù)據(jù)都因首先在技術(shù)上尋找原因，如果在技術(shù)上發(fā)現(xiàn)原因，理應(yīng)舍去.如在技術(shù)上無(wú)法作出判斷，卻可在上述準(zhǔn)則中發(fā)現(xiàn)其高度異常，也

10、因舍棄.其中，運(yùn)用DPS軟件進(jìn)行異常數(shù)據(jù)的檢驗(yàn)與剔除特別方便，而且不許編寫(xiě)程序，它融合了SPSS表格和EXCELL表格，操作簡(jiǎn)單，實(shí)用性強(qiáng).如圖一下為DPS數(shù)據(jù)處理系統(tǒng)對(duì)話(huà)框.DPS射據(jù)處理系蛇dps文件封提照播數(shù)據(jù)分析國(guó)航設(shè)計(jì)H抬統(tǒng)計(jì)分類(lèi)數(shù)據(jù)統(tǒng)計(jì)專(zhuān)立統(tǒng)計(jì)元分析數(shù)學(xué)模型運(yùn)尊學(xué)的值分析時(shí)同序列苴它朝比圖一數(shù)據(jù)處理系統(tǒng)對(duì)話(huà)框只要執(zhí)行菜單命令下的“數(shù)據(jù)分析一一異常值檢驗(yàn)”彈出如圖二下圖的窗口，然后進(jìn)行選擇檢驗(yàn)分析方法及顯著水平，點(diǎn)擊確定即可.圖二用戶(hù)對(duì)話(huà)框在測(cè)定中，有時(shí)發(fā)現(xiàn)個(gè)別數(shù)據(jù)離群嚴(yán)重，上述檢驗(yàn)原則為異常值，但它與其他測(cè)定值的差異在儀器的精度范圍內(nèi)，這種數(shù)據(jù)不應(yīng)舍去，應(yīng)予保留.而對(duì)于一些分析而言，需要估計(jì)總體參數(shù)，異常數(shù)據(jù)一般都要舍去.對(duì)于不同的之心度應(yīng)作相應(yīng)的處理，則要據(jù)實(shí)際情況而定.4結(jié)束語(yǔ)由上述可知，用DPS軟件進(jìn)行異常值檢驗(yàn)和剔除的過(guò)程簡(jiǎn)單、直觀、快捷,適用于大眾學(xué)生進(jìn)行各實(shí)驗(yàn)數(shù)據(jù)的處理和分析.將此軟件運(yùn)用于實(shí)驗(yàn)教學(xué)，可以使學(xué)生快速準(zhǔn)確判斷實(shí)驗(yàn)結(jié)果，也可以提高教學(xué)質(zhì)量.參考文獻(xiàn)1王鑫，吳先球.用Origin剔除線(xiàn)形擬合中實(shí)驗(yàn)數(shù)據(jù)的異常值J.山西師范大學(xué)學(xué)報(bào)，2003,1