試驗(yàn)數(shù)據(jù)異常值的檢驗(yàn)及剔除方法

1、目錄摘要I.關(guān)鍵詞I.1 弓I言.12異常值的判別方法.1.2.1 檢驗(yàn)（3司 準(zhǔn)則1.2.2 狄克松（Dixon）準(zhǔn)WJ 2.2.3 格拉布斯（Grubbs）準(zhǔn)貝U 2.2.4 指數(shù)分布時(shí)異常值檢驗(yàn)3.2.5 萊茵達(dá)準(zhǔn)則（PanT® 3.2.6 肖維勒準(zhǔn)貝U （ Chauvenet） 4.3實(shí)驗(yàn)異常數(shù)據(jù)的處理4.4 結(jié)束語5.參考文獻(xiàn)6.內(nèi)江師范學(xué)院本科學(xué)年論文試驗(yàn)數(shù)據(jù)異常值的檢驗(yàn)及剔除方法摘要:在實(shí)驗(yàn)中不可避免會(huì)存在一些異常數(shù)據(jù)，而異常數(shù)據(jù)的存在會(huì)掩蓋研究對象的變化規(guī)律和對分析結(jié)果產(chǎn)生重要的影響，異常值的檢 驗(yàn)與正確處理是保證原始數(shù)據(jù)可靠性、平均值與標(biāo)準(zhǔn)差計(jì)算準(zhǔn)確性的 前提.本文

2、簡述判別測量值異常的幾種統(tǒng)計(jì)學(xué)方法， 并利用DPS軟件檢 驗(yàn)及剔除實(shí)驗(yàn)數(shù)據(jù)中異常值，此方法簡單、直觀、快捷，適合實(shí)驗(yàn)者 用于實(shí)驗(yàn)的數(shù)據(jù)處理和分析.關(guān)鍵詞：異常值檢驗(yàn)；異常值剔除；DPS;測量數(shù)據(jù)I內(nèi)江師范學(xué)院本科學(xué)年論文1引言在實(shí)驗(yàn)中，由丁測量產(chǎn)生誤差，從而導(dǎo)致個(gè)別數(shù)據(jù)出現(xiàn)異常，往往導(dǎo)致結(jié)果 產(chǎn)生較大的誤差，即出現(xiàn)數(shù)據(jù)的異常.而異常數(shù)據(jù)的出現(xiàn)會(huì)掩蓋實(shí)驗(yàn)數(shù)據(jù)的變化 規(guī)律，以致使研究對象變化規(guī)律異常，得出錯(cuò)誤結(jié)論.因此，正確分析并剔除異常值有助丁提高實(shí)驗(yàn)精度.判別實(shí)驗(yàn)數(shù)據(jù)中異常值的步驟是先要檢驗(yàn)和分析原始數(shù)據(jù)的記錄、操作方 法、實(shí)驗(yàn)條件等過程，找出異常值出現(xiàn)的原因并予以剔除.利用計(jì)算機(jī)剔除異常值的

3、方法許多專家做了詳細(xì)的文獻(xiàn) 1報(bào)告.如王鑫，吳先 球，用Origin剔除線形擬合中實(shí)驗(yàn)數(shù)據(jù)的異常值； 嚴(yán)昌順.用計(jì)算機(jī)快速剔除含 粗大誤差的“環(huán)值”；運(yùn)用了統(tǒng)計(jì)學(xué)中各種判別異常值的準(zhǔn)則，各種準(zhǔn)則的優(yōu)劣 程度將體現(xiàn)在下文.2異常值的判別方法判別異常值的準(zhǔn)則很多，常用的有 t檢驗(yàn)（3S）準(zhǔn)則、狄克松（Dixon）準(zhǔn) 則、格拉布斯（Grubb準(zhǔn)則等準(zhǔn)則.下面將一一簡要介紹.2.1 檢驗(yàn)（3S）準(zhǔn)則t檢驗(yàn)準(zhǔn)則乂稱羅曼諾夫斯基準(zhǔn)則，它是按t分布的實(shí)際誤差分布范圍來判別 異常值，對重復(fù)測量次數(shù)較少的情況比較合理.基本思想：首先剔除一個(gè)可疑值，然后安t分布來檢驗(yàn)被剔除的值是否為異 常值.設(shè)樣本數(shù)據(jù)為Xi,X

4、2,X3Xn，若認(rèn)X為可疑值.計(jì)算余下n1個(gè)數(shù)據(jù)平均值1 n1 n,Xn 及標(biāo)傕差 sn ，即 Xn= Z Xi，Sn=J Z 一乂“）n - 1 i 土i = j« n - 2 i 土i=j.然后，按七分布來判別被剔除的值X是否為異常值.若Xj -Xn>k（na ），則X為異常值，應(yīng)予剔除，否則為正常值，應(yīng)予以保留.其中：a為顯著水平；n數(shù)據(jù)個(gè)數(shù)；k（n,a）為檢驗(yàn)系數(shù)，可通過查表得到.2.2 狄克松（Dixon）準(zhǔn)則設(shè)有一組測量數(shù)據(jù)Xi <x2苴乂3壬xn ,且為正態(tài)分布，則可能為異常值的測量數(shù)據(jù)必然出現(xiàn)在兩端，即Xi或Xn.狄克松給出了不同樣本數(shù)量n時(shí)檢驗(yàn)統(tǒng)計(jì)量的計(jì)

5、算公式（見表1）.當(dāng)顯著水 平a為1%或5%時(shí)，狄克松給出了其臨界值 Di a（n）.如果測量數(shù)據(jù)的檢驗(yàn)統(tǒng)計(jì)量_? （ n ）D >Dj（n），則Xi為異常值，如果測量數(shù)據(jù)的檢驗(yàn)統(tǒng)計(jì)量D' > Dj（n），則Xn為異常值.表1狄克松檢驗(yàn)統(tǒng)計(jì)量計(jì)算公式為數(shù)據(jù)個(gè)數(shù)n統(tǒng)里DXi為可疑值DXn為可疑值D3 <n 苴7g -X）/（Xn -X）（Xn - 4）/ （Xn -Xi ）8 <n <iG（X2 Xi）/（Xn_Xi）（Xn -Xn）/ （Xn - X2）ii主n壬i3（X3 Xi） /（Xn-X ）（Xn Xn）/（Xn X2）i4 £n <

6、;30（X3 Xi） / （4n X ）（Xn -Xj）/（Xn - X3）2.3 格拉布斯（GrubbS）準(zhǔn)則設(shè)有一組測量數(shù)據(jù)為正態(tài)分布，為了檢驗(yàn)數(shù)據(jù)中是否存在異常值，將其按大小順序排列，即Xi苴X2X3Xn ,可能為異常值的測量數(shù)據(jù)一定出現(xiàn)在最大或最小的數(shù)據(jù)中.若最小值Xi是可疑的，則檢驗(yàn)統(tǒng)計(jì)量G =（X-Xi）/ s.式中X是均值、s是標(biāo)準(zhǔn)i ni nc差，即 X =_ Xi，S （Xi -X）.n i i. n -1 i z±對丁檢驗(yàn)統(tǒng)計(jì)量G，格拉布斯導(dǎo)出了其統(tǒng)計(jì)分布，并給出了當(dāng)顯著水平a為i%或5%時(shí)的臨界值G（iq）（n） .G（iq）（n）稱格拉布斯系數(shù)，可通過抽查表得

7、到.當(dāng)最小值Xi或最大值A(chǔ)對應(yīng)的檢驗(yàn)統(tǒng)計(jì)量G大丁臨界值時(shí)，則認(rèn)為與之對應(yīng)的Xi或Xn為可疑異常值，應(yīng)予以剔除2.4指數(shù)分布時(shí)異常值檢驗(yàn)設(shè)一組測量數(shù)據(jù)為指數(shù)分布，為了檢驗(yàn)數(shù)據(jù)中是否存在異常值，將其按大 小順序排歹0,即* < x2 M X3xn.檢驗(yàn)最小值或最大值是否為異常值的檢驗(yàn)方法 如下：nn當(dāng)樣本量nOO時(shí)，計(jì)算統(tǒng)計(jì)量Tn(n)=Xn/£ Xj及=X£ X,i _1=1對丁給定的顯著水平a (通常取0.5)和樣本數(shù)量n，通過查表得到Tn(n)及Tn 分別對應(yīng)的臨界值Tn(n)(1 -a)和Tn(a).若Tnn)A% )(1 -a)時(shí)，認(rèn)為Xn為異常值； 若Tn&l

8、t;Tn(i)(a)時(shí)，認(rèn)為Xi為異常值.n當(dāng)樣本容量n>100時(shí)，計(jì)算統(tǒng)計(jì)量En(n) = (n -1)(Xn - Xn_i) /也Xj+ X n_j )及 i UnEn(1) = n(n 1)X1 /( M Xi nX1) .i1對丁給定顯著水平' a和樣本數(shù)量n ,若En()n >2,2 2正=(n-1)(a1),則1判斷Xn為異常值；若En(1) AF2,2n/,a =(n -1)(1 -a) -1，則判斷R為異常值.2.5 萊茵達(dá)準(zhǔn)則(PanTa)對丁實(shí)驗(yàn)數(shù)據(jù)測出值X1,X2,X3，Xn，求取其算術(shù)平均值；=1/n£ Xi及剩余 i=1誤差值Vi =Xi

9、 -x ,然后求出其均方根偏差§ =(£ v2 / n -1)”2 .判別依據(jù)(假設(shè)v服從正態(tài)分布)：Xi-X A3CT，則X相對而言誤差較大，應(yīng)舍去；Xi-X壬3CT , X為正常數(shù)據(jù)，應(yīng)該保留.有概率論統(tǒng)計(jì)可知，如果誤差服從正要分布，誤差大丁3。的觀測數(shù)據(jù)出現(xiàn)的概率小丁 0.003,相當(dāng)大丁 300次觀測中有一次出現(xiàn)的可能.萊茵達(dá)準(zhǔn)則只是進(jìn) 行粗略的剔除，取舍的概率較小，可能將不合理的異常值保留.2.6 肖維勒準(zhǔn)則(Chauvenet)次準(zhǔn)則也是建立在實(shí)驗(yàn)數(shù)據(jù)服從正態(tài)分布.假設(shè)多次測量的n個(gè)測量值中， 數(shù)據(jù)的參與誤差VAZq ,則剔除該數(shù)據(jù).其中u =(£ v

10、2/n1)1/2 ,樣品容量為n時(shí)的判別系數(shù)Zc<3,彌補(bǔ)了萊茵達(dá)準(zhǔn)則的不足，故此準(zhǔn)則優(yōu)勝丁萊茵達(dá)準(zhǔn)則，但條件更為苛刻.3實(shí)驗(yàn)異常數(shù)據(jù)的處理對丁測定中異常數(shù)據(jù)的處理，必須慎重考慮，不能憑預(yù)感任意刪除或添加 . 應(yīng)該從所學(xué)知識(shí)上考慮，異常值有時(shí)能反映試驗(yàn)中的某些新現(xiàn)象.這類“異常值”正深化人們對客觀事物的認(rèn)識(shí)，如果隨意刪除它，可能深入了解和發(fā)現(xiàn)新事物的 一次機(jī)會(huì)，那么對學(xué)者深入研究非?？上?所以對任何異常數(shù)據(jù)都因首先在技術(shù) 上尋找原因，如果在技術(shù)上發(fā)現(xiàn)原因，理應(yīng)舍去 .如在技術(shù)上無法作出判斷，卻 可在上述準(zhǔn)則中發(fā)現(xiàn)其高度異常，也因舍棄.其中，運(yùn)用DPS軟件進(jìn)行異常數(shù)據(jù)的檢驗(yàn)與剔除特別方便，

11、 而且不許編寫 程序，它融合了 SPSS表格和EXCELL表格，操作簡單，實(shí)用性強(qiáng).如圖一下 為DPS數(shù)據(jù)處理系統(tǒng)對話框.,。畦數(shù)據(jù)處理添魏->坷".dps立件貌據(jù)隔搐敷據(jù)分析田檻設(shè)計(jì)國費(fèi)統(tǒng)計(jì)分類數(shù)據(jù)統(tǒng)計(jì)兮業(yè)統(tǒng)計(jì)爰元分析數(shù)學(xué)相超逗尊學(xué)數(shù)佰分析時(shí)1日序列苴它菲It圖一數(shù)據(jù)處理系統(tǒng)對話框只要執(zhí)行菜單命令下的“數(shù)據(jù)分析一一異常值檢驗(yàn)”彈出如圖二下圖的窗 口，然后進(jìn)行選擇檢驗(yàn)分析方法及顯著水平，點(diǎn)擊確定即可 .圖二用戶對話框在測定中，有時(shí)發(fā)現(xiàn)個(gè)別數(shù)據(jù)離群嚴(yán)重，上述檢驗(yàn)原則為異常值，但它與 其他測定值的差異在儀器的精度范圍內(nèi)，這種數(shù)據(jù)不應(yīng)舍去，應(yīng)予保留.而對丁一些分析而言，需要估計(jì)總體參數(shù)，異常數(shù)據(jù)一般都要舍去.對丁不同的之心度應(yīng)作相應(yīng)的處理，則要據(jù)實(shí)際情況而定 .4結(jié)束語由上述可知，用DPS軟件進(jìn)行異常值檢驗(yàn)和剔除的過程簡單、直觀、快捷,適用丁大眾學(xué)生進(jìn)行各實(shí)驗(yàn)數(shù)據(jù)的處理和分析.將此軟件運(yùn)用丁實(shí)驗(yàn)教學(xué)，可以 使學(xué)生快速準(zhǔn)確判斷實(shí)驗(yàn)結(jié)果，也可以提高教學(xué)質(zhì)量 .參考文獻(xiàn)1 王鑫，吳先球.用Origin剔除線形擬合中實(shí)驗(yàn)數(shù)據(jù)的異常值J.山西師范大學(xué)學(xué)報(bào)，2