試驗數(shù)據(jù)異常值的檢驗及剔除方法

1、目錄摘要I.關鍵詞I.1 弓I言.12異常值的判別方法.1.2.1 檢驗（3司 準則1.2.2 狄克松（Dixon）準WJ 2.2.3 格拉布斯（Grubbs）準貝U 2.2.4 指數(shù)分布時異常值檢驗3.2.5 萊茵達準則（PanT® 3.2.6 肖維勒準貝U （ Chauvenet） 4.3實驗異常數(shù)據(jù)的處理4.4 結束語5.參考文獻6.內江師范學院本科學年論文試驗數(shù)據(jù)異常值的檢驗及剔除方法摘要:在實驗中不可避免會存在一些異常數(shù)據(jù)，而異常數(shù)據(jù)的存在會掩蓋研究對象的變化規(guī)律和對分析結果產(chǎn)生重要的影響，異常值的檢 驗與正確處理是保證原始數(shù)據(jù)可靠性、平均值與標準差計算準確性的 前提.本文

2、簡述判別測量值異常的幾種統(tǒng)計學方法， 并利用DPS軟件檢 驗及剔除實驗數(shù)據(jù)中異常值，此方法簡單、直觀、快捷，適合實驗者 用于實驗的數(shù)據(jù)處理和分析.關鍵詞：異常值檢驗；異常值剔除；DPS;測量數(shù)據(jù)I內江師范學院本科學年論文1引言在實驗中，由丁測量產(chǎn)生誤差，從而導致個別數(shù)據(jù)出現(xiàn)異常，往往導致結果 產(chǎn)生較大的誤差，即出現(xiàn)數(shù)據(jù)的異常.而異常數(shù)據(jù)的出現(xiàn)會掩蓋實驗數(shù)據(jù)的變化 規(guī)律，以致使研究對象變化規(guī)律異常，得出錯誤結論.因此，正確分析并剔除異常值有助丁提高實驗精度.判別實驗數(shù)據(jù)中異常值的步驟是先要檢驗和分析原始數(shù)據(jù)的記錄、操作方 法、實驗條件等過程，找出異常值出現(xiàn)的原因并予以剔除.利用計算機剔除異常值的

3、方法許多專家做了詳細的文獻 1報告.如王鑫，吳先 球，用Origin剔除線形擬合中實驗數(shù)據(jù)的異常值； 嚴昌順.用計算機快速剔除含 粗大誤差的“環(huán)值”；運用了統(tǒng)計學中各種判別異常值的準則，各種準則的優(yōu)劣 程度將體現(xiàn)在下文.2異常值的判別方法判別異常值的準則很多，常用的有 t檢驗（3S）準則、狄克松（Dixon）準 則、格拉布斯（Grubb準則等準則.下面將一一簡要介紹.2.1 檢驗（3S）準則t檢驗準則乂稱羅曼諾夫斯基準則，它是按t分布的實際誤差分布范圍來判別 異常值，對重復測量次數(shù)較少的情況比較合理.基本思想：首先剔除一個可疑值，然后安t分布來檢驗被剔除的值是否為異 常值.設樣本數(shù)據(jù)為Xi,X

4、2,X3Xn，若認X為可疑值.計算余下n1個數(shù)據(jù)平均值1 n1 n,Xn 及標傕差 sn ，即 Xn= Z Xi，Sn=J Z 一乂“）n - 1 i 土i = j« n - 2 i 土i=j.然后，按七分布來判別被剔除的值X是否為異常值.若Xj -Xn>k（na ），則X為異常值，應予剔除，否則為正常值，應予以保留.其中：a為顯著水平；n數(shù)據(jù)個數(shù)；k（n,a）為檢驗系數(shù)，可通過查表得到.2.2 狄克松（Dixon）準則設有一組測量數(shù)據(jù)Xi <x2苴乂3壬xn ,且為正態(tài)分布，則可能為異常值的測量數(shù)據(jù)必然出現(xiàn)在兩端，即Xi或Xn.狄克松給出了不同樣本數(shù)量n時檢驗統(tǒng)計量的計

5、算公式（見表1）.當顯著水 平a為1%或5%時，狄克松給出了其臨界值 Di a（n）.如果測量數(shù)據(jù)的檢驗統(tǒng)計量_? （ n ）D >Dj（n），則Xi為異常值，如果測量數(shù)據(jù)的檢驗統(tǒng)計量D' > Dj（n），則Xn為異常值.表1狄克松檢驗統(tǒng)計量計算公式為數(shù)據(jù)個數(shù)n統(tǒng)里DXi為可疑值DXn為可疑值D3 <n 苴7g -X）/（Xn -X）（Xn - 4）/ （Xn -Xi ）8 <n <iG（X2 Xi）/（Xn_Xi）（Xn -Xn）/ （Xn - X2）ii主n壬i3（X3 Xi） /（Xn-X ）（Xn Xn）/（Xn X2）i4 £n <

6、;30（X3 Xi） / （4n X ）（Xn -Xj）/（Xn - X3）2.3 格拉布斯（GrubbS）準則設有一組測量數(shù)據(jù)為正態(tài)分布，為了檢驗數(shù)據(jù)中是否存在異常值，將其按大小順序排列，即Xi苴X2X3Xn ,可能為異常值的測量數(shù)據(jù)一定出現(xiàn)在最大或最小的數(shù)據(jù)中.若最小值Xi是可疑的，則檢驗統(tǒng)計量G =（X-Xi）/ s.式中X是均值、s是標準i ni nc差，即 X =_ Xi，S （Xi -X）.n i i. n -1 i z±對丁檢驗統(tǒng)計量G，格拉布斯導出了其統(tǒng)計分布，并給出了當顯著水平a為i%或5%時的臨界值G（iq）（n） .G（iq）（n）稱格拉布斯系數(shù)，可通過抽查表得

7、到.當最小值Xi或最大值A對應的檢驗統(tǒng)計量G大丁臨界值時，則認為與之對應的Xi或Xn為可疑異常值，應予以剔除2.4指數(shù)分布時異常值檢驗設一組測量數(shù)據(jù)為指數(shù)分布，為了檢驗數(shù)據(jù)中是否存在異常值，將其按大 小順序排歹0,即* < x2 M X3xn.檢驗最小值或最大值是否為異常值的檢驗方法 如下：nn當樣本量nOO時，計算統(tǒng)計量Tn(n)=Xn/£ Xj及=X£ X,i _1=1對丁給定的顯著水平a (通常取0.5)和樣本數(shù)量n，通過查表得到Tn(n)及Tn 分別對應的臨界值Tn(n)(1 -a)和Tn(a).若Tnn)A% )(1 -a)時，認為Xn為異常值； 若Tn&l

8、t;Tn(i)(a)時，認為Xi為異常值.n當樣本容量n>100時，計算統(tǒng)計量En(n) = (n -1)(Xn - Xn_i) /也Xj+ X n_j )及 i UnEn(1) = n(n 1)X1 /( M Xi nX1) .i1對丁給定顯著水平' a和樣本數(shù)量n ,若En()n >2,2 2正=(n-1)(a1),則1判斷Xn為異常值；若En(1) AF2,2n/,a =(n -1)(1 -a) -1，則判斷R為異常值.2.5 萊茵達準則(PanTa)對丁實驗數(shù)據(jù)測出值X1,X2,X3，Xn，求取其算術平均值；=1/n£ Xi及剩余 i=1誤差值Vi =Xi

9、 -x ,然后求出其均方根偏差§ =(£ v2 / n -1)”2 .判別依據(jù)(假設v服從正態(tài)分布)：Xi-X A3CT，則X相對而言誤差較大，應舍去；Xi-X壬3CT , X為正常數(shù)據(jù)，應該保留.有概率論統(tǒng)計可知，如果誤差服從正要分布，誤差大丁3。的觀測數(shù)據(jù)出現(xiàn)的概率小丁 0.003,相當大丁 300次觀測中有一次出現(xiàn)的可能.萊茵達準則只是進 行粗略的剔除，取舍的概率較小，可能將不合理的異常值保留.2.6 肖維勒準則(Chauvenet)次準則也是建立在實驗數(shù)據(jù)服從正態(tài)分布.假設多次測量的n個測量值中， 數(shù)據(jù)的參與誤差VAZq ,則剔除該數(shù)據(jù).其中u =(£ v

10、2/n1)1/2 ,樣品容量為n時的判別系數(shù)Zc<3,彌補了萊茵達準則的不足，故此準則優(yōu)勝丁萊茵達準則，但條件更為苛刻.3實驗異常數(shù)據(jù)的處理對丁測定中異常數(shù)據(jù)的處理，必須慎重考慮，不能憑預感任意刪除或添加 . 應該從所學知識上考慮，異常值有時能反映試驗中的某些新現(xiàn)象.這類“異常值”正深化人們對客觀事物的認識，如果隨意刪除它，可能深入了解和發(fā)現(xiàn)新事物的 一次機會，那么對學者深入研究非常可惜.所以對任何異常數(shù)據(jù)都因首先在技術 上尋找原因，如果在技術上發(fā)現(xiàn)原因，理應舍去 .如在技術上無法作出判斷，卻 可在上述準則中發(fā)現(xiàn)其高度異常，也因舍棄.其中，運用DPS軟件進行異常數(shù)據(jù)的檢驗與剔除特別方便，

11、 而且不許編寫 程序，它融合了 SPSS表格和EXCELL表格，操作簡單，實用性強.如圖一下 為DPS數(shù)據(jù)處理系統(tǒng)對話框.,。畦數(shù)據(jù)處理添魏->坷".dps立件貌據(jù)隔搐敷據(jù)分析田檻設計國費統(tǒng)計分類數(shù)據(jù)統(tǒng)計兮業(yè)統(tǒng)計爰元分析數(shù)學相超逗尊學數(shù)佰分析時1日序列苴它菲It圖一數(shù)據(jù)處理系統(tǒng)對話框只要執(zhí)行菜單命令下的“數(shù)據(jù)分析一一異常值檢驗”彈出如圖二下圖的窗 口，然后進行選擇檢驗分析方法及顯著水平，點擊確定即可 .圖二用戶對話框在測定中，有時發(fā)現(xiàn)個別數(shù)據(jù)離群嚴重，上述檢驗原則為異常值，但它與 其他測定值的差異在儀器的精度范圍內，這種數(shù)據(jù)不應舍去，應予保留.而對丁一些分析而言，需要估計總體參數(shù)，異常數(shù)據(jù)一般都要舍去.對丁不同的之心度應作相應的處理，則要據(jù)實際情況而定 .4結束語由上述可知，用DPS軟件進行異常值檢驗和剔除的過程簡單、直觀、快捷,適用丁大眾學生進行各實驗數(shù)據(jù)的處理和分析.將此軟件運用丁實驗教學，可以 使學生快速準確判斷實驗結果，也可以提高教學質量 .參考文獻1 王鑫，吳先球.用Origin剔除線形擬合中實驗數(shù)據(jù)的異常值J.山西師范大學學報，2