任務三離群值的檢驗與數(shù)據(jù)樣本之間顯著性檢驗

情境一：分析測試的質(zhì)量保證任務三：離群值的檢驗與數(shù)據(jù)樣本之間顯著性檢驗知識點1：離群值概述課程：分析檢驗的質(zhì)量保證與認證一、離群值有關(guān)概念

離群值：數(shù)據(jù)樣本中的一個或幾個觀測值，它們離開其他觀測值較遠，暗示它們可能來自不同的總體。

離群值按顯著性水平分為歧離值和統(tǒng)計離群值。

顯著性水平是估計總體參數(shù)落在某一區(qū)間內(nèi)，可能犯錯誤的概率，用α表示。檢出水平（α）：為檢出離群值而指定的統(tǒng)計檢驗的顯著性水平，和大多數(shù)檢驗一樣，α一般為0.05。剔除水平（α*）：為檢出離群值是否高度離群而指定的統(tǒng)計檢驗的顯著性水平。剔除水平α*的值應不超過檢出水平α的值。除非根據(jù)GB/T4883-2008達成協(xié)議的各方另有約定，α*值應為0.01。

歧離值：在檢出水平下顯著，但在剔除水平下不顯著的離群值。

統(tǒng)計離群值：在剔除水平下統(tǒng)計檢驗為顯著的離群值。

一、離群值有關(guān)概念

離群值：在α下統(tǒng)計檢驗顯著數(shù)據(jù)樣本歧離值：在α下統(tǒng)計檢驗顯著，在α*下統(tǒng)計檢驗不顯著統(tǒng)計離群值：在α和α*下統(tǒng)計檢驗均顯著1.總體固有變異的極端表現(xiàn)，這是真實而正常的數(shù)據(jù)。2.由于試驗條件和實驗方法的偶然性，或觀測、記錄、計算時的失誤所產(chǎn)生的結(jié)果，是一種非正常的、錯誤的數(shù)據(jù)，這些數(shù)據(jù)與其余觀測值不屬于同一總體。二、離群值產(chǎn)生的原因大致有兩點

GB/T4883-2008在下述不同情形下判斷樣本中的離群值：a)上側(cè)情形：根據(jù)實際情況或以往經(jīng)驗，離群值都為高端值；b)下側(cè)情形：根據(jù)實際情況或以往經(jīng)驗，離群值都為低端值；上側(cè)情形和下側(cè)情形簡稱單側(cè)。c)雙側(cè)情形：根據(jù)實際情況或以往經(jīng)驗，離群值可為高端值，也可為低端值。三、離群值的三種情形1.檢出離群值個數(shù)的上限

應規(guī)定在樣本中檢出離群值個數(shù)的上限（與樣本量相比應較?。?，當檢出離群值個數(shù)超過了這個上限時，對此樣本應作慎重的研究和處理。2.單個離群值情形a.依實際情況或以往經(jīng)驗選定，選定適宜的離群值檢驗規(guī)則（后面講到）；b.確定適當?shù)娘@著性水平；c.根據(jù)顯著性水平及樣本量，確定檢驗的臨界值；d.由觀測值計算相應統(tǒng)計量的值，根據(jù)所得到值與臨界值的比較結(jié)果作出判斷。四、離群值的判斷3.判定多個離群值的檢驗規(guī)則

在允許檢出離群值的個數(shù)大于1的情況下，重復使用單個離群值情形規(guī)定的檢驗規(guī)則進行檢驗。

若沒有檢出離群值，則整個檢驗停止；

若檢出離群值，當檢出的離群值總數(shù)超過上限時，檢驗停止，對此樣本應慎重處理；

否則，采用相同的檢出水平和相同的規(guī)則，對除去已檢出的離群值后余下的觀測值繼續(xù)檢驗。四、離群值的判斷1.離群值處理方式a)保留離群值，并用于后續(xù)數(shù)據(jù)處理；b)在找到實際原因時修正離群值，否則予以保留；c)剔除離群值，不追加觀測值；d)剔除離群值，并追加新的觀測值或用適宜的插補值代替。五、離群值處理方式、規(guī)則2.處理規(guī)則權(quán)衡判定原因所需代價、正確判定得益及錯誤剔除風險:a)若在技術(shù)和物理找到產(chǎn)生離群值原因,則應剔除或修正.若未找到物理和技術(shù)的原因,則不得剔除或修正。b)若在技術(shù)或物理找到產(chǎn)生離群值原因,則應剔除或修正;否則,保留歧離值,剔除或修正統(tǒng)計離群值,在重復使用同一檢驗規(guī)則檢驗多個離群值情形,每次檢出離群值,均再檢驗它是否為統(tǒng)計離群值.若每次檢出的離群值為統(tǒng)計離群值,則此離群值及在它前面檢出的離群值(含歧離值)均被剔除或修正。c)檢出的離群值(含歧離值)都應被剔除或進行修正。五、離群值處理方式、規(guī)則3.備案

被剔除或修正的觀測值及其理由應予記錄，以備查詢。如果檢驗統(tǒng)計量大于5%臨界值，但小于或等于1%臨界值，則稱被檢驗的項目為歧離值，且用單星號(*)標出；如果檢驗統(tǒng)計量大于1%臨界值，則稱被檢驗的項目為統(tǒng)計離群值，且用雙星號(**)標出。[GB/T6379.2—2004]。五、離群值處理方式、規(guī)則情境一：分析測試的質(zhì)量保證任務三：離群值的檢驗與數(shù)據(jù)樣本之間顯著性檢驗知識點2：離群值的判斷規(guī)則課程：分析檢驗的質(zhì)量保證與認證一、已知標準差的奈爾檢驗

二、已知標準差的奈爾檢驗離群值的判斷規(guī)則1.上側(cè)情形否則判斷未發(fā)現(xiàn)x(n)是統(tǒng)計離群值即x(n)為歧離值判定x(n)為離群值否則判斷未發(fā)現(xiàn)x(n)是離群值判定x(n)為統(tǒng)計離群值Rn>R1-α(n)

剔除水平α*,??。表A.1臨界值R1-α*(n)

二、已知標準差的奈爾檢驗離群值的判斷規(guī)則2.下側(cè)情形否則判斷未發(fā)現(xiàn)x(1)是統(tǒng)計離群值即x(1)為歧離值判定x(n)為離群值否則判斷未發(fā)現(xiàn)x(1)是離群值判定x(1)為統(tǒng)計離群值

剔除水平α*,??。表A.1臨界值R1-α*(n)

二、已知標準差的奈爾檢驗離群值的判斷規(guī)則3.雙側(cè)情形判定x(n)為統(tǒng)計離群值判定x(n)為離群值判斷x(1)為離群值

判定x(1)為統(tǒng)計離群值前三者均不符

判斷未發(fā)現(xiàn)離群值同時對最大值和最小值進行檢驗

剔除水平α*,??。表A.1臨界值R1-α*/2(n)

否則判斷未發(fā)現(xiàn)x(1)、x(n)是統(tǒng)計離群值即x(1)、x(n)為歧離值

4.例題

考查某分析數(shù)據(jù)，得25個樣品，其數(shù)值排列為（單位%）：3.13,3.49,4.01,4.48,4.61，4.76,4.98,5.25,5.32,5.39,5.42,5.57,5.59,5.59,5.63,5.63,5.65,5.66,5.67,5.69,5.71,6.00，6.03,6.12,6.76。已知在正常條件下，測試量服從正態(tài)分布，已知σ=0.65，現(xiàn)考查下側(cè)的異常值。規(guī)定至多檢出三個離群值，采用下側(cè)情形的處理方式。三、奈爾(Nair)檢驗法例題

三、奈爾(Nair)檢驗法例題n90%95%97.50%99%99.50%n90%95%97.50%99%99.50%31.4971.7381.9552.2152.396142.3522.5892.8063.0723.26141.6961.4912.1632.4312.618152.3822.6172.7423.0993.28751.8352.082.3042.5742.764162.4092.6442.863.1243.31261.9392.1482.4082.6792.87202.52.7322.9453.2073.39272.0222.2672.492.7612.952232.5552.7842.9963.2563.4482.0912.3342.5572.8283.019242.5712.83.0113.273.45592.152.3922.6132.8843.074252.5872.8153.0263.2843.468102.22.4412.6622.9313.122302.6562.8813.0893.3453.527112.2452.4842.7042.9733.163402.7592.983.1843.4363.616122.2842.5232.7423.013.199502.8363.0533.2553.5043.681132.322.5572.7763.0433.2321003.0613.2683.463.6993.871GB/T4883-2008A1奈爾檢驗的臨界值表(部分)三、奈爾(Nair)檢驗法例題

三、奈爾(Nair)檢驗法例題

三、奈爾(Nair)檢驗法例題

三、奈爾(Nair)檢驗法例題

三、奈爾(Nair)檢驗法例題4.例題

本例檢出3.13和3.49是離群值，其中3.13統(tǒng)計離群值，3.49是歧離值。應參照前面規(guī)定的規(guī)則(根據(jù)標準的規(guī)定)考慮是否剔除。三、奈爾(Nair)檢驗法例題未知標準差情形離群值的判斷規(guī)則（限定檢出離群值的個數(shù)為一個和超過1個）請自學。簡單的說一句就是按過程做就成。四、其它情境一：分析測試的質(zhì)量保證任務三：離群值的檢驗與數(shù)據(jù)樣本之間顯著性檢驗知識點5：數(shù)據(jù)樣本之間顯著性檢驗課程：分析檢驗的質(zhì)量保證與認證假設檢驗(1)先假設總體某項假設成立，計算導致啥結(jié)果產(chǎn)生。若導致不合理現(xiàn)象產(chǎn)生，則拒絕原先的假設。若并不導致不合理的現(xiàn)象產(chǎn)生，則不能拒絕原先假設，從而接受原先假設。(2)它又不同于一般的反證法。所謂不合理現(xiàn)象產(chǎn)生，并非指形式邏輯上的絕對矛盾，而是基于小概率原理：概率很小的事件在一次試驗中幾乎是不可能發(fā)生的，若發(fā)生了，就是不合理的。。一、基本原理

至于怎樣才算是“小概率”呢？通?？蓪⒏怕什怀^0.05的事件稱為“小概率事件”，也可視具體情形而取0.1或0.01等。

在假設檢驗中常記這個概率為α，稱為顯著性水平。而把原先設定的假設成為原假設，記作H0。把與H0相反的假設稱為備擇假設，它是原假設被拒絕時而應接受的假設，記作H1。一、基本原理

二、T檢驗1.T檢驗亦稱studentt檢驗

主要用于樣本含量較小(例如n<30)，總體標準差σ未知的正態(tài)分布資料。比較樣本均數(shù)所代表的未知總體均數(shù)μ和已知總體均數(shù)μ0。

適用條件：(1)已知一個總體均數(shù)；(2)可得到一個樣本均數(shù)及該樣本標準差；(3)樣本來自正態(tài)或近似正態(tài)總體。二、T檢驗

二、T檢驗2.T檢驗的步驟

二、T檢驗2.T檢驗的步驟(3)根據(jù)自由度df=n-1，查T理論值表，找出規(guī)定的T理論值并進行比較。理論值差異的顯著水平為0.01級或0.05級。不同自由度的顯著水平理論值記為T(df)0.01和T(df)0.05(4)比較計算得到的T值和T理論值，推斷發(fā)生的概率，依據(jù)下表給出的T值與差異顯著性關(guān)系表作出判斷。(5)根據(jù)是以上分析，結(jié)合具體情況，作出結(jié)論。二、T檢驗2.T檢驗的步驟二、T檢驗表1-3T值與差異顯著性關(guān)系表2.T檢驗的步驟Tp值差異顯著程度差異非常顯著差異顯著p

>0.05差異不顯著二

、T檢驗

1.F檢驗F檢驗法是英國統(tǒng)計學家Fisher提出的，主要通過比較兩組數(shù)據(jù)的方差s2，以確定他們的精密度是否有顯著性差異。

至于兩組數(shù)據(jù)之間是否存在系統(tǒng)誤差，則在進行F檢驗并確定它們的精密度沒有顯著性差異之后，再進行t檢驗。三

、F檢驗

三、F檢驗三、F檢驗F檢驗的步驟f大f小2345678910∞2345678910∞19.09.556.945.795.144.744.464.264.103.0019.169.286.595.414.764.354.073.863.713.6019.259.126.395.194.534.123.843.633.482.3719.309.016.265.054.393.973.