分析數(shù)據(jù)概論

分析數(shù)據(jù)概論引言事故地點：某污水處理廠事故情況：環(huán)保局檢測污水排出口COD值為121mg/L，超出排放標(biāo)準120mg/L。事故處理：罰款50萬元，總經(jīng)理做出書面解釋。事故引申：事故當(dāng)日污水廠質(zhì)檢科測試結(jié)果為119mg/L，符合排放標(biāo)準，因此工藝正常排放。質(zhì)檢科因此被廠內(nèi)通報批評。深度分析：冤死的分析人員?根據(jù)分析執(zhí)行標(biāo)準GB/T11914:500mg/L標(biāo)準樣品，實驗室間標(biāo)準偏差為20mg/L，相對標(biāo)準偏差為4%。討論我們身邊的爭議爭議的最終解決解決過程請每一位學(xué)員講述一下自己的故事！題目：我記憶最深刻的一次數(shù)據(jù)爭議。我們的數(shù)據(jù)！你身邊的數(shù)據(jù)可靠么？為什么會不可靠？

--第一講：誤差的產(chǎn)生你身邊的數(shù)據(jù)有多可靠？如何衡量？

--第二講：誤差的表征如何找出不可靠的數(shù)據(jù)？如何判斷？

--第三講：離群值的檢驗兩組數(shù)據(jù)誰更準確？如何比較？

--第四講：數(shù)據(jù)的比對如何減小數(shù)據(jù)的不可靠性？該怎么辦？

--第五講：誤差的控制第一講誤差的產(chǎn)生有效數(shù)字你的身高是多少？170cm，172cm，172.1cm，172.12cm你的體重是多少？80kg，78kg，78.2kg，78.18kg172cm，78kg有效數(shù)字有效數(shù)字可靠數(shù)字：通過直讀獲得的數(shù)字。存疑數(shù)字：通過估讀得到的數(shù)字。有效數(shù)字：測量結(jié)果中能夠反映被測量大小的帶有一位存疑數(shù)字的全部數(shù)字。是指在分析工作中實際能夠測量到的數(shù)字。包括最后一位估計的，不確定的數(shù)字。有效數(shù)字的位數(shù)1.非“0”數(shù)字都計位。

21.25 1.22.“0”數(shù)字根據(jù)其作用而定

(1)位于非“0”數(shù)字之間時計位 例1.006(2)位于所有非“0”數(shù)字之前時不計位例0.0051(3)位于所有非“0”數(shù)字之后一般計位例1.00

5400不明確

5.400x103(4位) 5.40x103(3位) 5.4x103(2位)對數(shù)形式的特殊性pH,pK等值的有效數(shù)字位數(shù)決定于數(shù)值的小數(shù)部分的位數(shù)

pH=10.00(2位)[H+]=1.0x10-10mol/L有效數(shù)字位數(shù)不能因換算單位而增減

22.4L可寫成22.4x103ml或

2.24x104ml，不能寫成22400ml有效數(shù)字的修約四舍六入五成雙

1.尾數(shù)≤

4，舍去

2.尾數(shù)≥

6，進位

3.尾數(shù)=5，成雙只能一次修到位試一下！下列數(shù)字的修約結(jié)果中，正確的是：A、8456.387≈8460B、0.003365≈3.36×10-3C、3.045034≈3.04D、15.3500≈15.4有效數(shù)字的運算手工計算：先修約，后計算，中間數(shù)字多保留一位。計算器計算：先計算，后修約，確保合理保留有效位數(shù)。加減法1.加減法：尾數(shù)取齊（絕對誤差）乘除法2.乘除法：位數(shù)取齊（相對誤差）與有效數(shù)字位數(shù)最少的一致對數(shù)的特殊性所取對數(shù)的小數(shù)點后的位數(shù)（不包括整數(shù)部分）應(yīng)與原數(shù)據(jù)的有效數(shù)字的位數(shù)相同。Lg102=2.00860017≈2.009Lg10*101=2.00Lg90=1.95424Lg103=2.01283722Lg101=2.00432137計算的依據(jù)是誤差的傳遞！再試一下！試分析下面的計算過程正確么？15.37×lg1.02×（14.3－8.4）＝15.37×0.009×5.9＝0.8實驗室數(shù)據(jù)的準確性萬分之一的分析天平：0.0001g50mL滴定管、25mL移液管、50mL、100mL、250mL容量瓶：0.01mLpH計測量值：0.01分光光度計：

0.001單位電位差計：0.0001V測量儀器的不確定性，必然帶來結(jié)果的不確定性。分析結(jié)果常見有效數(shù)字含量

10%，保留四位含量1~10%，保留三位含量<1%，保留二位化學(xué)平衡計算，一般保留二位或三位誤差的計算，1~2位公式中的常數(shù)當(dāng)成準確數(shù)字標(biāo)準溶液濃度為4位有效數(shù)字第二講誤差的表征哪個數(shù)據(jù)正確？當(dāng)我們面臨一個不合格的數(shù)據(jù)時，1、再做一次2、做第三次3、做第四次然后，我們暈掉了：我們面臨著完全不同的數(shù)據(jù)。。。。。。我們選擇哪一個來相信？悲劇的發(fā)生我們相信合格的那一個！119mg/L的COD值。。。。。。我們需要有限度的相信數(shù)據(jù)！誤差的定義由于測量的不確定性，誤差是必然存在的。測量值與真值之差異稱為誤差

絕對誤差和相對誤差同樣的儀器，不同的測定方法，誤差也是有差別的。誤差的分類過失誤差系統(tǒng)誤差偶然誤差過失誤差加錯試劑記錯讀數(shù)濺失溶液流失沉淀系統(tǒng)誤差由某些確定的因素造成的，有確定的值：方法誤差儀器誤差試劑誤差操作誤差偶然誤差又稱隨機誤差無法控制的和不可避免的因素(偶然因素)造成的不可避免，不可校正其值可大可小，可正可負多次測定結(jié)果符合統(tǒng)計規(guī)律對比！多次測量的偶然誤差正態(tài)分布

這里，μ為高斯分布的平均值，σ為均方差。曲線拐點處的切線與x軸的交點就在x＝μ±2σ處。特別的，當(dāng)|x-μ

|≤3σ時，Y＝0.9974。這表明落在此區(qū)間外的面積不足0.3％，可以認為X幾乎不在該區(qū)間外面取值。通常稱為3σ規(guī)則。當(dāng)|x-μ|≤6σ時，Y＝0.9999966。這表明落在此區(qū)間外的面積不足3.4ppm，可以認為X完全不在該區(qū)間外面取值。通常稱為6σ規(guī)則。正態(tài)分布68.3%95.5%99.7%u換一個角度看正態(tài)分布準確度和精密度準確度：測量值與真值的接近程度精密度:一組平行測定測量值之間的接近程度真值絕對的真值很難獲得。平均值多個測量數(shù)據(jù)的平均結(jié)果，容易得到！偏差與誤差與真實值偏離的程度用誤差表示。與平均值偏離的程度用偏差表示。誤差可以評價一組測量數(shù)據(jù)的平均值，也可以評價一個單獨的測量數(shù)據(jù)。偏差通常僅僅用來評價一個單獨的測量數(shù)據(jù)。公差在日常中并不強調(diào)誤差與偏差的區(qū)別，一般習(xí)慣統(tǒng)稱“誤差”常用“公差”表示允許誤差公差是如何確定的？一組數(shù)據(jù)的偏差應(yīng)該如何評價？精密度的度量

平均偏差相對平均偏差極差標(biāo)準偏差

絕對偏差相對偏差標(biāo)準偏差-總體正態(tài)分布樣本標(biāo)準偏差測量次數(shù)是有限的：數(shù)據(jù)的可靠程度：置信度置信度（置信概率）就是人們對所作判斷的可靠性握程度。在一定的置信度下，估計總體均值可能存在的區(qū)間,稱置信區(qū)間。我目測你的身高為1.71m，你實際身高為1.71m±0.03m的把握有多大？那么，如果你的把握有95%，那么偏差會有多大？樣本平均數(shù)，與總體平均數(shù)之間的，離差統(tǒng)計量t值同樣的偏差區(qū)間內(nèi)，把握性（置信度）的大小，與測量精密度相關(guān)。同樣的把握性（置信度）下，置信區(qū)間大小與精密度相關(guān)。t分布不同的測定次數(shù)下，t值是不同的。當(dāng)測定次數(shù)趨向于無窮大時，t分布趨向于正態(tài)分布。當(dāng)n=20時，已經(jīng)非常接近。t值表數(shù)據(jù)可靠性的判斷1、測量的精密度——標(biāo)準差S2、測量次數(shù)n3、t值——測量次數(shù)n和置信度P決定4、不確定度u=，貝塞爾公式。正確的表達方式1、說明置信度P（把握性的大小）2、說明置信區(qū)間在置信度P下，測量值為：X±ΔX例：經(jīng)過我的測量，你的身高為：

h=

1.71±0.03m（P=0.95）有效數(shù)字什么是有效數(shù)字？當(dāng)我們了解了誤差、不確定度，如何用有效數(shù)字表達我們的分析結(jié)果？分析方法分析方法無法確定待測樣品的測量值。而且實際測量的次數(shù)通常只有1次。但分析方法可以標(biāo)定自己的測量精密度！因此，分析方法通常會給出方法的CV值。工藝人員的眼光！哪個數(shù)據(jù)正確？當(dāng)工藝人員面臨一個不合格的數(shù)據(jù)時，1、請分析人員再做一次2、請分析人員做第三次3、請分析人員做第四次我們會瘋掉嗎？他們會相信哪一個？悲劇的發(fā)生他們當(dāng)然相信合格的那一個！119mg/L的COD值。。。。。。還記得我們開始的引子么？當(dāng)只有一個數(shù)據(jù)時我們必須相信這個數(shù)據(jù)，因為別無分號我們必須懷疑這個數(shù)據(jù)，因為存在誤差了解分析方法。掌握這個方法的CV值。根據(jù)CV值，算出標(biāo)準差S根據(jù)S，按照6次測量，算出假想置信度P下的置信區(qū)間。確保綠色框沒有覆蓋紅線！分析了兩次利用平均值當(dāng)成分析結(jié)果做同樣的事情。因為我們無法判定哪一次更正確。分析第3次之后檢驗數(shù)據(jù)是否存在離群值。利用平均值計算置信區(qū)間。如果有區(qū)間外數(shù)據(jù)，舍棄置信區(qū)間外最遠的一個數(shù)據(jù)。剩下兩個做平均值。沒有，那么就用三個數(shù)據(jù)的平均值。做一個數(shù)據(jù)該做的事情。你瘋了么？什么，你竟然得到了3個以上的數(shù)據(jù)？好吧，你的數(shù)據(jù)足夠多，可以去自己計算CV值了。但是，算之前，還要確認數(shù)據(jù)的可靠性。第三講離群值的檢驗離群值的檢驗是否存在過失誤差？4d法Q檢驗法G檢驗法4d法適用于少量數(shù)據(jù)的簡單判斷，3-5個。計算數(shù)據(jù)的平均值計算數(shù)據(jù)的平均偏差計算可疑數(shù)據(jù)與平均值的絕對偏差比較絕對偏差與4倍平均偏差的關(guān)系大于等于4d，存在過失誤差，舍棄。小于4d，可能不存在過失誤差，保留。繼續(xù)判斷。。。試一試！30.1830.2330.3230.3530.56解：30.56為最大值，定為可疑值。

x=30.27，d=0.065

若（可疑值－x）≥4d，則可疑值應(yīng)舍去；若（可疑值－x）＜4d，則可疑值應(yīng)保留。先算平均值，找到極差最大的數(shù)值，剔除后，再求平均值和平均偏差進行檢驗。Q檢驗法適用于3-10次分析，較簡易。Q值表再來看看剛才的數(shù)據(jù)！30.1830.2330.3230.3530.56G檢驗法更多數(shù)據(jù)的選擇G值表還是剛才的數(shù)據(jù)！30.1830.2330.3230.3530.56數(shù)據(jù)可靠嗎？數(shù)據(jù)沒有離群值，就一定可靠嗎？有多可靠？第四講數(shù)據(jù)的比對數(shù)據(jù)爭議同一個樣品來源兩個不同的數(shù)據(jù)源兩個不同的數(shù)據(jù)兩個方法、兩個操作者、兩個實驗室兩個方法的比較精密度高，才能保證準確度高。那么，哪一個精密度更高？F檢驗法兩個方法結(jié)果不一致，是正常偏差么？是否兩個方法之間存在系統(tǒng)誤差？T檢驗法F檢驗兩個方法的方差之差異的檢驗，判定兩個方法精密度是否存在顯著性差異。存在顯著性差異的時候，方差小的方法更精密。精密度好，并不一定準確度高！偶然誤差小，并不意味著不存在系統(tǒng)誤差。F檢驗過程F值表T檢驗還記得t值么？不是查表得到的么？那是沒有樣品真值的情況下的做法當(dāng)我們有樣品真值，或者有另一個方法測量結(jié)果的時候。。。T檢驗利用真值判定方法的系統(tǒng)誤差。哈哈，t表值需要查t值表，還記得么？好吧，我再給一次。。。。判定過程如下：t值表T檢驗比較兩個方法間是否存在系統(tǒng)誤差通常在F檢驗無顯著性差異時，才進行T檢驗。T檢驗判定過程如下：實驗室之間的比對En值Z比分數(shù)和別人打架？En值兩個實驗室比對Z比分數(shù)多個實驗室比對正態(tài)分布1σ，68%2σ，95%3σ，99%第五講誤差的控制提高精密度減小偶然誤差！多次測量取平均值。正確設(shè)定取樣量、稱量量、滴定量等提高準確度消除系統(tǒng)誤差！空白校正儀器校正方法校正避免錯誤結(jié)果避免過失誤差！正確的習(xí)慣正確的動作減少不必要的操作回顧一下！誤差誤差源于測定中的不確定因素誤差是會發(fā)生傳遞的誤差遵循正態(tài)分布對于分析，精密度往往意味著準確度σ和s，RSD和CV值置信度與置信區(qū)間數(shù)據(jù)的正確報出數(shù)據(jù)的正確應(yīng)用離群值檢驗和比對4d法Q檢驗法Grubbs檢驗法F檢驗T檢驗En值Z比分數(shù)附錄常用EXCEL統(tǒng)計函數(shù)相關(guān)系數(shù)

CORREL用途：返回單元格區(qū)域array1和array2之間的相關(guān)系數(shù)。它可以確定兩個不同事物之間的關(guān)系，例如檢測學(xué)生的物理與數(shù)學(xué)學(xué)習(xí)成績之間是否關(guān)聯(lián)。語法：CORREL(array1，array2)參數(shù)：Array1第一組數(shù)值單元格區(qū)域。Array2第二組數(shù)值單元格區(qū)域。實例：如果A1=90、A2=86、A3=65、A4=54、A5=36、B1=89、B2=83、B3=60、B4=50、B5=32，則公式“=CORREL(A1:A5，B1:B5)”返回0.998876229，可以看出A、B統(tǒng)計數(shù)字個數(shù)

COUNT用途：返回數(shù)字參數(shù)的個數(shù)。它可以統(tǒng)計數(shù)組或單元格區(qū)域中含有數(shù)字的單元格個數(shù)。語法：COUNT(value1，value2，...)。參數(shù)：value1，value2，...是包含或引用各種類型數(shù)據(jù)的參數(shù)(1～30個)，其中只有數(shù)字類型的數(shù)據(jù)才能被統(tǒng)計。實例：如果A1=90、A2=人數(shù)、A3=〞〞、A4=54、A5=36，則公式“=COUNT(A1:A5)”返回3。統(tǒng)計非空個數(shù)

COUNTA用途：返回參數(shù)組中非空值的數(shù)目。利用函數(shù)COUNTA可以計算數(shù)組或單元格區(qū)域中數(shù)據(jù)項的個數(shù)。語法：COUNTA(value1，value2，...)說明:value1，value2，...所要計數(shù)的值，參數(shù)個數(shù)為1～30個。在這種情況下的參數(shù)可以是任何類型，它們包括空格但不包括空白單元格。如果參數(shù)是數(shù)組或單元格引用，則數(shù)組或引用中的空白單元格將被忽略。如果不需要統(tǒng)計邏輯值、文字或錯誤值，則應(yīng)該使用COUNT函數(shù)。實例：如果A1=6.28、A2=3.74，其余單元格為空，則公式“=COUNTA(A1:A7)”的計算結(jié)果等于2。統(tǒng)計空白單元格個數(shù)

COUNTBLANK用途：計算某個單元格區(qū)域中空白單元格的數(shù)目。語法：COUNTBLANK(range)參數(shù)：Range為需要計算其中空白單元格數(shù)目的區(qū)域。實例：如果A1=88、A2=55、A3=""、A4=72、A5=""，則公式“=COUNTBLANK(A1:A5)”返回2。條件統(tǒng)計

COUNTIF用途：計算區(qū)域中滿足給定條件的單元格的個數(shù)。語法：COUNTIF(range，criteria)參數(shù)：Range為需要計算其中滿足條件的單元格數(shù)目的單元格區(qū)域。Criteria為確定哪些單元格將被計算在內(nèi)的條件，其形式可以為數(shù)字、表達式或文本。最大值

MAX用途：返回數(shù)據(jù)集中的最大數(shù)值。語法：MAX(number1，number2，...)參數(shù)：Number1，number2，...是需要找出最大數(shù)值的1至30個數(shù)值。實例：如果A1=71、A2=83、A3=76、A4=49、A5=92、A6=88、A7=96，則公式“=MAX(A1:A7)”返回96。第k大值

LARGE用途：返回某一數(shù)據(jù)集中的某個最大值?？梢允褂肔ARGE函數(shù)查詢考試分數(shù)集中第一、第二、第三等的得分。語法：LARGE(array，k)參數(shù)：Array為需要從中查詢第k個最大值的數(shù)組或數(shù)據(jù)區(qū)域，K為返回值在數(shù)組或數(shù)據(jù)單元格區(qū)域里的位置(即名次)。實例：如果B1=59、B2=70、B3=80、B4=90、B5=89、B6=84、B7=92，，則公式“=LARGE(B1，B7，2)”返回90。中位值

MEDIAN用途：返回給定數(shù)值集合的中位數(shù)(它是在一組數(shù)據(jù)中居于中間的數(shù)。換句話說，在這組數(shù)據(jù)中，有一半的數(shù)據(jù)比它大，有一半的數(shù)據(jù)比它小)。語法：MEDIAN(number1，number2，...)參數(shù)：Number1，number2，...是需要找出中位數(shù)的1到30個數(shù)字參數(shù)。實例：MEDIAN(11，12，13，14，15)返回13;MEDIAN(1，2，3，4，5，6)返回3.5，即3與4的平均值。平均值

AVERAGE用途：計算所有參數(shù)的算術(shù)平均值。語法：AVERAGE(number1，number2，...)。參數(shù)：Number1、number2、...是要計算平均值的1～30個參數(shù)。實例：如果A1:A5區(qū)域命名為分數(shù)，其中的數(shù)值分別為100、70、92、47和82，則公式“=AVERAGE(分數(shù))”返回78.2。最小值

MIN用途：返回給定參數(shù)表中的最小值。語法：MIN(number1，number2，...)。參數(shù)：Number1，number2，...是要從中找出最小值的1到30個數(shù)字參數(shù)。實例：如果A1=71、A2=83、A3=76、A4=49、A5=92、A6=88、A7=96，則公式“=MIN(A1:A7)”返回49;而=MIN(A1:A5，0，-8)返回-8。第k小值

SMALL用途：返回數(shù)據(jù)集中第k個最小值，從而得到數(shù)據(jù)集中特定位置上的數(shù)值。語法：SMALL(array，k)參數(shù)：Array是需要找到第k個最小值的數(shù)組或數(shù)字型數(shù)據(jù)區(qū)域，K為返回的數(shù)據(jù)在數(shù)組或數(shù)據(jù)區(qū)域里的位置(從小到大)。實例：如果如果A1=78、A2=45、A3=90、A4=12、A5=85，則公式“=SMALL(A1:A5，3)”返回78。四分位值

QUARTILE用途：返回一組數(shù)據(jù)的四分位點。四分位數(shù)通常用于在考試成績之類的數(shù)據(jù)集中對總體進行分組，如求出一組分數(shù)中前25%的分數(shù)。語法：QUARTILE(array，quart)參數(shù)：Array為需要求得四分位數(shù)值的數(shù)組或數(shù)字引用區(qū)域，Quart決定返回哪一個四分位值。如果qurart取0、1、2、3或4，則函數(shù)QUARTILE返回最小值、第一個四分位數(shù)(第25個百分排位)、中分位數(shù)(第50個百分排位)、第三個四分位數(shù)(第75個百分排位)和最大數(shù)值。實例：如果A1=78、A2=45、A3=90、A4=12、A5=85，則公式“=QUARTILE(A1:A5，3)”返回85。排位

RANK用途：返回一個數(shù)值在一組數(shù)值中的排位(如果數(shù)據(jù)清單已經(jīng)排過序了，則數(shù)值的排位就是它當(dāng)前的位置)。語法：RANK(number，ref，order)參數(shù)：Number是需要計算其排位的一個數(shù)字;Ref是包含一組數(shù)字的數(shù)組或引用(其中的非數(shù)值型參數(shù)將被忽略);Order為一數(shù)字，指明排位的方式。如果order為0或省略，則按降序排列的數(shù)據(jù)清單進行排位。如果order不為零，ref當(dāng)作按升序排列的數(shù)據(jù)清單進行排位。注意：函數(shù)RANK對重復(fù)數(shù)值的排位相同。但重復(fù)數(shù)的存在將影響后續(xù)數(shù)值的排位。如在一列整數(shù)中，若整數(shù)60出現(xiàn)兩次，其排位為5，則61的排位為7(沒有排位為6的數(shù)值)。實例：如果A1=78、A2=45、A3=90、A4=12、A5=85，則公式“=RANK(A1，$A$1:$A$5)”返回5、8、2、10、4。樣品偏差平方和

DEVSQ用途：返回數(shù)據(jù)點與各自樣本平均值的偏差的平方和。語法：DEVSQ(number1，number2，...)參數(shù)：Number1、number2、...是用于計算偏差平方和的1到30個參數(shù)。它們可以是用逗號分隔的數(shù)值，也可以是數(shù)組引用。實例：如果A1=90、A2=86、A3=65、A4=54、A5=36，則公式“=DEVSQ(A1:A5)”返回2020.8。樣本標(biāo)準偏差s

STDEV用途：估算樣本的標(biāo)準偏差。它反映了數(shù)據(jù)相對于平均值(mean)的離散程度。語法：STDEV(number1，number2，...)參數(shù)：Number1，number2，...為對應(yīng)于總體樣本的1到30個參數(shù)。可以使用逗號分隔的參數(shù)形式，也可使用數(shù)組，即對數(shù)組單元格的引用。注意：STDEV函數(shù)假設(shè)其參數(shù)是總體中的樣本。如果數(shù)據(jù)是全部樣本總體，則應(yīng)該使用STDEVP函數(shù)計算標(biāo)準偏差。同時，函數(shù)忽略參數(shù)中的邏輯值(TRUE或FALSE)和文本。如果不能忽略邏輯值和文本，應(yīng)使用STDEVA函數(shù)。實例：假設(shè)某次考試的成績樣本為A1=78、A2=45、A3=90、A4=12、A5=85，則估算所有成績標(biāo)準偏差的公式為“=STDEV(A1:A5)”，其結(jié)果等于33.00757489。標(biāo)準偏差σ

STDEVP用途：返回整個樣本總體的標(biāo)準偏差。它反映了樣本總體相對于平均值(mean)的離散程度。語法：STDEVP(number1，number2，...)參數(shù)：Number1，number2，...為對應(yīng)于樣本總體的1到30個參數(shù)?？梢允褂枚禾柗指魠?shù)的形式，也可以使用單一數(shù)組，即對數(shù)組單元格的引用。注意：STDEVP函數(shù)在計算過程中忽略邏輯值(TRUE或FALSE)和文本。如果邏輯值和文本不能忽略，應(yīng)當(dāng)使用STDEVPA函數(shù)。同時STDEVP函數(shù)假設(shè)其參數(shù)為整個樣本總體。如果數(shù)據(jù)代表樣本總體中的樣本，應(yīng)使用函數(shù)STDEV來計算標(biāo)準偏差。當(dāng)樣本數(shù)較多時，STDEV和STDEVP函數(shù)的計算結(jié)果相差很小。實例：如果某次考試只有5名學(xué)生參加，成績?yōu)锳1=