數(shù)理統(tǒng)計(jì)方法

數(shù)理統(tǒng)計(jì)方法統(tǒng)計(jì)工作是實(shí)行科學(xué)決策和管理的一項(xiàng)重要基礎(chǔ)性工作，統(tǒng)計(jì)信息是認(rèn)識(shí)國情、決定國策的重要依據(jù)。統(tǒng)計(jì)數(shù)字的真實(shí)性、有效性是統(tǒng)計(jì)工作的生命線，但由于統(tǒng)計(jì)工作的復(fù)雜性、系統(tǒng)性，長期以來統(tǒng)計(jì)資料存在數(shù)據(jù)失真、分析偏誤的現(xiàn)象，針對(duì)該問題背后的深層次原因及其危害，學(xué)界已經(jīng)有過大量的探討，也取得了較一致的結(jié)論，本文不再贅述。意識(shí)到問題及危害性是一種進(jìn)步，而如何從浩如煙海的數(shù)據(jù)中正確識(shí)別無效甚至虛假的數(shù)字對(duì)于統(tǒng)計(jì)工作的順利開展意義重大，也是統(tǒng)計(jì)工作中極其重要的技術(shù)環(huán)節(jié)。本文的目的在于探討一些數(shù)理統(tǒng)計(jì)方法在數(shù)據(jù)篩選、甄別中的應(yīng)用，并提出一些具體建議。一、 統(tǒng)計(jì)數(shù)據(jù)搜集整理過程中數(shù)理統(tǒng)計(jì)知識(shí)運(yùn)用1、 從數(shù)理統(tǒng)計(jì)概念體系出發(fā)，嚴(yán)格審核統(tǒng)計(jì)指標(biāo)選取統(tǒng)計(jì)學(xué)從學(xué)科門類屬于理學(xué)一級(jí)學(xué)科，有著嚴(yán)密的理論體系。但鑒于統(tǒng)計(jì)在經(jīng)濟(jì)、生活中極強(qiáng)的應(yīng)用性，統(tǒng)計(jì)實(shí)踐中概念界定、運(yùn)用遠(yuǎn)沒有數(shù)理統(tǒng)計(jì)中嚴(yán)格、清晰，造成社會(huì)統(tǒng)計(jì)與數(shù)理統(tǒng)計(jì)概念不對(duì)等、不統(tǒng)一，加上部分工作人員統(tǒng)計(jì)基礎(chǔ)不扎實(shí)，容易造成統(tǒng)計(jì)術(shù)語的誤用。統(tǒng)計(jì)工作中應(yīng)注意如下幾點(diǎn):首先，統(tǒng)計(jì)數(shù)據(jù)選取要符合數(shù)理統(tǒng)計(jì)模型的內(nèi)在計(jì)量要求、要有統(tǒng)計(jì)學(xué)意義，不能因人、因事更改指標(biāo)，統(tǒng)計(jì)術(shù)語要有統(tǒng)一的統(tǒng)計(jì)學(xué)尺度；其次，保證統(tǒng)計(jì)處理過程中概念運(yùn)用連續(xù)性、一致性，不同層次統(tǒng)計(jì)指標(biāo)體系不可有邏輯沖突；再次，要嚴(yán)審數(shù)據(jù)出處。2、 統(tǒng)計(jì)資料整理、篩選的數(shù)理統(tǒng)計(jì)方法統(tǒng)計(jì)資料按來源不同分為原始資料和次級(jí)資料兩種，次級(jí)資料通常已經(jīng)有所梳理，故主要談對(duì)原始資料的整理。對(duì)原始資料的梳理主要包括資料的準(zhǔn)確性、及時(shí)性、系統(tǒng)性和完整性四個(gè)方面。統(tǒng)計(jì)實(shí)踐中數(shù)據(jù)整理方法大致分成兩種:一種是手工整理方法，如劃記法、過錄法、折疊法和卡片法等，缺點(diǎn)是整理速度慢、時(shí)效性差，易出差錯(cuò)；另一種是用計(jì)算機(jī)存儲(chǔ)、整理、運(yùn)算的機(jī)械匯總法。無論何種方法，要加強(qiáng)對(duì)數(shù)據(jù)的甄別，都應(yīng)注重?cái)?shù)理方法的應(yīng)用：第一，在數(shù)據(jù)篩選、匯總過程中使用數(shù)理統(tǒng)計(jì)方法進(jìn)行邏輯檢查。比如進(jìn)行下崗再就業(yè)情況調(diào)查時(shí)，對(duì)調(diào)查人員可按性別、年齡等原則統(tǒng)計(jì)分類，當(dāng)統(tǒng)計(jì)表項(xiàng)目較多時(shí)，直觀判定數(shù)值通常是困難的，這時(shí)可以用列聯(lián)表獨(dú)立性檢驗(yàn)，Pearson擬合優(yōu)度X2檢驗(yàn)等方法通過數(shù)值相關(guān)性來確定數(shù)值邏輯關(guān)系。第二，注意統(tǒng)計(jì)極值理論的運(yùn)用。例如在調(diào)查抽樣中，只要有近似獨(dú)立性的保證，運(yùn)用極大值與極小值分布結(jié)果，容易對(duì)統(tǒng)計(jì)數(shù)據(jù)分布是否異常進(jìn)行驗(yàn)證。第三，明晰機(jī)械匯總法處理數(shù)據(jù)所用統(tǒng)計(jì)軟件的原理及功能限制。不同軟件適用不同統(tǒng)計(jì)情形，比如有些軟件程序原理就來自于大樣本的近似理論，不適于小樣本情況，盲目使用，分析值誤差顯著；另外數(shù)據(jù)的性質(zhì)、獲得數(shù)據(jù)的過程也會(huì)對(duì)軟件檢驗(yàn)產(chǎn)生影響。因此，在有了電子處理工具的今天，對(duì)數(shù)理統(tǒng)計(jì)原理的把握更應(yīng)加強(qiáng)。二、 加強(qiáng)統(tǒng)計(jì)推斷在數(shù)據(jù)甄別中的應(yīng)用1、 區(qū)間估計(jì)在數(shù)據(jù)甄別中的應(yīng)用設(shè)總體參數(shù)為。、。L、。U為樣本確定的兩個(gè)統(tǒng)計(jì)量，對(duì)于給定的。(0<。<1),有P(。LWOW。U)=1-a，則稱(。L,。U)為參數(shù)。的1-a的置信區(qū)間。OL、OU分別為置信下限和置信上限。置信區(qū)間估計(jì)是根據(jù)樣本估計(jì)量以一定的可靠程度推斷總體參數(shù)所在區(qū)間范圍的統(tǒng)計(jì)推斷方法。在實(shí)際的統(tǒng)計(jì)調(diào)查中，工作人員都渴望未知的真值能由科學(xué)統(tǒng)計(jì)的調(diào)研分析而確定，而由于社會(huì)、經(jīng)濟(jì)系統(tǒng)的復(fù)雜性，因而必須借助區(qū)間估計(jì)。良好統(tǒng)計(jì)指標(biāo)置信區(qū)間的確立可能是反復(fù)、漸進(jìn)的，但合理統(tǒng)計(jì)容許范圍的建立將起著統(tǒng)計(jì)標(biāo)尺的巨大作用，因此統(tǒng)計(jì)執(zhí)業(yè)人員應(yīng)該對(duì)數(shù)據(jù)擁有置信區(qū)間的估計(jì)、判別能力，以確保數(shù)據(jù)質(zhì)量。根據(jù)區(qū)間估計(jì)理論，無論總體均值，方差，比率均可由部分統(tǒng)計(jì)值而確立。不同行業(yè)指標(biāo)由實(shí)際需求給出不同精度的估計(jì)范圍。有了統(tǒng)計(jì)準(zhǔn)則，統(tǒng)計(jì)資料中的疏漏、偏失等都可得到進(jìn)一步規(guī)范。2、 合理運(yùn)用假設(shè)檢驗(yàn)參數(shù)假設(shè)檢驗(yàn)的方法假設(shè)檢驗(yàn)是數(shù)理統(tǒng)計(jì)的核心內(nèi)容之一，有著廣泛的應(yīng)用。依據(jù)小概率事件在一次觀察中實(shí)際不可能發(fā)生原理，在對(duì)統(tǒng)計(jì)工作已經(jīng)有一定經(jīng)驗(yàn)基礎(chǔ)上，人們對(duì)原假設(shè)與備擇假設(shè)作出統(tǒng)計(jì)決策。在實(shí)踐中，運(yùn)用假設(shè)檢驗(yàn)方法，發(fā)現(xiàn)數(shù)字存在的問題，要注意如下兩點(diǎn)：第一，注意不同檢驗(yàn)方法的精度。同一統(tǒng)計(jì)檢驗(yàn)問題通?？捎貌煌臋z驗(yàn)方法，但由于不同檢驗(yàn)方法精度與效率不同，可能對(duì)數(shù)據(jù)判斷作出相反結(jié)果。這里不存在對(duì)錯(cuò)之分，一切從實(shí)際需要出發(fā)，目標(biāo)是正確的數(shù)字取舍。第二，實(shí)際工作中，假設(shè)檢驗(yàn)與區(qū)間估計(jì)應(yīng)相輔相成，綜合應(yīng)用。由置信區(qū)間可判斷異常值懷疑對(duì)象，假設(shè)檢驗(yàn)進(jìn)一步明確其身份。反過來置信區(qū)間為假設(shè)檢驗(yàn)提供正確方向。非參數(shù)檢驗(yàn)方法統(tǒng)計(jì)工作總是面臨新問題，此時(shí)對(duì)統(tǒng)計(jì)數(shù)據(jù)總體分布知之甚少，這時(shí)假定總體分布然后檢驗(yàn)的做法就可能導(dǎo)致錯(cuò)誤的結(jié)論。非參數(shù)統(tǒng)計(jì)就是在不假定總體分布的情況下，挖掘數(shù)據(jù)本身信息進(jìn)行推斷的統(tǒng)計(jì)方法。因?yàn)椴焕每傮w分布的知識(shí)，所以在無總體任何知識(shí)情況下也能可靠地獲得結(jié)論。非參數(shù)統(tǒng)計(jì)也就給我們提供了一種由數(shù)據(jù)本身出發(fā)進(jìn)行統(tǒng)計(jì)數(shù)字質(zhì)量評(píng)估的方法，其中使用數(shù)據(jù)最基本的信息就是數(shù)據(jù)次序，也稱為秩。例如現(xiàn)在社會(huì)各行業(yè)普遍存在評(píng)估排隊(duì)的現(xiàn)象，如產(chǎn)品品牌的排隊(duì)，地區(qū)經(jīng)濟(jì)發(fā)展的排隊(duì)，大學(xué)的綜合排名等等，并且不同“版本”存在差異，這些評(píng)判是否可信是關(guān)注的焦點(diǎn)，運(yùn)用非參數(shù)統(tǒng)計(jì)中Kendall協(xié)同系數(shù)檢驗(yàn)就可以很好解決此類問題。同時(shí)，非參數(shù)方法對(duì)于熟悉數(shù)據(jù)與數(shù)據(jù)變換也有著直接應(yīng)用，比如數(shù)據(jù)Q-Q圖(quantile-quantileplots)，用按升幕重新排列的原始數(shù)據(jù)的樣本點(diǎn)和標(biāo)準(zhǔn)正態(tài)分布的分位點(diǎn)作散點(diǎn)圖，若樣本滿足正態(tài)性會(huì)使圖成直線型，如果出現(xiàn)數(shù)據(jù)在一端或兩端擺動(dòng)情況，說明數(shù)據(jù)與正態(tài)分布差異較大。隨著統(tǒng)計(jì)技術(shù)的發(fā)展，介于傳統(tǒng)參數(shù)檢驗(yàn)與非參數(shù)方法之間的穩(wěn)健統(tǒng)計(jì)方法也發(fā)展起來。當(dāng)已知分布數(shù)據(jù)中摻雜更改值、傳輸錯(cuò)誤時(shí)，樣本數(shù)據(jù)的穩(wěn)健性對(duì)于處理工作變得格外重要，通常使用樣本標(biāo)準(zhǔn)差判斷離群點(diǎn)的方法就不再穩(wěn)健，可以使用Theil回歸和最小中位數(shù)回歸等辦法，穩(wěn)健性已經(jīng)成為數(shù)據(jù)分析工作中的重要要求。三、 時(shí)間序列分析與多元統(tǒng)計(jì)分析的結(jié)合應(yīng)用時(shí)間序列分析與多元統(tǒng)計(jì)分析都是隨著計(jì)算機(jī)技術(shù)的發(fā)展、運(yùn)用而逐步成熟起來的兩種統(tǒng)計(jì)分析方法，但二者處理數(shù)據(jù)類型是明顯不同的，時(shí)序方法通常用來處理縱剖面數(shù)據(jù)，強(qiáng)調(diào)數(shù)字出現(xiàn)的實(shí)際順序。而對(duì)于某一時(shí)點(diǎn)組成的數(shù)據(jù)群--橫剖面數(shù)據(jù)，多元統(tǒng)計(jì)分析方法是更有力的處理工具。時(shí)序分析通過建立AR(n)、MA(m)、ARMA(n，m)等模型的方法來刻畫系統(tǒng)運(yùn)行狀態(tài)，運(yùn)用時(shí)序模型可以預(yù)測和控制系統(tǒng)，達(dá)到修正數(shù)據(jù)、控制統(tǒng)計(jì)質(zhì)量的目的。時(shí)序分析對(duì)離群點(diǎn)的檢驗(yàn)與處理有良好的應(yīng)用性，離群點(diǎn)也稱為奇異值、野值，是顯著偏離正常水平的極端值，出現(xiàn)原因包括偶然因素誘導(dǎo)、登記錯(cuò)誤等因素。離群點(diǎn)往往給數(shù)據(jù)分析帶來難度，通常被視為“壞值”，檢驗(yàn)方法通常如下：第一，將序列值與平滑值作比較。記Xt為序列的平滑值，St為樣本標(biāo)準(zhǔn)差，若Xt-kSt<Xt+1<Xt+kSt，則初步判定Xt+1是正常的，否則即為異常值。k是由于具體需要而設(shè)定的常數(shù)，取6較常見。第二，線性外推法。這也是一種常用分析方法，當(dāng)外推的結(jié)果與實(shí)際序列值偏差較大時(shí)，必須反思是否有離群點(diǎn)出現(xiàn)。不過此法須考慮外推次數(shù)對(duì)誤差的影響。其他如估算增長量推算法、發(fā)展速度估算法、Newton差值估算法等都是常見的推測算法，具體應(yīng)用中要注意場合與精度要求。有經(jīng)驗(yàn)的分析人員可以從統(tǒng)計(jì)分析方法中迅速發(fā)現(xiàn)問題，重審數(shù)據(jù)質(zhì)量。例如通常人文發(fā)展指數(shù)包括出生預(yù)期壽命、成人識(shí)字率和人均GDP三項(xiàng)指標(biāo)，如果數(shù)據(jù)反映到三項(xiàng)指標(biāo)不協(xié)調(diào)，就及時(shí)發(fā)現(xiàn)問題。因此兩種統(tǒng)計(jì)分析方法的結(jié)合運(yùn)用將對(duì)統(tǒng)計(jì)數(shù)據(jù)質(zhì)量工作提供技術(shù)支持。四、 結(jié)束語統(tǒng)計(jì)數(shù)據(jù)質(zhì)量不是一個(gè)新問題?，F(xiàn)在統(tǒng)計(jì)工作者、廣大群眾如何提高分析、辨別能力，結(jié)合我國國情制定出合理有效的判別數(shù)據(jù)準(zhǔn)則成為當(dāng)務(wù)之急。由于絕大多數(shù)的統(tǒng)計(jì)應(yīng)用者不是統(tǒng)計(jì)學(xué)家，甚至是一些沒有統(tǒng)計(jì)背景的工作者，