無響應(yīng)的后果與處理方法統(tǒng)計(jì)學(xué)教學(xué)中亟需重

1、無響應(yīng)的后果與處理方法：統(tǒng)計(jì)學(xué)教學(xué)中亟需重?zé)o響應(yīng)問題無論在抽樣調(diào)查理論還是實(shí)踐中都是十分重要的問題。然而，我國使用的統(tǒng)計(jì)學(xué)教材極少討論這一問題。本文系統(tǒng)地論述了無響應(yīng)問題引起的后果和對無響應(yīng)問題的處理方 法，希望能引起重視。一、引言抽樣調(diào)查是統(tǒng)計(jì)學(xué)課程中的重要內(nèi)容，而無響應(yīng)（Nonresponse問題是 抽樣調(diào)查中的重要問題。 “無響應(yīng)”也稱為“無回答”。概括地說，無響 應(yīng)是指在抽樣調(diào)查中無法從所有的樣本單位及問卷中的所有項(xiàng)目獲 得有效數(shù)據(jù)。無響應(yīng)可具體分為兩種類型，一種是 “單位無響應(yīng) ”，一 種是 “項(xiàng)目無響應(yīng) ”。單位無響應(yīng)是指被調(diào)查單位沒有接受調(diào)查 ;而項(xiàng)目 無響應(yīng)是指被調(diào)查單位雖然接

2、受了調(diào)查， 但對調(diào)查中的某些項(xiàng)目沒有 給出有效的回答。在我國使用的經(jīng)濟(jì)管理類統(tǒng)計(jì)學(xué)教材（包括引入的國外教材 ）中，基本上都沒有涉及這方面的內(nèi)容，個(gè)別討論到的，也 只是很簡單的幾句話。但是， “無響應(yīng)”在實(shí)際的抽樣調(diào)查中是經(jīng)常碰到的問題。如果學(xué)生不 了解這方面的知識，就不知道該如何處理;而直接使用帶有 “無響應(yīng)問題的調(diào)查問卷，后果將很嚴(yán)重。筆者認(rèn)為，經(jīng)濟(jì)管理類統(tǒng)計(jì)學(xué)教材 中亟需增加無響應(yīng)的后果及其處理方法方面的內(nèi)容。二、無響應(yīng)的后果1. 無響應(yīng)從兩方面影響推斷結(jié)果。在抽樣調(diào)查中，無響應(yīng)問題會從如 下兩個(gè)方面影響推斷結(jié)果。 一方面， 由于部分調(diào)查單位或調(diào)查項(xiàng)目無 響應(yīng)，使得樣本容量減少， 從而使估

3、計(jì)量的方差變大。這種后果相對 來說是較容易處理的，比如，可以用補(bǔ)充樣本、事先估計(jì)回答率并由 此相應(yīng)增加調(diào)查單位數(shù)量等方法來處理。另一方面，無響應(yīng)的樣本單位與回答的樣本單位如果在所調(diào)查的項(xiàng)目 上存在顯著差異， 則會使得依據(jù)回答樣本單位的數(shù)據(jù)所作的統(tǒng)計(jì)推斷 存在偏差，即無響應(yīng)偏差， 這是一種系統(tǒng)偏差。這種后果的處理比第 一種復(fù)雜得多， 但由于它對調(diào)查結(jié)論的影響很大， 我們不能不重視這 一問題的研究。事實(shí)上，在實(shí)際調(diào)查中，在回答的樣本單位與無回答 的樣本單位 （尤其是拒絕回答的樣本單位 ）之間往往存在著很大的差別。 比如，在對私營企業(yè)的依法納稅情況的抽樣調(diào)查中， 回答的樣本單位 比無回答的樣本單位

4、（如上所述，含有拒絕回答和提供不合乎要求的 回答等單位 ）通常有較少的偷稅漏稅行為。2. 對無響應(yīng)誤差的分析。在分析無響應(yīng)誤差的影響問題時(shí)，不同 統(tǒng)計(jì)學(xué)家持有不同的觀點(diǎn)。兩種通常的觀點(diǎn)分別被稱為無響應(yīng)的 “確 定論”和隨機(jī)論”如果記第i個(gè)總體單位的回答概率為pi，則確定 論”認(rèn)為，總體所有單位有pi=O或pi=1，就是說，總體的N個(gè)單位含 有兩類單位， 一類是如果被抽中則肯定回答的單位 (N1 個(gè))，另一類則 是如果被抽到肯定不回答的單位(NO個(gè)，N二N1+NOK而 隨機(jī)論”則認(rèn) 為對所有的總體單位有OW pi 咯pi可能取各種不同數(shù)值，而且在 大多數(shù)情況下， pi 被視為條件概率，即它的大小

5、取決于調(diào)查時(shí)的環(huán)境。 無論是從哪種觀點(diǎn)出發(fā)， 我們都可看到， 無響應(yīng)偏差的大小取決于兩 個(gè)因素：一個(gè)是回答率 ;另一個(gè)是回答單位與無響應(yīng)單位在 Y 變量值 之間的差異 (這里， Y 變量是指對調(diào)查中具體分析的指標(biāo)的測度 )。而 兩種觀點(diǎn)的差別則體現(xiàn)在對形成回答率的機(jī)制的不同看法。3. 關(guān)于可接受的回答率問題。如上所述，較低的回答率將會破壞 樣本的代表性，從而產(chǎn)生較大的無回答偏差。那么，什么樣的回答率 是可以接受的呢 ?這一問題目前尚沒有一個(gè)明確的、公認(rèn)的結(jié)論?？?克倫和伯恩鮑姆(A.Birnbaum)等人認(rèn)為對一般調(diào)查而言，回答率應(yīng)在 90%甚至95%以上。美國廣告研究基金會則建議郵寄調(diào)查的回

6、答率應(yīng) 80%以上。我國學(xué)者盧淑華也持這種看法。愛爾達(dá)斯(Erdos)則認(rèn)為一個(gè)可靠的郵寄調(diào)查應(yīng)有 50%以上的回答率， 或能用某種方法證實(shí)不回 答者與回答者是相似的。萊斯勒(J.T.Lessle認(rèn)為對這一問題的回答不 應(yīng)是絕對的，而應(yīng)考慮多方面因素。她指出應(yīng)結(jié)合如下因素來討論： (1)調(diào)查前對回答率的期望值， 它取決于調(diào)查的內(nèi)容、 總體與數(shù)據(jù)收集 方式;(2)提高回答率的成本 ;(3)是否對無回答采用補(bǔ)救方法以及采用 何種方法。 (4)調(diào)查內(nèi)容及其結(jié)論的重要性。應(yīng)該指出的是，在調(diào)查報(bào)告或研究結(jié)果中說明回答率是一項(xiàng)良好 的調(diào)查研究應(yīng)有的內(nèi)容。三、無響應(yīng)問題的處理方法為了盡量減少無響應(yīng)誤差的影響

7、， 統(tǒng)計(jì)學(xué)家們提出了許多的處理 方法。這些處理方法可以歸納成兩類， 一類是在進(jìn)行統(tǒng)計(jì)分析之前的 處理，即在調(diào)查階段的處理，一類是在統(tǒng)計(jì)分析中進(jìn)行的處理，即調(diào) 查完成之后的處理。1.分析前的處理。分析前的處理方法的主要目標(biāo)是提高回答率。 主要方法包括： (1)認(rèn)真選聘、培訓(xùn)、督導(dǎo)調(diào)查員。 (2)對被調(diào)查者進(jìn) 行適當(dāng)激勵。 (3)由有名望的機(jī)構(gòu)出面組織調(diào)查。 (4)多次訪問。 (5)改 進(jìn)調(diào)查方法。如， 科學(xué)地設(shè)計(jì)調(diào)查項(xiàng)目與問卷外觀，以使被調(diào)查者能 較輕松地回答問題 ;調(diào)查前先與被調(diào)查者聯(lián)系 ;仔細(xì)分析不同受訪者最 可能在家的時(shí)間 ;等等。 (6)在無響應(yīng)的樣本單位中再次抽樣。 (7)使用 隨機(jī)化

8、回答技術(shù)。 如果引起無響應(yīng)的主要原因是問卷或某些項(xiàng)目為敏 感性問題 (如隱性收入、偷稅漏稅、吸毒等 )，則可用使用隨機(jī)化回答 技術(shù)來進(jìn)行調(diào)查。這種調(diào)查技術(shù)通過設(shè)置巧妙的 “隨機(jī)化裝置 ”，使得 被調(diào)查者可以說出實(shí)情而調(diào)查者并不會知道他的回答的真正含義。 但 調(diào)查者可以由整個(gè)樣本的回答獲得某類人數(shù)所占比重或某敏感性指標(biāo)的均值等的估計(jì)值。2.分析中的處理。如果由于某些原因未能采用上文所述的分析前的處 理方法，或者雖已采用但仍未能達(dá)至足夠高的回答率， 我們就需要采 取事后的補(bǔ)救措施。 各國統(tǒng)計(jì)學(xué)家已為此而提出了許多方法。 (1)波利 茲-西蒙斯(Politz-Simmo ns)方法。這種方法是預(yù)先在

9、調(diào)查時(shí)詢問回答者 在 K 個(gè)類似的期間里他有多少期間可以被找到， 然后在分析時(shí)用他可 被找到的期間數(shù)對其 Y 變量值 (Y 為所研究的指標(biāo)的測度 )作“倒數(shù)加 權(quán)”。例如，對于在調(diào)查的前 5 天中在相同時(shí)間內(nèi)呆在家里并可以接 受調(diào)查的天數(shù)分別為 0、1、2、3、4和 5的回答者，分別用 6/1、6/2、 6/3、6/4、6/5、6/6作為其Y變量值的權(quán)數(shù)(分母是前5天可接受調(diào)查 的天數(shù)加 1，即加上調(diào)查的當(dāng)天 )。這種方法的隱含假設(shè)是在家天數(shù)越少者， 其丫變量值越接近不在家者。 (2)時(shí)間趨勢法。這種方法通過考察連續(xù)各批回答者 (如郵寄調(diào)查中按 時(shí)間先后對回件分批 )的答案，分析其中的趨勢，

10、然后將此趨勢延伸， 以此推測出無響應(yīng)者的答案。 比如，如果各批回答者的收入呈上升趨 勢，則推測無響應(yīng)者的收入是最高的。 (3)分組加權(quán)估計(jì)。 這種方法要 求按某些輔助信息將總體單位分成若干組，使組內(nèi)各單位的Y變量值 盡可能相近。在抽樣調(diào)查之后，若出現(xiàn)無響應(yīng)問題，則按各組的單位 數(shù)占總體單位數(shù)的比例進(jìn)行加權(quán)調(diào)整。 我們用一個(gè)簡化的例子來說明， 設(shè)總體分成兩組， 第一、二組單位數(shù)分別占總體單位數(shù)的 30%與 70%。假設(shè)抽樣調(diào)查的結(jié)果如下表。如果不作加權(quán)調(diào)整，則對總體的 Y 變量均值的估計(jì)為：(3230 X 300+2110X 500)/800=2530但考慮到第 2 組的不回答率遠(yuǎn)高于第一組，為

11、減少無響應(yīng)偏差， 使用 分 組加 權(quán)估 計(jì) ，則 總 體的 Y 變 量均 值的估 計(jì) 調(diào)整為 ： 3230X 30%+2110X 70%=2。4(446)替代方法。概括地說，替代方法是用 “精 心選擇 ”的回答單位的數(shù)據(jù)或者用按輔助信息推測的數(shù)據(jù)來“替代”無響應(yīng)單位數(shù)據(jù)的方式來處理無響應(yīng)問題。 而具體的替代方法則多種多 樣。均值替代法。指將總體分組，用組內(nèi)回答單位的樣本均值替代無響應(yīng)單位的值。 這種方式實(shí)質(zhì)上與 “分組加權(quán)估計(jì) ”方法非常類似。完全匹配替代法。 使用某些外部來源的記錄來替代無響應(yīng)單 位或無響應(yīng)項(xiàng)目的數(shù)據(jù)。如從工商、稅務(wù)、海關(guān)等管理部門取得無響 應(yīng)的被調(diào)查企業(yè)的注冊資本、所得稅、

12、出口貨物情況等來作替代值。最后回答者替代法。 以最后一批回答者的答案替代無響應(yīng)者 的答案。比如， 在郵寄調(diào)查中，以幾次追蹤后最后寄回問卷者來代表未回件者演繹估計(jì)法。如果所研究的丫變量與另一變量X存在已知的 函數(shù)關(guān)系，即丫二F(X)且可了解到X的值，則可用此方法得出丫的缺 失值。回歸替代法。 如果所研究的 丫變量與另外一些變量存在高度的相關(guān)關(guān)系， 則可建立一個(gè)回歸模型， 并利用回答數(shù)據(jù)對模型參數(shù)進(jìn)行估計(jì)。然后利用估計(jì)的回歸方程預(yù)測 丫的缺失值。熱層”(Hodeck)方法。通常用于項(xiàng)目無響應(yīng)。一般做法是對調(diào)查中的項(xiàng)目缺失值用同一調(diào)查中具有類似背景的回答者的數(shù)值來 替代。最近距離替代法。通常用于項(xiàng)目無響應(yīng)。這種方法要選擇一 些輔助變量及一種距離測度。 它按照輔助變量距離最近的原則選擇替 代