我國抽樣調(diào)查應(yīng)用與研究的現(xiàn)狀及問題(云南大學(xué))

2023/12/8可編輯1我國抽樣調(diào)查應(yīng)用與

研究的現(xiàn)狀及問題

馮士雍（中國科學(xué)院數(shù)學(xué)與系統(tǒng)科學(xué)研究院）2023/12/8可編輯2

提綱

什么是抽樣調(diào)查應(yīng)用與研究概況存在的主要問題若干研究課題

2023/12/8可編輯3一、什么是抽樣調(diào)查

按一定程序從所研究對象（總體）中抽取一部分（樣本）進(jìn)行調(diào)查，獲取數(shù)據(jù)，并以此對總體的一定目標(biāo)量作出估計。2023/12/8可編輯4普查與抽樣調(diào)查

普查（全面調(diào)查）:從總體的所有單元中收集信息；抽樣調(diào)查:僅從總體中的一部分（通常是很小的一部分）單元中收集信息。2023/12/8可編輯5

我國統(tǒng)計調(diào)查體系以必要的周期性普查為基礎(chǔ);以經(jīng)常性的抽樣調(diào)查為主體;輔之以重點調(diào)查、科學(xué)推算和有限的全面報表綜合運(yùn)用2023/12/8可編輯6抽樣調(diào)查的優(yōu)點在充分滿足所需信息質(zhì)量的前提下，提供一種更快、更節(jié)省的方法。相對于普查來說，由于規(guī)模小，因而更容易對調(diào)查過程進(jìn)行監(jiān)控，被調(diào)查者的心理壓力也小。

一項經(jīng)科學(xué)設(shè)計并嚴(yán)格實施的抽樣調(diào)查完全有可能獲得比全面調(diào)查（普查）更為準(zhǔn)確、更為可靠的結(jié)果。2023/12/8可編輯7

三種基本統(tǒng)計推斷框架基于抽樣設(shè)計的隨機(jī)化推斷基于模型假設(shè)的模型化推斷模型輔助推斷

2023/12/8可編輯8有限總體上的抽樣設(shè)計總體U：樣本S

：

U

的一個子集研究變量、輔助變量及協(xié)變量。研究變量：待調(diào)查的指標(biāo)變量,調(diào)查前對任意單元都未知輔助變量：在調(diào)查前對任意單元都已知，是一種設(shè)計信息。協(xié)變量：只知道部分信息，如相關(guān)的總體總量等，調(diào)查時只對樣本搜集有關(guān)信息，但不是推斷對象。

2023/12/8可編輯9抽樣設(shè)計與包含概率

一階包含概率：單元k被抽中的概率；一階包含概率全為正的抽樣設(shè)計稱為概率抽樣設(shè)計。二階包含概率：單元k與l都被抽中的概率。二階包含概率全為正的設(shè)計能有效地構(gòu)造估計量方差的無偏估計。2023/12/8可編輯10可測抽樣設(shè)計

一、二階包含概率全為正的抽樣設(shè)計；經(jīng)典的抽樣設(shè)計大多是可測的；系統(tǒng)抽樣設(shè)計是不可測的。2023/12/8可編輯11

不等概率抽樣利用輔助變量的不等概率抽樣有很高的效率，例如PPS抽樣。Hanif&Brewer總結(jié)了50多種不放回不等概率抽樣方法。n=2的抽樣應(yīng)用最為廣泛。n≠2的抽樣方法應(yīng)用相對較少。惟一例外的是系統(tǒng)抽樣，但它的方差估計仍是需要研究的問題。

2023/12/8可編輯12隨機(jī)化推斷（基于抽樣設(shè)計）

總體中各單元的指標(biāo)值被認(rèn)為是固定不變的，隨機(jī)性僅在于樣本的選取，推斷的合理性和總體結(jié)構(gòu)無關(guān)。隨機(jī)化推斷框架的基本性質(zhì)是抽樣和推斷都不依賴總體模型，是模型自由的。2023/12/8可編輯13總體總量的H-T估計2023/12/8可編輯14H-T估計的方差估計

其中2023/12/8可編輯15復(fù)雜樣本的方差估計

1）隨機(jī)組方法2）平衡半樣本方法3）刀切法與自助法4）泰勒級數(shù)法

相關(guān)軟件SUDAAN,PCCARP，WESVAR,VPLXT等。

2023/12/8可編輯16模型化推斷

有限總體的研究指標(biāo)值是某個隨機(jī)模型(超總體)的一個具體實現(xiàn)，推斷目標(biāo)是有限總體參數(shù)，推斷建立在模型的基礎(chǔ)上。2023/12/8可編輯17超總體回歸模型

其中是固定的設(shè)計變量，隨機(jī)誤差相互獨(dú)立，且2023/12/8可編輯18總體總量估計:

是回歸系數(shù)的廣義最小二乘估計。估計以模型預(yù)報為基礎(chǔ)，只和樣本單元及其觀測值有關(guān)，而不依賴抽樣設(shè)計。

2023/12/8可編輯19模型輔助推斷

隨機(jī)化推斷的一種形式，利用模型構(gòu)造有限總體參數(shù)的廣義回歸估計：Cassel等(1976)

是回歸系數(shù)的估計組成的行向量。

2023/12/8可編輯20

如何抽到一個“好”樣本

用好的抽樣方法用好的估計方法

用好的抽樣策略關(guān)鍵:

輔助信息（變量）的充分利用2023/12/8可編輯21比（率）估計：對輔助變量X2023/12/8可編輯22回歸估計:對輔助變量X2023/12/8可編輯23二、我國抽樣調(diào)查

應(yīng)用與研究概況統(tǒng)計部門（國家及地方統(tǒng)計局）其他政府部門與學(xué)術(shù)機(jī)構(gòu)專業(yè)調(diào)查與咨詢機(jī)構(gòu)（公司）2023/12/8可編輯24統(tǒng)計部門承擔(dān)的抽樣調(diào)查

－項目列舉人口變動情況調(diào)查；城市與農(nóng)村住戶調(diào)查；農(nóng)產(chǎn)量調(diào)查；規(guī)模以下工業(yè)調(diào)查；限額以下批發(fā)零售業(yè)餐飲業(yè)調(diào)查2023/12/8可編輯25統(tǒng)計部門承擔(dān)的抽樣調(diào)查

－特點與優(yōu)勢已形成一套完整的體系與制度（經(jīng)常性）有專門的調(diào)查隊伍—

城調(diào)隊、農(nóng)調(diào)隊、企調(diào)隊可充分利用普查（周期性）及其它統(tǒng)計資料2023/12/8可編輯26政府其他部門與學(xué)術(shù)機(jī)構(gòu)

組織與承擔(dān)的部分項目衛(wèi)生部流行病學(xué)調(diào)查（高血壓病、結(jié)核病、牙病等）

5歲以下兒童死亡情況調(diào)查國家衛(wèi)生服務(wù)總調(diào)查國家計生委婦女生育力調(diào)查

2023/12/8可編輯27交通部公路、水路交通運(yùn)輸量調(diào)查環(huán)境保護(hù)總局糧食農(nóng)藥污染調(diào)查全國科協(xié)公眾科學(xué)素養(yǎng)調(diào)查

2023/12/8可編輯28全國婦聯(lián)婦女社會地位調(diào)查教育部與國家語委語言與文字使用情況調(diào)查2023/12/8可編輯29

政府其他部門與學(xué)術(shù)機(jī)構(gòu)

組織項目的特點目的明確，了解總體基本情況通常是一次性的，一般周期較長設(shè)計較有特色樣本量較大，精度要求較高2023/12/8可編輯30專業(yè)調(diào)查咨詢機(jī)構(gòu)

（調(diào)查公司等）電視收視率調(diào)查電視觀眾（電臺聽眾）行為調(diào)查報刊閱讀調(diào)查市場營銷（消費(fèi)行為）調(diào)查社會熱點調(diào)查2023/12/8可編輯31專業(yè)調(diào)查咨詢機(jī)構(gòu)

組織項目的特點目的明確，基本了解總體情況講究時效與成本，對樣本量多有限制總體上，實施過程中對調(diào)查監(jiān)督力度大而嚴(yán)格部分項目設(shè)計要求不甚規(guī)范，質(zhì)量相差懸殊回答率較低，拒訪率較高2023/12/8可編輯32三、我國抽樣調(diào)查應(yīng)用

與研究中的主要問題對樣本代表性的理解與認(rèn)識使用按有關(guān)標(biāo)識排隊系統(tǒng)抽樣的局限性數(shù)據(jù)處理(估計)方法如何滿足多層次需要問題關(guān)于多主題與多目標(biāo)抽樣非抽樣誤差特別是計量誤差的控制2023/12/8可編輯331.對樣本代表性的理解與認(rèn)識過分強(qiáng)調(diào)樣本結(jié)構(gòu)、樣本均值與總體結(jié)構(gòu)、總體均值的一致性

對所謂“樣本代表性檢驗”的質(zhì)疑

2023/12/8可編輯34歷史的回顧

抽樣調(diào)查發(fā)端于1985年，在第五屆ISI大會上，挪威第一任統(tǒng)計局長凱爾提出:“用代表性樣本調(diào)查方法來代替全面調(diào)查”的建議。2023/12/8可編輯35凱爾的觀點

一個良好的，也即對總體有代表性的樣本應(yīng)該是總體的一個縮影。樣本各種平均性的指標(biāo)應(yīng)該與總體相應(yīng)的指標(biāo)十分接近。

“代表性抽樣”（或稱目的抽樣）2023/12/8可編輯36奈曼的理論

采用概率(隨機(jī))抽樣而不是代表性抽樣。在對總體有所了解的情況下，使用分層抽樣可以提高精度。2023/12/8可編輯372.使用按有關(guān)標(biāo)識排隊

系統(tǒng)抽樣的局限性

效果顯著，但缺點也突出：

不能進(jìn)行有效的方差估計不能用于多指標(biāo)問題的抽樣

2023/12/8可編輯38替代方法

將排隊標(biāo)識作為輔助變量，應(yīng)用PPS抽樣；對等概率樣本使用比估計或回歸估計。2023/12/8可編輯393.數(shù)據(jù)處理(估計)方法

目標(biāo)量的估計（及其方差估計）與抽樣設(shè)計不配套例如:

不是自加權(quán)樣本用自加權(quán)的公式不是隨機(jī)排列的系統(tǒng)抽樣的方差估計用簡單隨機(jī)抽樣的方差估計等2023/12/8可編輯404.如何滿足多層次需要中國國情分級管理體制，各級政府都管經(jīng)濟(jì)解決途徑分層（事先分層與抽樣后分層）樣本追加策略2023/12/8可編輯41關(guān)于樣本追加策略的研究以全國、省兩級為例：全國樣本：為估計全國目標(biāo)量的樣本省級追加樣本：為估計省目標(biāo)量，在落在本省的全國樣本基礎(chǔ)上追加的樣本2023/12/8可編輯42需要解決的關(guān)鍵技術(shù)問題

樣本追加方法下級目標(biāo)量的估計及方差估計方法利用追加樣本進(jìn)一步提高上級目標(biāo)量估計的精度

2023/12/8可編輯43應(yīng)用中國婦女社會地位調(diào)查限額以下批發(fā)零售貿(mào)易業(yè)、餐飲業(yè)抽樣調(diào)查2023/12/8可編輯445.關(guān)于多主題與多目標(biāo)抽樣問題提出的背景:

分級管理體制不同目標(biāo)變量在總體分布的特異性與不均勻性認(rèn)識的誤區(qū)：“經(jīng)典的抽樣調(diào)查理論只能針對一個目標(biāo)變量觀測值，無法解決將多個目標(biāo)變量同時納入抽樣設(shè)計過程并且滿足各目標(biāo)變量推算的問題?！?/p>

2023/12/8可編輯45解決方法使用不同輔助變量的

比估計或回歸估計

使用二相或多相抽樣使用MPPS抽樣2023/12/8可編輯46MPPS抽樣多目標(biāo)與規(guī)模成比例的概率抽樣由

JeffreyT.Bailey&PhillipS.Kott提出在農(nóng)調(diào)隊系統(tǒng)中已得到應(yīng)用2023/12/8可編輯476.非抽樣誤差分析及處理

抽樣框誤差，由不完善的抽樣框引起的誤差；無回答誤差，由于種種原因沒有能夠?qū)Ρ怀槌鰳颖締卧蚰承┱{(diào)查的項目進(jìn)行計量（得到回答），從而沒有獲得有關(guān)這些單元或項目的信息；計量誤差，調(diào)查所獲得的數(shù)據(jù)與調(diào)查項目的真值之間不一致而產(chǎn)生的誤差。

2023/12/8可編輯48抽樣框誤差

1）覆蓋不全：丟失目標(biāo)總體單元。它使總體總量的估計偏低，同時也會造成對均值估計的偏倚。處理方法：一是將丟失單元與抽樣總體單元實行某種形式的聯(lián)接方式以及采用輔助抽樣框(利用輔助抽樣框重新構(gòu)造一個較為完善的新的抽樣框)；二是使用多重抽樣框。2023/12/8可編輯492）過覆蓋：包含非目標(biāo)總體單元，造成總體總量估計的偏高。3）復(fù)合連接：抽樣框中的單元與目標(biāo)總體單元不完全是一對一對應(yīng)而是存在一對多或多對一的現(xiàn)象。4）輔助信息不完全或不正確。2023/12/8可編輯50無回答誤差

由于種種原因沒有能夠?qū)Ρ怀橹械臉颖締卧娜炕虿糠诌M(jìn)行回答，從而沒有獲得有關(guān)這些單元的全部或部分?jǐn)?shù)據(jù)。

單元無回答項目無回答

2023/12/8可編輯51某調(diào)查公司統(tǒng)計的拒訪率地區(qū)類型第一次接觸拒訪率不考慮門禁等實際拒訪率電話調(diào)查的一般拒訪率省會以上大城市80%60%50%廣東、浙江等發(fā)達(dá)省份90%70%75%西部地區(qū)60%50%40%農(nóng)村地區(qū)40%30%30%2023/12/8可編輯52無回答的影響

造成估計的偏倚

增加估計量的方差加大調(diào)查的成本2023/12/8可編輯53單元無回答及加權(quán)調(diào)整逆概率加權(quán)法(Inverseprobabilityweighting，IPW)

類加權(quán)法（Cellweighting）梳理法（Raking）校準(zhǔn)法（Calibration）2023/12/8可編輯54項目無回答及插補(bǔ)技術(shù)

給缺失數(shù)據(jù)一些替代值，得到“完全數(shù)據(jù)”，然后按對完全數(shù)據(jù)的統(tǒng)計方法處理。

2023/12/8可編輯55主要插補(bǔ)方法單一插補(bǔ)多重插補(bǔ)

幾何插補(bǔ)

2023/12/8可編輯56插補(bǔ)的意義和特點允許使用標(biāo)準(zhǔn)的完全數(shù)據(jù)分析方法防止舍棄不完全記錄造成的信息丟失減少無回答的偏倚對所有項目使用同一權(quán)重2023/12/8可編輯57單一插補(bǔ)

對每個缺失值，從其預(yù)測分布中取一個值作為插補(bǔ)值。早期常用的插補(bǔ)方法：推理插補(bǔ)、均值插補(bǔ)、熱平臺插補(bǔ)、冷平臺插補(bǔ)、最近鄰插補(bǔ)、比率/回歸插補(bǔ)等近期發(fā)展了EM算法、貝葉斯自助法及近似貝葉斯自助法等。

2023/12/8可編輯58隨機(jī)插補(bǔ)對由確定性的方法得出插補(bǔ)值，加上從某個適宜的分布或模型產(chǎn)出的一個殘差作為最后的插補(bǔ)值，即為隨機(jī)插補(bǔ)。隨機(jī)插補(bǔ)能更好地保持?jǐn)?shù)據(jù)集的頻數(shù)結(jié)構(gòu)，保持比確定性插補(bǔ)方法更真實的變異性。2023/12/8可編輯59單一插補(bǔ)的缺點

不能反映對無回答所服從的分布方差按標(biāo)準(zhǔn)方法估計偏小

2023/12/8可編輯60多重插補(bǔ)觀測數(shù)據(jù)缺失數(shù)據(jù)插補(bǔ)數(shù)據(jù)1插補(bǔ)數(shù)據(jù)2插補(bǔ)數(shù)據(jù)m完全數(shù)據(jù)1完全數(shù)據(jù)2完全數(shù)據(jù)m參數(shù)的整體推斷2023/12/8可編輯61多重插補(bǔ)的優(yōu)點1.保持了單一插補(bǔ)的基本優(yōu)點2.能反映由缺失導(dǎo)致的附加變異，較真實表現(xiàn)數(shù)據(jù)分布，增加了估計的有效性3.可對無回答的不同模型下推斷的敏感性進(jìn)行直接研究2023/12/8可編輯62構(gòu)建多組插補(bǔ)值的方法

回歸預(yù)測法傾向得分法MCMC方法(數(shù)據(jù)擴(kuò)充算法)2023/12/8可編輯63

幾何插補(bǔ)

從數(shù)據(jù)的幾何結(jié)構(gòu)來研究缺失數(shù)據(jù)的插補(bǔ)。主要方法：

Dear主成分(DPC)方法奇異值分解法迭代的最小二乘插補(bǔ)2023/12/8可編輯64計量誤差

觀測數(shù)據(jù)與其真值之間的差異造成的誤差，是非抽樣誤差中不可避免、也是最難處理的一種。2023/12/8可編輯65計量誤差產(chǎn)生原因被調(diào)查者方面體制方面：調(diào)查點的固定與不可更換性設(shè)計方面：調(diào)查表過于繁復(fù)，指標(biāo)解釋不清。實施方面：缺乏嚴(yán)格的質(zhì)量保證措施。人為原因：對數(shù)據(jù)的人為干預(yù)2023/12/8可編輯66

對計量誤差的研究首先需要對計量誤差進(jìn)行量化。數(shù)值型的計量誤差對調(diào)查估計影響的最簡單模型是考慮計量中的固定偏差。對于有偏計量的數(shù)值化研究可通過收集樣本單元其它準(zhǔn)確或無偏的計量來進(jìn)行，這通常在