不得不讀：缺失數(shù)據(jù)處理.ppt

缺失數(shù)據(jù)的插補方法 中國科學(xué)院系統(tǒng)科學(xué)研究所 楊 軍 聯(lián)系方式：,報告提綱,缺失數(shù)據(jù) 為什么進(jìn)行插補 單一插補 多重插補 幾何插補 問題與挑戰(zhàn),缺失數(shù)據(jù),在許多實際問題的研究中，有一些數(shù)據(jù)無法獲得或缺失。當(dāng)缺失比例很小時，可直接對完全記錄進(jìn)行數(shù)據(jù)處理，舍棄缺失記錄。 但在實際數(shù)據(jù)中，往往缺失數(shù)據(jù)占有相當(dāng)?shù)谋戎?，尤其是多元?shù)據(jù)。這時前述的處理將是低效率的，因為這樣做丟失了大量信息，并且會產(chǎn)生偏倚，使不完全觀測數(shù)據(jù)與完全觀測數(shù)據(jù)間產(chǎn)生系統(tǒng)差異。,什么是插補,給每一個缺失數(shù)據(jù)一 些替代值，如此得到“完全數(shù)據(jù)集”后，再使用完全數(shù)據(jù)統(tǒng)計分析方法分析數(shù)據(jù)并進(jìn)行統(tǒng)計推斷。 80年代以后，人們開始重視數(shù)據(jù)缺失問題，著力研究插補方法。迄今為 止，提出并發(fā)展了30多種的插補方法。在抽樣調(diào)查中應(yīng)用的主要是單一插補和多重插補。,為什么進(jìn)行插補,允許應(yīng)用標(biāo)準(zhǔn)的完全數(shù)據(jù)分析方法 能融合數(shù)據(jù)收集者的知識 數(shù)據(jù)缺失使數(shù)據(jù)結(jié)構(gòu)復(fù)雜化，需要使用更復(fù)雜的統(tǒng)計工具進(jìn)行分析，而插補可以緩解這一困難 能夠防止刪除不完全記錄造成的信息丟失 在一些情形下，插補能夠減少無回答偏倚 特別注意：插補的目的并不是預(yù)測單個缺失值，而是預(yù)測缺失數(shù)據(jù)所服從的分布,單一插補,單一插補指對每個缺失值，從其預(yù)測分布中取一個值填充缺失值后，使用標(biāo)準(zhǔn)的完全數(shù)據(jù)分析進(jìn)行處理。單一插補的方法很多，總的說來可以歸為兩類：隨機插補和確定性插補。常用的確定性插補方法有以下幾種： 推理插補,均值插補 熱平臺插補 冷平臺插補,最近鄰插補 在插補類中按匹配變量找到和受者記錄最接近的供者記錄替代缺失記錄 比率/回歸插補 根據(jù)輔助信息與樣本中的有效回答記錄建立一個比率或回歸模型 EM算法 每一種確定性的插補方法都對應(yīng)著一種隨機插補方法。插補定量數(shù)據(jù)時，用確定性的方法得到一個插補值，加上從某個適宜的分布中產(chǎn)生的一個殘差作為最后的插補值，就成為隨機插補。隨機插補能更好地保持?jǐn)?shù)據(jù)的頻數(shù)結(jié)構(gòu)，保持比確定性插補更真實的變異性。,下面紹兩種貝葉斯觀點的隨機插補： 貝葉斯Bootstap(ABB) 近似貝葉斯Bootstap(ABB) 單一插補的優(yōu)點 1、標(biāo)準(zhǔn)的完全數(shù)據(jù)分析方法 2、對公眾應(yīng)用數(shù)據(jù)庫，程序運行一次 缺點低估估計量的方差 改進(jìn)校正估計量的方差，主要利用Jackknife、Bootstrap 等工具，給出方差的相合估計。,多重插補,單一插補往往會低估估計量的方差，為改善這一弊病，80年代前后，Rubin提出了多重插補。后經(jīng)Rubin、Meng X.L. 和 J.L. Schafer等人完善和發(fā)展，已經(jīng)在著名的統(tǒng)計軟件SAS中采用。多重插補是一種以模擬為基礎(chǔ)的方法，對每個缺失值產(chǎn)生m個合理的插補值，這樣插補后，得到m組完全數(shù)據(jù)，使用標(biāo)準(zhǔn)的完全數(shù)據(jù)方法分析每組數(shù)據(jù)并融合分析結(jié)果。,多重插補保持了單一插補的兩個基本優(yōu)點，即應(yīng)用完全數(shù)據(jù)分析方法和融合數(shù)據(jù)收集者知識的能力。相對于單一插補，多重插補有三個極其重要的優(yōu)點：第一，為表現(xiàn)數(shù)據(jù)分布，隨機抽取進(jìn)行插補，增加了估計的有效性。第二，當(dāng)多重插補是在某個模型下的隨機抽樣時，按一種直接方式簡單融合完全數(shù)據(jù)推斷得出有效推斷，即它反映了在該模型下由缺失值導(dǎo)致的附加變異。第三，在多個模型下通過隨機抽取進(jìn)行插補，簡單地應(yīng)用完全數(shù)據(jù)方法，可以對無回答的不同模型下推斷的敏感性進(jìn)行直接研究。,多重插補缺點： 一、生成多重插補比單一插補需要更多工作 二、貯存多重插補數(shù)據(jù)集需要更多存儲空間 三、分析多重插補數(shù)據(jù)集比單一插補需要花費更多精力。 多重插補所面臨的主要問題是如何得到缺失數(shù)據(jù)