不得不讀：缺失數(shù)據(jù)處理課件

缺失數(shù)據(jù)的插補方法

楊軍聯(lián)系方式：報告提綱缺失數(shù)據(jù)為什么進行插補單一插補多重插補幾何插補問題與挑戰(zhàn)缺失數(shù)據(jù)在許多實際問題的研究中，有一些數(shù)據(jù)無法獲得或缺失。當缺失比例很小時，可直接對完全記錄進行數(shù)據(jù)處理，舍棄缺失記錄。但在實際數(shù)據(jù)中，往往缺失數(shù)據(jù)占有相當?shù)谋戎?，尤其是多元?shù)據(jù)。這時前述的處理將是低效率的，因為這樣做丟失了大量信息，并且會產(chǎn)生偏倚，使不完全觀測數(shù)據(jù)與完全觀測數(shù)據(jù)間產(chǎn)生系統(tǒng)差異。

為什么進行插補允許應用標準的完全數(shù)據(jù)分析方法能融合數(shù)據(jù)收集者的知識數(shù)據(jù)缺失使數(shù)據(jù)結構復雜化，需要使用更復雜的統(tǒng)計工具進行分析，而插補可以緩解這一困難能夠防止刪除不完全記錄造成的信息丟失在一些情形下，插補能夠減少無回答偏倚特別注意：插補的目的并不是預測單個缺失值，而是預測缺失數(shù)據(jù)所服從的分布單一插補單一插補指對每個缺失值，從其預測分布中取一個值填充缺失值后，使用標準的完全數(shù)據(jù)分析進行處理。單一插補的方法很多，總的說來可以歸為兩類：隨機插補和確定性插補。常用的確定性插補方法有以下幾種：推理插補均值插補熱平臺插補

冷平臺插補下面紹兩種貝葉斯觀點的隨機插補：貝葉斯Bootstap(ABB)近似貝葉斯Bootstap(ABB)單一插補的優(yōu)點1、標準的完全數(shù)據(jù)分析方法2、對公眾應用數(shù)據(jù)庫，程序運行一次缺點—低估估計量的方差改進—校正估計量的方差，主要利用Jackknife、Bootstrap等工具，給出方差的相合估計。

多重插補保持了單一插補的兩個基本優(yōu)點，即應用完全數(shù)據(jù)分析方法和融合數(shù)據(jù)收集者知識的能力。相對于單一插補，多重插補有三個極其重要的優(yōu)點：第一，為表現(xiàn)數(shù)據(jù)分布，隨機抽取進行插補，增加了估計的有效性。第二，當多重插補是在某個模型下的隨機抽樣時，按一種直接方式簡單融合完全數(shù)據(jù)推斷得出有效推斷，即它反映了在該模型下由缺失值導致的附加變異。第三，在多個模型下通過隨機抽取進行插補，簡單地應用完全數(shù)據(jù)方法，可以對無回答的不同模型下推斷的敏感性進行直接研究。多重插補缺點：一、生成多重插補比單一插補需要更多工作二、貯存多重插補數(shù)據(jù)集需要更多存儲空間三、分析多重插補數(shù)據(jù)集比單一插補需要花費更多精力。多重插補所面臨的主要問題是如何得到缺失數(shù)據(jù)的多個插補版本。為正確地進行插補，需要首先要明確缺失機制，然后討論插補機制。