均值填補法之均值填充

均值填補法之均值填充學(xué)習(xí)目標(biāo)2知識目標(biāo)●數(shù)據(jù)缺失簡介●數(shù)據(jù)缺失的處理方法●均值填補法-均值填充能力目標(biāo)●了解數(shù)據(jù)缺失●掌握數(shù)據(jù)缺失的處理方法●了解均值填補法-均值填充學(xué)習(xí)任務(wù)3初步探索什么是數(shù)據(jù)缺失值初步探索數(shù)據(jù)缺失值的處理方法初步探索均值填補法了解均值填補法-均值填充均值填補法-均值填充數(shù)據(jù)缺失的處理方法數(shù)據(jù)缺失簡介4均值填補法目錄5數(shù)據(jù)缺失簡介數(shù)據(jù)缺失是指在數(shù)據(jù)采集時由于某種原因應(yīng)該得到而沒有得到的數(shù)據(jù)。它指的是現(xiàn)有數(shù)據(jù)集中某個或某些屬性的值是不完全的。統(tǒng)計調(diào)查中能否按設(shè)計要求獲得被調(diào)查單位的詳全資料是衡量數(shù)據(jù)質(zhì)量的一個重要標(biāo)準(zhǔn),但實際調(diào)查中經(jīng)常遇到數(shù)據(jù)缺失的情況。無回答有2種表現(xiàn)形式:單位無回答(unitnon-response)和項目無回答(itemnon-response)。“單位無回答”——被調(diào)查者不愿意或者不能夠回答整張的問卷;“項目無回答”——被調(diào)查者拒絕回答個別的調(diào)查項目。6數(shù)據(jù)缺失簡介缺失原因（Reason）在統(tǒng)計調(diào)查過程中，數(shù)據(jù)缺失是不可避免的，造成這種現(xiàn)象的原因是多方面的，主要有以下幾種：1.在存儲數(shù)據(jù)的過程中，由于機器的損壞造成數(shù)據(jù)存儲失?。?.調(diào)查員在采集數(shù)據(jù)過程中，由于主觀因素人為地認(rèn)為數(shù)據(jù)不重要或無用，而私自丟棄數(shù)據(jù)；4.受訪者拒絕透露被調(diào)查信息，或回答錯誤信息；3.調(diào)查員信息錄入失誤；5.受訪者選取失誤。例如調(diào)查工資情況，選取的受訪者是嬰幼兒7數(shù)據(jù)缺失簡介產(chǎn)生機制（Mechanism）Little和Rubin針對缺失數(shù)據(jù)，探討缺失數(shù)據(jù)與目標(biāo)變量是否有關(guān)，定義了3種不同的缺失機制。MCAR完全隨機缺失(MissingCompletelyAtRandom)：數(shù)據(jù)的缺失與不完全變量以及完全變量都是無關(guān)的。MAR隨機缺失(MissingAtRandom)：數(shù)據(jù)的缺失僅僅依賴于完全變量。MNAR非隨機缺失(NotMissingAtRandom)：不完全變量中數(shù)據(jù)的缺失，依賴于不完全變量本身。這種缺失是不可忽略的。8數(shù)據(jù)缺失簡介產(chǎn)生機制（Mechanism）9數(shù)據(jù)缺失簡介缺失模式（Pattern）數(shù)據(jù)缺失模式主要研究哪些變量缺失，更確切的說，關(guān)注的是缺失數(shù)據(jù)矩陣R的分布。當(dāng)一維目標(biāo)變量出現(xiàn)缺失數(shù)據(jù)時，我們在數(shù)據(jù)處理過程中首先要考慮缺失數(shù)據(jù)產(chǎn)生機制，而對于多維目標(biāo)變量而言，除了考慮缺失數(shù)據(jù)產(chǎn)生機制外，還要判斷數(shù)據(jù)的缺失模式。10數(shù)據(jù)缺失簡介缺失模式（Pattern）假設(shè)完全數(shù)據(jù)資料陣y是由m個觀測、n個變量組成的m×n矩陣，通過分析這個矩陣的特點，可以推斷出數(shù)據(jù)缺失模式。11數(shù)據(jù)缺失的處理方法基本方法基于完整觀測單位的方法刪除法加權(quán)調(diào)整法列表刪除個案刪除（配對刪除）基于填補的方法單一填補法多重填補法隨機回歸填補法（PMM法）趨勢得分法人工填補法均值填補法回歸填補法不處理貝葉斯網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)12均值填補法數(shù)據(jù)的屬性定性數(shù)據(jù)和定量數(shù)據(jù)。如果缺失值是定量的，就以該字段存在值的平均值來插補缺失的值；如果缺失值是定性的，就根據(jù)統(tǒng)計學(xué)中的眾數(shù)原理，用該屬性的眾數(shù)(即出現(xiàn)頻率最高的值)來補齊缺失的值。13均值填補法-均值填充優(yōu)點1、標(biāo)準(zhǔn)的完全數(shù)據(jù)分析方法2、對公眾應(yīng)用數(shù)據(jù)庫，程序