預(yù)處理部分地區(qū)信息案例功能實(shí)現(xiàn)-缺失值異常值的檢查和處理

功能實(shí)現(xiàn)—缺失值、

異常值的檢查和處理教師：亢華愛北京信息職業(yè)技術(shù)學(xué)院商務(wù)數(shù)據(jù)分析與應(yīng)用專業(yè)教學(xué)資源庫目錄Contents異常值的檢查和處理缺失值的檢查和處理1PART缺失值的檢查和處理缺失值的檢查和處理缺失值的處理可以使用isnull()函數(shù)進(jìn)行檢測，當(dāng)返回結(jié)果中有True值時，則表示數(shù)據(jù)中存在缺失數(shù)據(jù)調(diào)用isnull()函數(shù)檢測file_data_tjinfo中是否有缺失值，具體代碼如下缺失值的檢查和處理對file_data_tjinfo進(jìn)行缺失數(shù)據(jù)檢測時發(fā)現(xiàn)其索引為9的一行中有True值，這表明該行中存在缺失數(shù)據(jù)對于缺失數(shù)據(jù)的處理方法主要有刪除數(shù)據(jù)、數(shù)據(jù)補(bǔ)齊、暫不處理三種，如果采用刪除缺失數(shù)據(jù)或暫不處理的方式，則會影響數(shù)據(jù)的完整性，因此，這里采用數(shù)據(jù)補(bǔ)齊的方式來處理缺失的數(shù)據(jù)。缺失值的檢查和處理數(shù)據(jù)補(bǔ)齊的方法有很多種，最為準(zhǔn)確的方法是進(jìn)行人工填寫，但同時也是最為費(fèi)時的操作,這里我們可以使用平均值作為填充數(shù)據(jù)。由于這里只有“常住人口”這列數(shù)據(jù)有缺失值，所以只需要對此列數(shù)據(jù)進(jìn)行填充即可。具體實(shí)現(xiàn)代碼如下缺失值的檢查和處理缺失值的檢查和處理由于該列的數(shù)據(jù)類型為float且保留兩位小數(shù)，所以這里使用格式化字符串使平均值保留了兩位小數(shù)，并強(qiáng)轉(zhuǎn)為float類型，然后通過flllna()方法將平均值填充到缺失值所在的位置。從輸出的結(jié)果可以看出，之前的NaN值已經(jīng)被計(jì)算的平均值替代了.上述代碼計(jì)算了“常住人口”一列的平均值2PART異常值的檢查和處理異常值的檢查和處理所有的數(shù)據(jù)確保補(bǔ)充完整之后，便可以對它們進(jìn)行異常值的檢測箱形圖基于3σ原則檢測異常指先假設(shè)一組檢測數(shù)據(jù)只含有隨機(jī)誤差，對其進(jìn)行計(jì)算處理得到標(biāo)準(zhǔn)偏差，按一定概率確定一個區(qū)間，認(rèn)為凡超過這個區(qū)間的誤差，就不屬于隨機(jī)誤差而是粗大誤差，含有該誤差的數(shù)據(jù)應(yīng)予以剔除一種用作顯示一組數(shù)據(jù)分散情況資料的統(tǒng)計(jì)圖，它主要包含6個數(shù)據(jù)節(jié)點(diǎn)，將一組數(shù)據(jù)從大到小排列，分別計(jì)算岀它的上邊緣、上四分位數(shù)、中位數(shù)、下四分位數(shù)、下邊緣及異常值由于箱形圖表現(xiàn)異常值的方式更加直觀，所以這里使用箱形圖的方式對這兩組數(shù)據(jù)進(jìn)行檢測，具體代碼如下異常值的檢查和處理運(yùn)行結(jié)果如圖A所示圖A由于箱形圖表現(xiàn)異常值的方式更加直觀，所以這里使用箱形圖的方式對這兩組數(shù)據(jù)進(jìn)行檢測，具體代碼如下異常值的檢查和處理運(yùn)行結(jié)果如圖B所示圖B異常值的檢查和處理兩次輸出的圖表中可以看出，這兩組數(shù)據(jù)中都存在異常值。以天津地區(qū)信息為例，在GDP這列數(shù)據(jù)中有一個明顯高于其他值（大于6000）的數(shù)據(jù)。與原始的file_data_tjinfo對象進(jìn)行對照，發(fā)現(xiàn)這個值是濱海新區(qū)的GDP值，由于濱海新區(qū)地域性的特點(diǎn)，它已經(jīng)成為北方對外開放的門戶，以及高水平的現(xiàn)代制造業(yè)和轉(zhuǎn)化基地，有著“中國經(jīng)濟(jì)的第三增長極”的美譽(yù)，所以GDP產(chǎn)值比其他區(qū)域要高出很多，所以這個值并非異常值。當(dāng)兩組數(shù)據(jù)經(jīng)過檢測和處理之后，便可以對它們進(jìn)行合并操作，合并成一組完整的地區(qū)數(shù)據(jù)。由于file_data_bjinfo和file_data_tjinfo的列索引名完全相同，所以這里直接將file_data_tjinfo的數(shù)據(jù)拼接到file_data_bjinfo中即可。調(diào)用concat()函數(shù)將file_data_bjinfo和file_data_tjinfo進(jìn)行縱向堆疊，并且重置索引，具體代碼如下異常值的檢查和處理從輸出的結(jié)果可以看出，兩組數(shù)據(jù)進(jìn)行了合并，并且行索引也進(jìn)行了重置。異常值的檢查和處理數(shù)據(jù)處理過程中，需要根據(jù)數(shù)據(jù)的特征以及實(shí)際需求進(jìn)行相應(yīng)的操作，對于沒必要的操作則應(yīng)該省去。至此，數(shù)據(jù)已經(jīng)經(jīng)過了預(yù)處理，可以將其進(jìn)行存儲以便后期的數(shù)據(jù)挖掘與分析。參考文獻(xiàn)[