《數(shù)據(jù)挖掘與機器學習》 課件2.2.3 數(shù)據(jù)清洗

處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)農(nóng)產(chǎn)品信息可視化分析——NumPy、pandas與Matplotlib庫任務描述水稻是全球最重要的糧食作物之一，水稻審定數(shù)據(jù)可以為農(nóng)業(yè)科技創(chuàng)新提供重要的參考和依據(jù)，可以幫助選擇高產(chǎn)、優(yōu)質(zhì)、抗逆性強的水稻品種，促進綠色、可持續(xù)的農(nóng)業(yè)生產(chǎn)方式，有助于推動農(nóng)業(yè)的可持續(xù)發(fā)展。處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)本任務先了解水稻信息數(shù)據(jù)的情況，根據(jù)數(shù)據(jù)檢測的內(nèi)容可知數(shù)據(jù)存在缺失值、重復值、異常值的情況，并對數(shù)據(jù)中的缺失值、重復值、異常值進行處理，增強后續(xù)數(shù)據(jù)分析的效果。對數(shù)據(jù)進行仔細的處理和清洗，確保數(shù)據(jù)的質(zhì)量可靠，為后續(xù)的數(shù)據(jù)分析和決策提供更可信的基礎(chǔ)，也展現(xiàn)了勞動精神的價值和應用。任務要求讀取農(nóng)產(chǎn)品基本信息數(shù)據(jù)。檢測數(shù)據(jù)缺失值的情況，并進行缺失值處理。檢測數(shù)據(jù)異常值的情況，并進行異常值處理。檢測數(shù)據(jù)重復值的情況，并進行重復值處理。處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)數(shù)據(jù)讀取與寫入pandas數(shù)據(jù)結(jié)構(gòu)pandas數(shù)據(jù)處理pandas數(shù)據(jù)處理pandas是一款用于數(shù)據(jù)處理和分析的Python，提供了強大的數(shù)據(jù)結(jié)構(gòu)和函數(shù)，用于清洗、轉(zhuǎn)換、分析和可視化數(shù)據(jù)。核心數(shù)據(jù)結(jié)構(gòu)是DataFrame，類似于Excel表格。pandas提供了豐富的數(shù)據(jù)清洗、數(shù)據(jù)合并和分組聚合等功能。數(shù)據(jù)清洗包含了重復值處理、缺失值處理、異常值處理等操作。處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)數(shù)據(jù)清洗重復值處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)處理重復數(shù)據(jù)是數(shù)據(jù)分析經(jīng)常面對的問題之一。對重復數(shù)據(jù)進行處理前，需要分析重復數(shù)據(jù)產(chǎn)生的原因以及去除這部分數(shù)據(jù)后可能造成的不良影響。pandas提供了drop_duplicates()方法可用于去重，使用該方法進行去重不會改變數(shù)據(jù)原始排列，并且兼具代碼簡潔和運行穩(wěn)定的特點。數(shù)據(jù)清洗處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)drop_duplicates()方法的基本使用格式如下。pandas.DataFrame.drop_duplicates(subset=None,keep='first',inplace=False,ignore_index=False)數(shù)據(jù)清洗處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)ignore_index接收bool。表示是否忽略索引。默認為False參數(shù)名稱參數(shù)說明subset接收str或sequence。表示進行去重的列。默認為Nonekeep接收特定str。表示重復時保留第幾個數(shù)據(jù)，“first”表示保留第一個；“l(fā)ast”表示保留最后一個；False表示只要有重復都不保留。默認為firstinplace接收bool。表示是否在原表上進行操作。默認為Falsedrop_dupilicates()方法的常用參數(shù)及其說明如下。數(shù)據(jù)清洗缺失值處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)缺失值處理方法概念識別方法

在數(shù)據(jù)中的某個或某些特征的值是不完整的，這些值稱為缺失值

識別缺失值的isnull()方法以及識別非缺失值的notnull()方法，均返回布爾值

刪除法與替換法數(shù)據(jù)清洗處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)刪除法是指將含有缺失值的特征或記錄刪除。刪除法分為刪除觀測記錄和刪除特征兩種，它屬于通過減少樣本量來換取信息完整度的一種方法，是一種較為簡單的缺失值處理方法。pandas中提供了dropna()方法可簡便的刪除缺失值，通過設(shè)置參數(shù)，既可以刪除觀測記錄，又可以刪除特征?；臼褂酶袷饺缦?。pandas.DataFrame.dropna(axis=0,how='any',thresh=None,subset=None,inplace=False)數(shù)據(jù)清洗處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)inplace接收bool。表示是否在原表上進行操作。默認為False參數(shù)名稱參數(shù)說明axis接收0或1。表示軸向，0為刪除觀測記錄（行），1為刪除特征（列）。默認為0subset接收array。表示進行去重的列/行。默認為Nonehow接收特定str。表示刪除的形式，當取值為any時，表示只要有缺失值存在就執(zhí)行刪除操作；當取值為all時，表示當且僅當全部為缺失值時才執(zhí)行刪除操作。默認為anydropna()方法的常用參數(shù)及其說明如下。數(shù)據(jù)清洗處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)替換法是指用一個特定的值替換缺失值。特征可分為數(shù)值型和類別型，當缺失值所在特征為數(shù)值型時，通常利用其均值、中位數(shù)或眾數(shù)等描述其集中趨勢的統(tǒng)計量來代替缺失值；pandas庫中提供了fillna()方法可用于缺失值替換，其基本使用格式如下。pandas.DataFrame.fillna(value=None,method=None,axis=None,inplace=False,limit=None,downcast=None)數(shù)據(jù)清洗處理農(nóng)產(chǎn)品基本信息情況inplace接收bool。表示是否在原表上進行操作。默認為False參數(shù)名稱參數(shù)說明value接收scalar、dict、Series或DataFrame。表示用于替換缺失值的值。默認為Noneaxis接收0或1。表示軸向。默認為Nonemethod接收特定str。表示填補缺失值的方式。當取值為“backfilll”或“bfill”時表示使用下一個非缺失值來填補缺失值；當取值為“pad”或“ffill”時表示使用上一個非缺失值來填補缺失值。默認為Nonefillna()方法的常用參數(shù)及其說明downcast接收dict。表示轉(zhuǎn)換數(shù)據(jù)類型。默認為Nonelimit接收int。表示填補缺失值個數(shù)上限，超過則不進行填補。默認為None數(shù)據(jù)清洗3σ原則處理異常值處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)3σ原則又稱為拉依達準則，其原則就是先假設(shè)一組檢測數(shù)據(jù)只含有隨機誤差，對原始數(shù)據(jù)進行計算處理得到標準差，然后按一定的概率確定一個區(qū)間，認為誤差超過這個區(qū)間就屬于異常。這種判別處理方法僅適用于對正態(tài)或近似正態(tài)分布的樣本數(shù)據(jù)進行處理。數(shù)據(jù)清洗處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)正態(tài)分布數(shù)據(jù)的3σ原則如表所示，其中σ代表標準差，μ代表均值。數(shù)值分布在數(shù)據(jù)中的占比(μ

σ,

σ)0.6827(μ

2σ,

2σ)0.9545(μ

3σ,

3σ)0.9973數(shù)據(jù)清洗箱線圖法處理異常值處理農(nóng)產(chǎn)品基本信息數(shù)據(jù)箱線圖提供了識別異常值的一個標準，即異常值通常被定義為小于QL-1.5IQR或大于QU+1.5IQR的值。箱線圖依據(jù)實際數(shù)據(jù)繪制，真實、直觀地表現(xiàn)出了數(shù)據(jù)分布的本來面貌，且沒有對數(shù)據(jù)做任何限制性要求。箱線圖識別異常值的結(jié)果比較客觀，因此在識別異常值方面具有一定的優(yōu)越性。QL稱為下四分位數(shù)，表示全部觀察值中有四分之一的數(shù)據(jù)取值比它小。QU稱為上四分位數(shù)，表示全部觀察值中有四分之一的數(shù)據(jù)取值比它大。IQR稱為四分位數(shù)間距，是上四分位數(shù)QU與下四分位數(shù)QL之差，其間包含了全部觀察值的一半。數(shù)據(jù)清洗處理農(nóng)產(chǎn)品基本信息數(shù)