任務(wù)8.2.1-重復(fù)值處理

ETL數(shù)據(jù)預(yù)處理技術(shù)主講人：張宏偉任務(wù)8-2-1重復(fù)值處理01.重復(fù)值處理概述02.目錄重復(fù)值處理方式CONTENTS03.樣例解析

從數(shù)據(jù)采集所獲得的原始數(shù)據(jù)集中，往往會(huì)存在著許多重復(fù)數(shù)據(jù)。所謂重復(fù)數(shù)據(jù)是指在數(shù)據(jù)結(jié)構(gòu)中所有列的內(nèi)容都相同，即行重復(fù)。而處理重復(fù)數(shù)據(jù)是數(shù)據(jù)分析中經(jīng)常要面對的問題之一。pandas提供了duplicated()和drop_duplicates()函數(shù)可用于標(biāo)記及刪除重復(fù)數(shù)據(jù)。（1）duplicated()函數(shù)duplicated()函數(shù)用于標(biāo)記Series中的值、DataFrame中的記錄行是否是重復(fù)，重復(fù)為True，不重復(fù)為False。函數(shù)使用方式如下：

pandas.DataFrame.duplicated(subset=None,keep=’first’)其中參數(shù)解釋如下：subset：用于識(shí)別重復(fù)的列標(biāo)簽或列標(biāo)簽序列，默認(rèn)所有列標(biāo)簽keep=‘frist’：除了第一次出現(xiàn)外，其余相同的被標(biāo)記為重復(fù)keep=’last’：除了最后一次出現(xiàn)外，其余相同的被標(biāo)記為重復(fù)keep=False：所有相同的都被標(biāo)記為重復(fù)（2）drop_duplicates()函數(shù)drop_duplicates()函數(shù)用于刪除Series、DataFrame中重復(fù)記錄，并返回刪除重復(fù)后的結(jié)果。該函數(shù)語法格式如下：pandas.DataFrame.drop_duplicates(subset=None,keep=’first’,inplace=False)參數(shù)說明如下：subset：表示要進(jìn)行去重的列名，默認(rèn)為None。keep：有三個(gè)可選參數(shù)，分別是first、last、False，默認(rèn)為first，表示只保留第一次出現(xiàn)的重復(fù)項(xiàng)，刪除其余重復(fù)項(xiàng)，last表示只保留最后一次出現(xiàn)的重復(fù)項(xiàng)，F(xiàn)alse則表示刪除所有重復(fù)項(xiàng)。inplace：布爾值參數(shù)，默認(rèn)為False表示刪除重復(fù)項(xiàng)后返回一個(gè)副本，若為Ture則表示直接在原數(shù)據(jù)上刪除重復(fù)項(xiàng)。現(xiàn)有某商場的產(chǎn)品銷售數(shù)據(jù)如右圖所示：（1）標(biāo)記重復(fù)數(shù)據(jù)（2）刪除重復(fù)數(shù)據(jù)首先讀取數(shù)據(jù)：輸出結(jié)果如下：（1）標(biāo)記重復(fù)數(shù)據(jù)，代碼如下：：輸出結(jié)果如下：當(dāng)參數(shù)值不一樣的時(shí)候，得到的結(jié)果是不同的，比如keep=False得到的結(jié)果就是標(biāo)記所有的重復(fù)數(shù)據(jù)，大家可以自行嘗試（2）刪除重復(fù)數(shù)據(jù)，代碼如下：輸出結(jié)果如下：

跟標(biāo)記重復(fù)值類似，當(dāng)參數(shù)值不一樣的時(shí)候，得到的結(jié)果是不同的，比如keep=False得到的結(jié)果就是刪除所有的重復(fù)數(shù)據(jù)，大