5.4 格式不一致數(shù)據(jù)的處理

5.4格式不一致數(shù)據(jù)的處理學(xué)習(xí)內(nèi)容1.字符格式不一致數(shù)據(jù)的處理2.日期格式不一致數(shù)據(jù)的處理5.4格式不一致數(shù)據(jù)的處理

在實際的工作中，因為人工操作或者系統(tǒng)設(shè)計的缺陷，導(dǎo)致收集的數(shù)據(jù)集可能存在數(shù)據(jù)格式不一致的情況，例如姓名的大小寫字母和空格的不一致，日期格式的不一致等。5.4.1字符格式不一致的處理示例：數(shù)據(jù)集（data/names.txt）01importpandasaspd02df=pd.read_csv("data/names.txt",sep=',')03df問題：拼音大小寫混亂！5.4格式不一致數(shù)據(jù)的處理

5.4.1字符格式不一致的處理示例：數(shù)據(jù)集（data/names.txt）04df['拼音']=df['拼音'].map(str.strip)#去除'拼音'列字符串前后的空格05df['拼音']=df['拼音'].map(str.title)#將'拼音'列字符串首字母變?yōu)榇髮懽帜?6df經(jīng)過第4-5行處理，詩人的拼音字符格式統(tǒng)一了，全部設(shè)置為首字母大寫。5.4格式不一致數(shù)據(jù)的處理

5.4.2日期格式不一致的處理日期是數(shù)據(jù)集中的常用字典，而且日期常常有很多種表達格式。比如，2021年7月1日是中國共產(chǎn)黨建黨100周年，對于這個日期可以有五種不同的表達格式：5.4格式不一致數(shù)據(jù)的處理

5.4.2日期格式不一致的處理pandas提供了to_datetime()方法來進行批量的日期格式轉(zhuǎn)換01importpandasaspd02df=pd.DataFrame({'原日期':['20210701','2021/07/01','2021.07.01','01-July-21','07/01/2021']})03df['轉(zhuǎn)換后的日期']=pd.to_datetime(df['原日期'])04df第2行代碼產(chǎn)生DataFrame對象df，初始值包括了5種不同的日期格式。第3行代碼利用pandas的to_datetime()方法統(tǒng)一日期格式，并賦值給新的列'轉(zhuǎn)換后的日期'。第4行代碼輸出變換后的df的結(jié)果。5.4格式不一致數(shù)據(jù)的處理

5.4.2日期格式不一致的處理有時候為了統(tǒng)計的需要，還需要將日期按年，月，日進行分割。Series對象提供了dt對象來獲取日期的上述屬性：表5.4.1

dt對象的屬性說明序號參數(shù)說明1year年2month月3day日4quarter季度5is_leap_year是否是閏年6day_name()星期5.4格式不一致數(shù)據(jù)的處理

5.4.2日期格式不一致的處理05df['年'],df['月'],df['日']=df['轉(zhuǎn)換后的日期'].dt.year,df['轉(zhuǎn)換后的日期'].dt.month,df['轉(zhuǎn)換后的日期'].dt.day06df['季度']=df['轉(zhuǎn)換后的日期'].dt.quarter07df['星期']=df['轉(zhuǎn)換后的日期'].dt.day_name()08df['閏年']=df['轉(zhuǎn)換后的日期'].dt.is_leap_year09df5.4格式不一致數(shù)據(jù)的處理

5.4.2日期格式不一致的處理

以電影數(shù)據(jù)集（data/movies3.csv）為例，對日期格式不一致的數(shù)據(jù)進行處理。01importpandasaspd02df=pd.read_csv('data/movies3.csv')03df