Python數(shù)據(jù)分析與應(yīng)用案例教程 第4章

第4章Pandas數(shù)據(jù)分析簽到掃碼下載文旌課堂APP掃碼簽到（2022.3.2515:00至2022.3.2515:10）簽到方式教師通過“文旌課堂APP”生成簽到二維碼，并設(shè)置簽到時間，學(xué)生通過“文旌課堂APP”掃描“簽到二維碼”進(jìn)行簽到。。Pandas數(shù)據(jù)分析本章導(dǎo)讀對數(shù)據(jù)進(jìn)行預(yù)處理后，下一步就是要對數(shù)據(jù)進(jìn)行分析了。針對不同的分析需求，如數(shù)據(jù)的排序或排名、集中趨勢、離散程度、變量之間的關(guān)系、概率分布和相關(guān)性等，使用的分析方法也有所不同。Pandas提供了多種方法用于分析數(shù)據(jù)，包括數(shù)據(jù)的排序與排名分析、統(tǒng)計分析、交叉表與透視表分析、正態(tài)性分析和相關(guān)性分析等。

第4章Pandas數(shù)據(jù)分析學(xué)習(xí)目標(biāo)

第4章 掌握數(shù)據(jù)排序和排名分析的方法。 掌握數(shù)值型和字符型數(shù)據(jù)統(tǒng)計分析的方法。 掌握數(shù)據(jù)交叉表和透視表分析的方法。 掌握數(shù)據(jù)正態(tài)性分析的方法。 掌握數(shù)據(jù)相關(guān)性分析的方法。 能對數(shù)據(jù)進(jìn)行排名與排序、統(tǒng)計、交叉表與透視表、正態(tài)性和相關(guān)性等分析。Pandas數(shù)據(jù)分析素質(zhì)目標(biāo)

第4章 提高分析問題、針對不同問題選擇合適方法的能力。 強化數(shù)據(jù)安全意識，提高信息技術(shù)應(yīng)用能力。Content第4章數(shù)據(jù)的統(tǒng)計分析數(shù)據(jù)的排序與排名分析數(shù)據(jù)的表格分析數(shù)據(jù)的正態(tài)性分析數(shù)據(jù)的相關(guān)性分析4.1數(shù)據(jù)的排序與排名分析第4章Pandas數(shù)據(jù)分析在實際工作中，經(jīng)常需要對數(shù)據(jù)進(jìn)行排序或排名，以便發(fā)現(xiàn)數(shù)據(jù)的特征和趨勢。4.1數(shù)據(jù)的排序與排名分析數(shù)據(jù)的排序分析是指對數(shù)據(jù)按指定的標(biāo)準(zhǔn)進(jìn)行升序或降序排序分析。DataFrame對象中數(shù)據(jù)的排序可分為按索引或標(biāo)簽排序及按值排序。DataFrame.sort_index(axis=0,ascending=True,inplace=False,ignore_index=False)4.1.1數(shù)據(jù)排序分析1．按索引或標(biāo)簽排序Pandas提供了sort_index()函數(shù)用于按索引或標(biāo)簽排序，其一般格式如下。其中，axis表示按行或列的索引或標(biāo)簽排序，取0或“index”表示按行索引或標(biāo)簽，取1或“columns”表示按列索引或標(biāo)簽，默認(rèn)為0；ascending表示排序方式，取True表示升序排序，取False表示降序排序，默認(rèn)為True；inplace和ignore_index與之前介紹過的一致，表示是否替換原數(shù)據(jù)和是否忽略原索引或標(biāo)簽。4.1數(shù)據(jù)的排序與排名分析【例4-1】按索引或標(biāo)簽排序。【參考代碼】importnumpyasnpimportpandasaspd#隨機生成3×3的數(shù)組arr=np.random.randint(1,20,size=(3,3))4.1數(shù)據(jù)的排序與排名分析df=pd.DataFrame(arr,columns=['c','b','a'])print('原始數(shù)據(jù)：\n',df)print('按行索引降序排序：\n',df.sort_index(ascending=False))print('按列標(biāo)簽升序排序：\n',df.sort_index(axis=1))【運行結(jié)果】程序運行結(jié)果如右圖所示。其中，by表示索引或標(biāo)簽，如果DataFrame對象沒有設(shè)置標(biāo)簽，則為索引，如果設(shè)置了標(biāo)簽，則須為標(biāo)簽；axis表示按行或列的值排序，取0或“index”表示按列的值，取1或“columns”表示按行的值，默認(rèn)為0。4.1數(shù)據(jù)的排序與排名分析DataFrame.sort_values(by,axis=0,ascending=True,inplace=False,ignore_index=False)2．按值排序Pandas提供了sort_values()函數(shù)用于按行或列的值排序，其一般格式如下。4.1數(shù)據(jù)的排序與排名分析數(shù)據(jù)的排名分析是指對一列數(shù)據(jù)進(jìn)行升序或降序排名分析。Pandas提供了rank()函數(shù)用于數(shù)據(jù)的排名，其一般格式如下。DataFrame.rank(method='average',ascending=True)4.1.2數(shù)據(jù)排名分析其中，method表示重復(fù)數(shù)據(jù)排名的處理方法，如果為“average”表示取相同數(shù)據(jù)排名中的平均排名；如果為“min”表示取相同數(shù)據(jù)排名中的最小排名；如果為“max”表示取相同數(shù)據(jù)排名中的最大排名；如果為“first”表示按順序排名；默認(rèn)為“average”。該函數(shù)返回一個Series對象，數(shù)據(jù)類型為浮點型。4.1數(shù)據(jù)的排序與排名分析【例4-3】數(shù)據(jù)的排名?！緟⒖即a】importpandasaspdpd.set_option('display.unicode.east_asian_width',True)df=pd.DataFrame([2,5,5,5,10,3,4,12,7,10],columns=['原始數(shù)據(jù)'])df['順序排名']=df['原始數(shù)據(jù)'].rank(method='first')df['最大值排名']=df['原始數(shù)據(jù)'].rank(method='max')df['最小值排名']=df['原始數(shù)據(jù)'].rank(method='min')df['平均值排名']=df['原始數(shù)據(jù)'].rank(method='average')print(df)4.1數(shù)據(jù)的排序與排名分析【運行結(jié)果】程序運行結(jié)果如下圖所示。4.1數(shù)據(jù)的排序與排名分析【運行結(jié)果】順序排名是原始數(shù)據(jù)默認(rèn)的升序排名。例如，2最小則排名為1，12最大則排名為10，3個5按順序排名，第1個5排名為4，第2個5排名為5，第3個5排名為6。最大值排名是在相同數(shù)據(jù)的排名中取最大的排名。例如，3個5按順序排名分別為4、5、6，則其最大值排名都取6。同理，3個5的最小值排名都取4，它們的平均值排名則取(4+5+6)/3=5。Pandas提供了reset_index()函數(shù)用于重新設(shè)置連續(xù)的行索引，drop參數(shù)為True時表示忽略原行索引。4.2數(shù)據(jù)的統(tǒng)計分析第4章Pandas數(shù)據(jù)分析數(shù)據(jù)的統(tǒng)計分析可以通過一些統(tǒng)計指標(biāo)方便地描述數(shù)據(jù)的集中趨勢、離散程度、頻數(shù)分布等。4.2數(shù)據(jù)的統(tǒng)計分析數(shù)值型數(shù)據(jù)的描述性統(tǒng)計主要包括最大值、最小值、均值、中位數(shù)、四分位數(shù)、極差、方差、標(biāo)準(zhǔn)差等統(tǒng)計指標(biāo)。Pandas提供了多個函數(shù)用于計算數(shù)值型數(shù)據(jù)的統(tǒng)計指標(biāo)，常用的如表4-1所示。4.1.1數(shù)據(jù)排序分析4.2數(shù)據(jù)的統(tǒng)計分析（1）四分位數(shù)是指將一組從小到大的順序數(shù)據(jù)等分為4部分（每部分包含25%的數(shù)據(jù)）的3個分割點，處在25%、50%、75%位置的四分位數(shù)分別為下四分位數(shù)、中位數(shù)、上四分位數(shù)。在quantile()函數(shù)中，參數(shù)q取0.5表示計算中位數(shù)，取0.25表示計算下四分位數(shù)，取0.75表示計算上四分位數(shù)，默認(rèn)為0.5。（2）方差是指每個數(shù)據(jù)與該組數(shù)據(jù)的平均值之差的平方值的平均值。（3）眾數(shù)是指一組數(shù)據(jù)中出現(xiàn)次數(shù)最多的數(shù)據(jù)，代表了數(shù)據(jù)的一般水平。（4）標(biāo)準(zhǔn)差是指方差的算術(shù)平方根。（5）累加和、累加積是指對數(shù)據(jù)進(jìn)行累計相加、相乘。4.2數(shù)據(jù)的統(tǒng)計分析4.2數(shù)據(jù)的統(tǒng)計分析統(tǒng)計函數(shù)默認(rèn)按列進(jìn)行計算，如果需要按行進(jìn)行計算，則須將axis參數(shù)設(shè)置為1。此外，只對數(shù)值型數(shù)據(jù)進(jìn)行計算時，應(yīng)設(shè)置numeric_only參數(shù)為True。Pandas還提供了describe()函數(shù)用于按列一次性計算數(shù)值型數(shù)據(jù)的多個統(tǒng)計指標(biāo)，其屬性如表4-2所示。4.2數(shù)據(jù)的統(tǒng)計分析字符型數(shù)據(jù)具有分類作用，如班級、商品名稱、城市名等，它的統(tǒng)計主要是頻數(shù)統(tǒng)計。Pandas提供了value_counts()函數(shù)用于統(tǒng)計字符型數(shù)據(jù)的頻數(shù)，其一般格式如下。4.2.2字符型數(shù)據(jù)統(tǒng)計分析DataFrame.value_counts(subset=None,normalize=False,ascending=False)其中，subset表示列標(biāo)簽或列表，如果為列表，表示統(tǒng)計多列中每行數(shù)據(jù)的頻數(shù)，默認(rèn)為所有列；normalize表示是否按頻率顯示（頻率=頻數(shù)/總頻數(shù)），取True表示按頻率顯示，取False表示按頻數(shù)顯示，默認(rèn)為False；ascending表示頻率或頻數(shù)的排序方式，默認(rèn)為False，即降序排序。4.2數(shù)據(jù)的統(tǒng)計分析describe()函數(shù)也可以用于按列計算字符型數(shù)據(jù)的多個統(tǒng)計指標(biāo)，其屬性如表4-3所示。value_counts()函數(shù)也可以用于統(tǒng)計數(shù)值型數(shù)據(jù)的頻數(shù)。4.3數(shù)據(jù)的表格分析第4章Pandas數(shù)據(jù)分析數(shù)據(jù)的交叉表和透視表是數(shù)據(jù)分析中常用的方法。通過交叉表和透視表可以分析數(shù)據(jù)的不同變量之間存在的關(guān)系。4.3數(shù)據(jù)的表格分析交叉表是一種常用的分類匯總表格，可以統(tǒng)計變量交叉出現(xiàn)的頻數(shù)，幫助分析變量之間的相互關(guān)系。最簡單也最常用的是2×2交叉表，即兩個變量的交叉表，如性別與商品類型的關(guān)系、年齡與商品類型的關(guān)系等。Pandas提供了crosstab()函數(shù)用于制作數(shù)據(jù)交叉表，其一般格式如下。4.3.1數(shù)據(jù)交叉表分析其中，index表示交叉表行字段的列；columns表示交叉表列字段的列；margins表示是否匯總交叉表的行和列，如果為True表示匯總，如果為False表示不匯總，默認(rèn)為False；margins_name表示匯總行和列的標(biāo)簽，默認(rèn)為“All”；normalize表示是否對統(tǒng)計的頻數(shù)標(biāo)準(zhǔn)化，即統(tǒng)計頻率，取True或“all”表示以總樣本數(shù)統(tǒng)計頻率，取“index”表示以行的樣本總數(shù)統(tǒng)計頻率，且只顯示列的匯總，取“columns”表示以列的樣本總數(shù)統(tǒng)計頻率，且只顯示行的匯總，取False表示不標(biāo)準(zhǔn)化，默認(rèn)為False。4.3數(shù)據(jù)的表格分析pandas.crosstab(index,columns,margins=False,margins_name='All',normalize=False)4.3數(shù)據(jù)的表格分析透視表是一種交互式的表，它可以統(tǒng)計行字段和列字段與第3個字段的關(guān)系，如不同性別的人在不同商品上的消費程度。Pandas提供了pivot_table()函數(shù)用于制作數(shù)據(jù)透視表，其一般格式如下。4.3.2數(shù)據(jù)透視表分析其中，data表示需要分析的數(shù)據(jù)；values、index和columns表示data的列標(biāo)簽，分別作為透視表的統(tǒng)計字段、行字段和列字段；aggfunc表示統(tǒng)計指標(biāo)，可以取“sum”（求和）、“mean”（求均值）、“max”（求最大值）等，默認(rèn)為“mean”。pandas.pivot_table(data,values=None,index=None,columns=None,aggfunc='mean',margins=False,margins_name='All')4.3數(shù)據(jù)的表格分析【例4-8】基于例4-7“產(chǎn)品訂單信息表.xlsx”文件中的產(chǎn)品訂單信息，使用透視表分析其中性別、產(chǎn)品類型和總消費及平均消費的關(guān)系?！緟⒖即a】importpandasaspdpd.set_option('display.unicode.east_asian_width',True)df=pd.read_excel('產(chǎn)品訂單信息表.xlsx')【問題分析】將性別與商品類型分別作為透視表的行字段和列字段，消費金額作為統(tǒng)計字段，并分別使用“sum”和“mean”作為統(tǒng)計指標(biāo)。4.3數(shù)據(jù)的表格分析df1=pd.pivot_table(df,values='消費金額',index='性別',columns='產(chǎn)品類型',aggfunc='sum',margins=True,margins_name='總消費')print('統(tǒng)計和匯總性別、產(chǎn)品類型及總消費的數(shù)據(jù)df1：\n',df1)df2=pd.pivot_table(df,values='消費金額',index='性別',columns='產(chǎn)品類型')print('統(tǒng)計和匯總性別、產(chǎn)品類型及平均消費的數(shù)據(jù)df2：\n',df2)【運行結(jié)果】程序運行結(jié)果如下圖所示。4.3數(shù)據(jù)的表格分析【結(jié)果分析】從右圖可以看出，購買手機的女性客戶的消費金額和平均消費都大于男性客戶，而購買電腦的男性客戶的消費金額和平均消費都大于女性客戶。這說明女性客戶對手機配置的要求較高，而男性客戶對電腦配置的要求較高。4.4數(shù)據(jù)的正態(tài)性分析第4章Pandas數(shù)據(jù)分析正態(tài)分布是一種非常重要的概率分析，也是統(tǒng)計學(xué)中常用的分布方法，它的應(yīng)用范圍非常廣泛，很多隨機變量的概率分布都可以近似地使用正態(tài)分布來描述，如人群的身高或體重、學(xué)生的成績、人體的白細(xì)胞數(shù)量等。數(shù)據(jù)服從正態(tài)分布是很多分析方法使用的前提，在進(jìn)行假設(shè)檢驗、方差分析、回歸分析等分析操作前，一般首先要對數(shù)據(jù)的正態(tài)性進(jìn)行分析。4.4數(shù)據(jù)的正態(tài)性分析正態(tài)分布是指隨機變量服從一個位置參數(shù)（即均值μ）和尺度參數(shù)（即標(biāo)準(zhǔn)差σ）的概率分布。正態(tài)分布在幾何上的表現(xiàn)就是正態(tài)曲線，理論上是一條中間高、兩端逐漸下降的完全對稱的鐘形曲線，如下圖所示。4.4.1數(shù)據(jù)的正態(tài)分布4.4數(shù)據(jù)的正態(tài)性分析4.4數(shù)據(jù)的正態(tài)性分析從上圖可以看出，符合正態(tài)分布的隨機變量在μ?σ～μ+σ取值的概率為68.2%，在μ?2σ～μ+2σ取值的概率為95.4%，在μ?3σ～μ+3σ取值的概率為99.7%。當(dāng)μ為0，σ為1時為標(biāo)準(zhǔn)正態(tài)分布。正態(tài)分布的均值決定了曲線的中心位置，當(dāng)均值為0時，中心位置在x軸為0的位置；當(dāng)均值大于0且絕對值越大時，曲線整體右偏且離y軸越遠(yuǎn)；當(dāng)均值小于0且絕對值越大時，曲線整體左偏且離y軸越遠(yuǎn)。正態(tài)分布的標(biāo)準(zhǔn)差決定了曲線的形狀，標(biāo)準(zhǔn)差越大，數(shù)據(jù)分布越分散，曲線越“矮胖”；標(biāo)準(zhǔn)差越小，數(shù)據(jù)分布越集中，曲線越“高瘦”。4.4數(shù)據(jù)的正態(tài)性分析數(shù)據(jù)的正態(tài)性分析可以通過偏度和峰度，以及直方圖實現(xiàn)。4.4.2正態(tài)性分析1．偏度和峰度數(shù)據(jù)的偏度和峰度是描述數(shù)據(jù)分布與正態(tài)分布偏離程度的兩個常用統(tǒng)計指標(biāo)。（1）偏度用于描述數(shù)據(jù)分布的對稱性，正態(tài)分布的偏度為0。當(dāng)偏度大于0時，稱為正偏態(tài)，分布曲線出現(xiàn)右側(cè)長尾；當(dāng)偏度小于0時，稱為負(fù)偏態(tài)，分布曲線出現(xiàn)左側(cè)長尾。不同偏度的分布曲線如下圖所示。4.4數(shù)據(jù)的正態(tài)性分析Pandas提供了skew()函數(shù)用于計算數(shù)據(jù)的偏度，其一般格式如下。DataFrame.skew()4.4數(shù)據(jù)的正態(tài)性分析（2）峰度用于描述數(shù)據(jù)分布形態(tài)的陡緩程度。在實際應(yīng)用中，正態(tài)分布的峰度為0，當(dāng)峰度大于0時，為尖頂峰，分布曲線較陡峭；當(dāng)峰度小于0時，為平頂峰，分布曲線較平坦。不同峰度的分布曲線如下圖所示。Pandas提供了kurt()函數(shù)用于計算數(shù)據(jù)的峰度，其一般格式如下。DataFrame.kurt()4.4數(shù)據(jù)的正態(tài)性分析2．直方圖直方圖是一種統(tǒng)計報告圖，由一系列高度不等的矩形柱表示數(shù)據(jù)的分布情況，通常用于分析數(shù)據(jù)是否符合正態(tài)分布，如下圖所示。4.5數(shù)據(jù)的相關(guān)性分析第4章Pandas數(shù)據(jù)分析4.5數(shù)據(jù)的相關(guān)性分析數(shù)據(jù)的相關(guān)性是指數(shù)據(jù)之間存在關(guān)系的程度。大數(shù)據(jù)時代，數(shù)據(jù)的相關(guān)性分析因其具有可以快捷、高效地發(fā)現(xiàn)事物間內(nèi)在關(guān)聯(lián)的優(yōu)勢而受到廣泛關(guān)注，并有效地應(yīng)用于推薦系統(tǒng)、商業(yè)分析、公共管理、醫(yī)療診斷等領(lǐng)域。相關(guān)性分析的本質(zhì)是分析兩個或多個變量之間的相關(guān)程度，通常用來分析兩組或多組數(shù)據(jù)的變化趨勢是否一致，如身高和體重、天氣冷和襪子的銷量、客戶滿意度和客戶投訴率等。數(shù)據(jù)相關(guān)性分析的內(nèi)容主要包括以下幾個方面。（1）變量之間是否存在關(guān)系？有還是無？（2）存在什么樣的關(guān)系？正向還是負(fù)向？（3）關(guān)系的強度如何？大還是??？4.5.1數(shù)據(jù)的相關(guān)性4.5數(shù)據(jù)的相關(guān)性分析1．相關(guān)系數(shù)數(shù)據(jù)的相關(guān)系數(shù)是反映兩變量間相關(guān)性的統(tǒng)計指標(biāo)。Pandas提供了corr()函數(shù)用于計算數(shù)據(jù)的相關(guān)系數(shù)，其一般格式如下。數(shù)據(jù)的相關(guān)性分析可以通過相關(guān)系數(shù)和散點圖來實現(xiàn)。4.5.2相關(guān)性分析DataFrame.corr()該函數(shù)默認(rèn)計算數(shù)據(jù)的pearson相關(guān)系數(shù)，它通常用于衡量正態(tài)連續(xù)變量的線性相關(guān)關(guān)系。相關(guān)系數(shù)γ的取值范圍為?1～1，γ的絕對值越大，相關(guān)性越強，γ越接近0，相關(guān)性越弱，其關(guān)系如下。4.5數(shù)據(jù)的相關(guān)性分析當(dāng)時，通常通過下面取值范圍來判斷變量的相關(guān)強度。4.5數(shù)據(jù)的相關(guān)性分析2．散點圖散點圖可以直觀地呈現(xiàn)兩個變量的線性相關(guān)性，如下圖所示。1．案例內(nèi)容典型案例

——互聯(lián)網(wǎng)廣告智能投放數(shù)據(jù)分析互聯(lián)網(wǎng)智能廣告投放指的是在各種平臺針對定向人群進(jìn)行個性化廣告投放，幫助平臺運營人員精準(zhǔn)、及時觸達(dá)用戶，實現(xiàn)留存、促活、增長業(yè)務(wù)的目標(biāo)。它的目的是降低廣告投放費用，提高廣告投放效率和精準(zhǔn)度。本案例將通過互聯(lián)網(wǎng)廣告的投放渠道、價格、時間、是否點擊、城市等級、年齡層次等，分析廣告的投放情況。2．案例分析（1）導(dǎo)入“互聯(lián)網(wǎng)廣告智能投放數(shù)據(jù).xlsx”文件中的數(shù)據(jù)，文件內(nèi)容詳見教材所示。（2）將投放時間轉(zhuǎn)換成時間型數(shù)據(jù)，并提取其中的“hour”信息，替換原來的投放時間。典型案例

——互聯(lián)網(wǎng)廣告智能投放數(shù)據(jù)分析（3）將數(shù)據(jù)按渠道分組，并以價格求和聚合計算每個渠道的總額；然后按總額降序排名；最后按排名升序排序。（4）制作渠道和是否點擊的交叉表，并按比例顯示。（5）計算年齡層次、城市等級、價格和投放時間的相關(guān)系數(shù)。3．案例實施【參考代碼】importpandasaspdpd.set_option('display.unicode.east_asian_width',True)df=pd.read_excel('互聯(lián)網(wǎng)廣告智能投放數(shù)據(jù).xlsx')典型案例

——互聯(lián)網(wǎng)廣告智能投放數(shù)據(jù)分析df['投放時間']=pd.to_datetime(df['投放時間']).dt.hourdf1=df.groupby('渠道').agg({'價格（元）':'sum'})df1['排名']=df1.rank