Python工程應(yīng)用-數(shù)據(jù)分析基礎(chǔ)與實(shí)踐課件-第3章

第一章概論西華大學(xué)機(jī)器學(xué)習(xí)第三章數(shù)據(jù)預(yù)處理XXX學(xué)校XXX2022目錄Contents概述數(shù)據(jù)預(yù)分析數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)變換數(shù)據(jù)規(guī)約主要數(shù)據(jù)預(yù)處理函數(shù)

本章知識(shí)圖譜3概述一1概述5數(shù)據(jù)特點(diǎn)：不完整、

不一致、冗余、易受噪聲干擾數(shù)據(jù)預(yù)處理數(shù)據(jù)預(yù)分析數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)規(guī)約數(shù)據(jù)轉(zhuǎn)換對(duì)數(shù)據(jù)的特性有個(gè)大致的了解使數(shù)據(jù)格式標(biāo)準(zhǔn)化、清除異常數(shù)據(jù)、糾正錯(cuò)誤、清除重復(fù)數(shù)據(jù)將多個(gè)數(shù)據(jù)源的數(shù)據(jù)進(jìn)行整合并統(tǒng)一存儲(chǔ)通過平滑聚集、數(shù)據(jù)概化、規(guī)范化等方式將數(shù)據(jù)轉(zhuǎn)換成適用于后續(xù)處理的形式。在保持原數(shù)據(jù)的完整性的情況下對(duì)數(shù)據(jù)集進(jìn)行規(guī)約或簡(jiǎn)化。數(shù)據(jù)預(yù)分析二2數(shù)據(jù)預(yù)分析7數(shù)據(jù)統(tǒng)計(jì)特性分析數(shù)據(jù)質(zhì)量分析查看數(shù)據(jù)的一些統(tǒng)計(jì)特性，包括均值、方差、最大值、最小值等檢查原始數(shù)據(jù)中是否存在臟數(shù)據(jù)包括針對(duì)缺失值分析、異常值分析、以及不一致的值、重復(fù)數(shù)據(jù)和含有特殊符號(hào)的數(shù)據(jù)的分析。數(shù)據(jù)預(yù)分析2.1統(tǒng)計(jì)特性分析8

數(shù)據(jù)統(tǒng)計(jì)特性分析可以通過Pandas包中的describe()函數(shù)很方便的實(shí)現(xiàn)。describe函數(shù)的原型為：DataFrame.describe(percentiles=None,include=None,exclude=None,datatime_is_numeric=false)percentiles：該參數(shù)可以設(shè)定數(shù)值型特征的統(tǒng)計(jì)量，默認(rèn)是[.25,.5,.75]，也就是返回25%、50%、75%數(shù)據(jù)量時(shí)的數(shù)字，但是這個(gè)可以修改的，如可以根據(jù)實(shí)際情況改為[.25,.5,.8]，即表示返回25%、50%、80%數(shù)據(jù)量時(shí)的數(shù)字。include：該參數(shù)默認(rèn)只計(jì)算數(shù)值型特征的統(tǒng)計(jì)量，當(dāng)輸入include=['O']時(shí)，會(huì)計(jì)算離散型變量的統(tǒng)計(jì)特征，當(dāng)參數(shù)是‘a(chǎn)ll’的時(shí)候會(huì)把數(shù)值型和離散型特征的統(tǒng)計(jì)量都進(jìn)行顯示。exclude：該參數(shù)可以指定在統(tǒng)計(jì)的時(shí)候不統(tǒng)計(jì)哪些列，默認(rèn)不丟棄任何列。datetime_is_numeric：一個(gè)布爾類型的值，表明是否將datetime類型視為數(shù)字。這會(huì)影響該列計(jì)算的統(tǒng)計(jì)信息。2.1統(tǒng)計(jì)特性分析9

示例代碼段：importpandasaspddf=pd.DataFrame({'categorical':pd.Categorical(['d','e','f']),'numeric':[1,2,3],'object':['a','b','c']})df.describe()#描述一個(gè)DataFrame。默認(rèn)情況下，僅返回?cái)?shù)字字段

df.describe(include=‘a(chǎn)ll’)#描述DataFrame數(shù)據(jù)類型的所有列2.2數(shù)據(jù)質(zhì)量分析101.缺失值分析

數(shù)據(jù)的缺失主要包括記錄的缺失和記錄中某個(gè)字段信息的缺失，兩者都會(huì)造成分析結(jié)果的不準(zhǔn)確性(1)缺失值產(chǎn)生的原因

缺失值產(chǎn)生的原因主要包括：部分信息暫時(shí)無(wú)法獲取，或者獲取信息的代價(jià)太大；部分信息由于數(shù)據(jù)采集設(shè)備故障、存儲(chǔ)介質(zhì)故障或者傳輸故障等原因被遺漏或者丟失；某些對(duì)象的該屬性值并不存在，從而造成缺失值的產(chǎn)生。2.2數(shù)據(jù)質(zhì)量分析11(2)缺失值的影響

缺失值產(chǎn)生的影響主要有：機(jī)器學(xué)習(xí)建模將丟失大量的有用信息，模型中蘊(yùn)含的規(guī)律更難把握，機(jī)器學(xué)習(xí)中所表現(xiàn)出的不確定性更加顯著。除此之外，包含空值的數(shù)據(jù)會(huì)使建模過程陷入混亂，導(dǎo)致不可靠的輸出。(3)缺失值的分析

雖然缺失值的影響很深遠(yuǎn)，但是使用簡(jiǎn)單的統(tǒng)計(jì)分析，就可以得到缺失值的相關(guān)屬性，即缺失屬性數(shù)、缺失數(shù)以及缺失率等。2.2數(shù)據(jù)質(zhì)量分析122.異常值分析

異常值分析是檢驗(yàn)是否有錄入錯(cuò)誤以及是否含有不合常理的數(shù)據(jù)。忽視異常值的存在是一個(gè)十分危險(xiǎn)的行為，不加剔除地將異常值包括到數(shù)據(jù)的計(jì)算分析過程中，對(duì)結(jié)果會(huì)產(chǎn)生不良影響。(1)簡(jiǎn)單統(tǒng)計(jì)量分析

通過上一小節(jié)介紹的數(shù)據(jù)統(tǒng)計(jì)特性分析能發(fā)現(xiàn)一些簡(jiǎn)單的數(shù)據(jù)異常值。比如，可以通過某個(gè)變量的最大值和最小值來(lái)判斷這個(gè)變量的取值是否超出合理的范圍，如用戶年齡為2020歲，則該變量的取值就存在異常。2.2數(shù)據(jù)質(zhì)量分析13

2.2數(shù)據(jù)質(zhì)量分析14

（2）箱型圖分布2.2數(shù)據(jù)質(zhì)量分析153.一致性分析

數(shù)據(jù)不一致性是指數(shù)據(jù)的矛盾性、不相容性。直接對(duì)不一致性的數(shù)據(jù)進(jìn)行學(xué)習(xí)，可能會(huì)產(chǎn)生與實(shí)際相違背的學(xué)習(xí)結(jié)果。

數(shù)據(jù)分析過程中，不一致數(shù)據(jù)的產(chǎn)生主要發(fā)生在數(shù)據(jù)集成的過程中，這可能是由于被用于分析的數(shù)據(jù)是來(lái)自不同的數(shù)據(jù)源、對(duì)于重復(fù)存放的數(shù)據(jù)未能進(jìn)行一致性更新造成的。例如：兩張表中都存儲(chǔ)了用戶的電話號(hào)碼，但是在用戶的電話號(hào)碼發(fā)生改變之時(shí)只更新了一張表中的數(shù)據(jù)，那么兩張表中就有了不一致的數(shù)據(jù)，這樣在數(shù)據(jù)建模過程中會(huì)導(dǎo)致學(xué)習(xí)出現(xiàn)誤差。數(shù)據(jù)清理三3.1異常值處理17表3-1異常值處理方法

數(shù)據(jù)預(yù)處理時(shí)，異常值是否剔除，需視具體情況而定，因?yàn)橛行┊惓Ｖ悼赡芴N(yùn)含著某種有用的信息。異常值處理常用的方法如表3-1所示。異常值處理方法方法描述刪除直接將含有異常值的記錄刪除視為缺失值將異常值視為缺失值，利用缺失值處理的方法進(jìn)行處理平均值修正可用前后兩個(gè)觀測(cè)值的平均值修正該異常值不處理直接在具有異常值的數(shù)據(jù)集上進(jìn)行建模3.2缺失值處理18表3-2常用插補(bǔ)方法

缺失值處理的方法主要可以分為三類：刪除記錄、數(shù)據(jù)插補(bǔ)和不處理。其中，最常用的是數(shù)據(jù)插補(bǔ)方法。常用的插補(bǔ)方法如表3-2所示。插補(bǔ)方法方法描述均值/中位數(shù)/眾數(shù)插補(bǔ)用該屬性取值的平均數(shù)/中位數(shù)/眾數(shù)進(jìn)行插補(bǔ)使用固定值將缺失的屬性值用一個(gè)常量替換最近臨插補(bǔ)在記錄中找到與缺失樣本最接近的樣本的屬性值插補(bǔ)回歸方法對(duì)帶有缺失值的變量，根據(jù)已有的數(shù)據(jù)和與其相關(guān)的其他變量(因變量)的數(shù)據(jù)建立擬合模型來(lái)預(yù)測(cè)缺失的屬性值插值法3.2缺失值處理19拉格朗日插值法介紹：

(1)求已知的過n個(gè)點(diǎn)的n-1次多項(xiàng)式：

3.2缺失值處理20解出拉格朗日插值多項(xiàng)式為：

3.2缺失值處理21拉格朗日插值法演示：

首先，構(gòu)造數(shù)據(jù)，設(shè)置異常值，把銷量大于5000和銷量小于400的異常值替換為None，最后，定義拉格朗日插值函數(shù)，對(duì)數(shù)據(jù)進(jìn)行插值，實(shí)現(xiàn)代碼如下所示：importpandasaspd#導(dǎo)入數(shù)據(jù)分析庫(kù)Pandasfromerpolateimportlagrange#導(dǎo)入拉格朗日插值函數(shù)

inputfile='.../data/catering_sale.xls'#銷量數(shù)據(jù)路徑outputfile='.../tmp/sales.xls'#輸出數(shù)據(jù)路徑

data=pd.read_excel(inputfile)#讀入數(shù)據(jù)#過濾異常值，將其變?yōu)榭罩礵ata[u'銷量'][(data[u'銷量']<400)|(data[u'銷量']>5000)]=None3.2缺失值處理21#s為列向量，n為被插值的位置，k為取前后的數(shù)據(jù)個(gè)數(shù)，默認(rèn)為5defployinterp_column(s,n,k=5):ifn<k:y=s[list(range(n+1,n+1+k))]else:y=s[list(range(n-k,n))+list(range(n+1,n+1+k))]#取數(shù)y=y[y.notnull()]#剔除空值returnlagrange(y.index,list(y))(n)#插值并返回插值結(jié)果

#逐個(gè)元素判斷是否需要插值foriindata.columns:forjinrange(len(data)):if(data[i].isnull())[j]:#如果為空即插值data[i][j]=ployinterp_column(data[i],j)

data.to_excel(outputfile)#輸出結(jié)果，寫入文件

利用拉格朗日插值對(duì)2015/2/21日和2015/2/14日的數(shù)據(jù)進(jìn)行插補(bǔ)，結(jié)果是4275.255和4156.86數(shù)據(jù)集成四4數(shù)據(jù)集成24

人們?nèi)粘Ｊ褂玫臄?shù)據(jù)來(lái)源于各種渠道，數(shù)據(jù)集成就是將多個(gè)文件或者多個(gè)數(shù)據(jù)源中的異構(gòu)數(shù)據(jù)進(jìn)行合并，然后存放在一個(gè)統(tǒng)一的數(shù)據(jù)庫(kù)中進(jìn)行存儲(chǔ)。在數(shù)據(jù)集成過程中，來(lái)自多個(gè)數(shù)據(jù)源的現(xiàn)實(shí)世界實(shí)體的表達(dá)形式有的是不一樣的，有可能是不匹配的，要考慮實(shí)體識(shí)別問題的屬性冗余問題，從而將原始數(shù)據(jù)在最底層上加以轉(zhuǎn)換、提煉和集成。4.1實(shí)體識(shí)別25

實(shí)體識(shí)別是指從不同數(shù)據(jù)源識(shí)別出現(xiàn)實(shí)世界的實(shí)體，任務(wù)是統(tǒng)一不同數(shù)據(jù)源的矛盾之處。實(shí)體識(shí)別中常常存在的問題有以下三種。(1)同名異義兩個(gè)數(shù)據(jù)源中同名的屬性描述的不是同一個(gè)意思。(2)異名同義兩個(gè)數(shù)據(jù)源中同一個(gè)屬性有兩個(gè)不同的名字。(3)單位不統(tǒng)一描述同一實(shí)體分別使用不同的單位。實(shí)體識(shí)別過程中，我們需要對(duì)同名異義、異名同義以及單位不統(tǒng)一的情況進(jìn)行準(zhǔn)確識(shí)別4.1冗余屬性識(shí)別26冗余屬性是指數(shù)據(jù)中存在冗余的情況，一般分為以下兩種情況：(1)同一屬性多次出現(xiàn)

不同的兩個(gè)數(shù)據(jù)源中，同一個(gè)屬性在兩個(gè)數(shù)據(jù)源中都有記錄，當(dāng)對(duì)數(shù)據(jù)源進(jìn)行集成的時(shí)候，若不進(jìn)行處理，新數(shù)據(jù)集中同一屬性就多次出現(xiàn)，導(dǎo)致我們需要處理大量的重復(fù)數(shù)據(jù)。(2)同一屬性命名不一致

在實(shí)體識(shí)別中所提到的異名同義的情況下，若不對(duì)數(shù)據(jù)進(jìn)行處理，新數(shù)據(jù)集中同一屬性多次出現(xiàn)，不僅會(huì)導(dǎo)致我們處理的數(shù)據(jù)量增大，還會(huì)影響我們模型的建立，從而導(dǎo)致輸出結(jié)果不準(zhǔn)確。

數(shù)據(jù)變換五5數(shù)據(jù)變換28

數(shù)據(jù)變換是指將數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一的適合機(jī)器學(xué)習(xí)的形式。比如將連續(xù)的氣溫?cái)?shù)值變?yōu)楦?、中、低這樣的離散形式，或?qū)⒆址枋鲎優(yōu)殡x散數(shù)字等。5.1簡(jiǎn)單函數(shù)變換29

簡(jiǎn)單函數(shù)變換是指對(duì)采集的原始數(shù)據(jù)使用各種簡(jiǎn)單數(shù)學(xué)函數(shù)進(jìn)行變換，常見的函數(shù)包括平方、開方、取對(duì)數(shù)、差分運(yùn)算等。簡(jiǎn)單的函數(shù)變換常用來(lái)將不具有正態(tài)分布的數(shù)據(jù)變換為具有正態(tài)分布的數(shù)據(jù)。在時(shí)間序列分析中，有時(shí)簡(jiǎn)單的差分運(yùn)算就能將序列轉(zhuǎn)換成平穩(wěn)序列。如果數(shù)據(jù)較大，可以取對(duì)數(shù)或者開方將數(shù)據(jù)進(jìn)行壓縮，從而減小數(shù)據(jù)的處理量。5.2歸一化30

缺陷：當(dāng)有新數(shù)據(jù)加入時(shí)，可能導(dǎo)致和的變化。5.2歸一化31

5.2歸一化32

#-*-coding:utf-8-*-#數(shù)據(jù)規(guī)范化importpandasaspdimportnumpyasnp

datafile='../data/normalization_data.xls'#參數(shù)初始化data=pd.read_excel(datafile,header=None)#讀取數(shù)據(jù)

(data-data.min())/(data.max()-data.min())#最小-最大規(guī)范化(data-data.mean())/data.std()#零-均值規(guī)范化data/10**np.ceil(np.log10(data.abs().max()))#小數(shù)定標(biāo)規(guī)范化5.3連續(xù)屬性離散化33

數(shù)據(jù)離散化本質(zhì)上是將數(shù)據(jù)離散空間劃分為若干個(gè)區(qū)間，最后用不同的符號(hào)或者整數(shù)值代表每個(gè)子區(qū)間中的數(shù)據(jù)。離散化涉及兩個(gè)子任務(wù)：確定分類和將連續(xù)屬性值映射到這個(gè)分類之中。(1)等寬法：根據(jù)需要，首先將數(shù)據(jù)劃分為具有相同寬度的區(qū)間，區(qū)間數(shù)據(jù)事先制定，然后將數(shù)據(jù)按照其值分配到不同區(qū)間中，每個(gè)區(qū)間用一個(gè)數(shù)據(jù)值表示。(2)等頻法：這種方法也是需要先把數(shù)據(jù)分為若干個(gè)區(qū)間，然后將數(shù)據(jù)按照其值分配到不同區(qū)間中，但是和等寬法不同的是，每個(gè)區(qū)間的數(shù)據(jù)個(gè)數(shù)是相等的。(3)基于聚類分析的方法：這種方法是指將物理或者抽象對(duì)象集合進(jìn)行分組，再來(lái)分析由類似的對(duì)象組成的多個(gè)類，保證類內(nèi)相似性大，類間相似性小。聚類分析方法的典型算法包括K-Means(也叫K-均值)算法、K-中心點(diǎn)算法，其中最常用的算法就是K-Means算法。5.3連續(xù)屬性離散化34K-Means算法

對(duì)于K-Means算法，首先，從數(shù)據(jù)集中隨機(jī)找出K個(gè)數(shù)據(jù)作為K個(gè)聚類中心；其次，根據(jù)其他數(shù)據(jù)相對(duì)于這些中心的歐式距離、馬氏距離等，對(duì)所有的對(duì)象歸類，如數(shù)據(jù)x距某個(gè)中心最近，則將x規(guī)劃到該中心所代表的類中；最后，重新計(jì)算各個(gè)區(qū)間的中心，并利用新的中心重新聚類所有樣本。逐步循環(huán)，直到所有區(qū)間的中心不再隨算法循環(huán)而變化。5.3連續(xù)屬性離散化35#-*-coding:utf-8-*-#數(shù)據(jù)規(guī)范化importpandasaspdfromsklearn.clusterimportKMeans#引入KMeans

datafile='../data/discretization_data.xls'#文件路徑data=pd.read_excel(datafile)#讀取數(shù)據(jù)data=data[u'肝氣郁結(jié)證型系數(shù)'].copy()k=4

d1=pd.cut(data,k,labels=range(k))#等寬離散化，各個(gè)類比依次命名為0,1,2,3#等頻率離散化w=[1.0*i/kforiinrange(k+1)]w=data.describe(percentiles=w)[4:4+k+1]#使用describe函數(shù)自動(dòng)計(jì)算分位數(shù)w[0]=w[0]*(1-1e-10)d2=pd.cut(data,w,labels=range(k))5.3連續(xù)屬性離散化36#建立模型，n_jobs是并行數(shù)，一般等于CPU數(shù)較好kmodel=KMeans(n_clusters=k,n_jobs=4)kmodel.fit(data.values.reshape((len(data),1)))#訓(xùn)練模型#輸出聚類中心，并且排序(默認(rèn)是隨機(jī)序的)c=pd.DataFrame(kmodel.cluster_centers_).sort_values(0)w=c.rolling(2).mean().iloc[1:]#相鄰兩項(xiàng)求中點(diǎn)，作為邊界點(diǎn)w=[0]+list(w[0])+[data.max()]#把首末邊界點(diǎn)加上d3=pd.cut(data,w,labels=range(k))

defcluster_plot(d,k):#自定義作圖函數(shù)來(lái)顯示聚類結(jié)果importmatplotlib.pyplotaspltplt.rcParams['font.sans-serif']=['SimHei']#用來(lái)正常顯示中文標(biāo)簽plt.rcParams['axes.unicode_minus']=False#用來(lái)正常顯示負(fù)號(hào)

plt.figure(figsize=(8,3))forjinrange(0,k):plt.plot(data[d==j],[jforiind[d==j]],'o')

plt.ylim(-0.5,k-0.5)returnpltcluster_plot(d1,k).show() #圖像顯示cluster_plot(d2,k).show()cluster_plot(d3,k).show()

數(shù)據(jù)規(guī)約六6數(shù)據(jù)規(guī)約38

在大數(shù)據(jù)集上進(jìn)行復(fù)雜的機(jī)器學(xué)習(xí)需要很長(zhǎng)的時(shí)間，數(shù)據(jù)規(guī)約是生成更小但保持?jǐn)?shù)據(jù)完整性的新數(shù)據(jù)集，在規(guī)約后的數(shù)據(jù)集上進(jìn)行機(jī)器學(xué)習(xí)將更有效率。數(shù)據(jù)規(guī)約可以降低無(wú)效、錯(cuò)誤數(shù)據(jù)對(duì)建模的影響，提高建模的準(zhǔn)確性；處理少量且具有代表性的數(shù)據(jù)，大幅縮減機(jī)器學(xué)習(xí)所需要的時(shí)間；另外還可以降低儲(chǔ)存數(shù)據(jù)的成本。6.1屬性規(guī)約39屬性規(guī)約方法方法描述合并屬性將一些舊屬性合為新屬性逐步向前選擇從一個(gè)空屬性集開始，每次從原來(lái)屬性集合中選擇一個(gè)當(dāng)前最優(yōu)地屬性添加到當(dāng)前屬性子集中。直到無(wú)法選擇出最優(yōu)屬性或滿足一定閾值約束為之逐步向后選擇從一個(gè)全屬性集開始，每次從當(dāng)前屬性子集中選擇一個(gè)當(dāng)前最差的屬性并將其從當(dāng)前屬性子集中消去。直到無(wú)法選擇出最差屬性為之或滿足一定閾值的約束法為止決策樹歸納利用決策樹的歸納法對(duì)初始數(shù)據(jù)進(jìn)行分類歸納學(xué)習(xí)，獲得一個(gè)初始決策樹，所有沒有出現(xiàn)在這個(gè)決策樹上的屬性均可認(rèn)為是無(wú)關(guān)屬性，將這些屬性從初始化集合中刪除，就可以獲得一個(gè)較優(yōu)的屬性子集主成分分析用較少的變量去解釋原始數(shù)據(jù)中的大部分變量，即將許多相關(guān)性很高的變量轉(zhuǎn)換成彼此相互獨(dú)立或不相關(guān)的變量。6.2數(shù)值規(guī)約40

數(shù)值規(guī)約也稱為樣本規(guī)約，是指通過選擇替代的、較小的數(shù)據(jù)來(lái)減少數(shù)據(jù)子集。在確定樣本規(guī)約子集時(shí)候需要考慮