Python機器學習項目化教程（微課視頻版）課件 第2章 機器學習基礎及Python常用庫

第2章機器學習基礎及Python常用庫目錄CONTENTS2.1機器學習Python基礎與開發(fā)環(huán)境2.2機器學習基礎2.3本章小結2.1機器學習Python基礎與開發(fā)環(huán)境學習基礎學習認知能力信息素養(yǎng)高2.1.1Python開發(fā)環(huán)境簡介Spyder是一款強大的交互式Python語言開發(fā)工具，提供高級的代碼編輯、交互測試、調試等特性，它主要用于數據科學領域，具有高級編輯、分析、數據可視化和調試等功能，開發(fā)界面設計類似于MATLAB。Spyder開發(fā)環(huán)境如圖2-1所示。PyCharm、Anaconda是Python常見的開發(fā)環(huán)境，其中Anaconda包含了Python常用的庫，自帶有JupyterNoteBook、Spyder開發(fā)工具，且具有強大的版本管理功能，對不同版本的工具包的安裝有很好的支持。2.1機器學習Python基礎與開發(fā)環(huán)境JupyterNotebook以網頁的形式呈現，可在網頁頁面中直接編寫代碼和運行代碼，支持使用LaTeX編寫數學性說明。JupterNoteBook開發(fā)環(huán)境如圖2-2所示。2.1機器學習Python基礎與開發(fā)環(huán)境近鄰算法原理PyCharm是由著名的軟件開發(fā)公司JetBrains專門為Python開發(fā)人員打造的一款功能強大的Python集成開發(fā)環(huán)境，它包含智能提示、語法高亮、程序調試、Project管理、代碼跳轉、版本控制等功能。2.1機器學習Python基礎與開發(fā)環(huán)境Python是一種面向對象的程序設計語言，擁有int、float、byte、bool等基本數據類型，以及l(fā)ist（列表）、tuple（元組）、dict（字典）等功能強大、使用靈活的序列類型。#計算前n個數的和sum=0foriinrange(11):sum+=iprint("sum=",sum)sum=552.1機器學習Python基礎與開發(fā)環(huán)境（1）range()函數的作用是返回一個迭代對象，其語法格式如下：range(start,stop[,step])（2）in是成員測試運算符，用于測試一個對象是否是另一個對象中的元素。#成員測試flag=5in[1,2,3,4,5]print(flag)foriin(10,11,12,13,14):print(i,end='')True10111213142.1機器學習Python基礎與開發(fā)環(huán)境（3）map()函數根據提供的函數對指定序列進行映射，其語法格式如下：map(function,iterable,...)其中，參數function表示函數，參數iterable表示序列，可以為多個序列。#計算每個數的平方x=[1,2,3,4,5]res=map(lambdai:i**2,x)print(list(res))[1,4,9,16,25]2.1機器學習Python基礎與開發(fā)環(huán)境defdiv2(x):#函數定義，將x除以2returnx/2defsum(x,y):#函數定義，求兩個數的和returnx+yprint(list(map(div2,[10,20,30,40,50])))#將列表中各元素除以2print(list(map(sum,[1,2,3,4,5],[6,7,8,9,10])))#計算兩個列表中對應元素之和[5.0,10.0,15.0,20.0,25.0][7,9,11,13,15]2.1機器學習Python基礎與開發(fā)環(huán)境1.列表列表是一種可變序列，用于存儲若干元素，其地址空間是連續(xù)的，類似于Java、C++中的數組。x=[1,2,'a',"b","abc",23.56,(10,20,30),[60,70,80]]foriinx:print(i)程序運行結果如下：2ababc23.56(10,20,30)[60,70,80]2.1機器學習Python基礎與開發(fā)環(huán)境x=[1,2,'a',"b","abc",23.56]foriinrange(len(x)):print(x[i],end='')程序運行結果如下：12ababc23.56x=[1,2,3]x=x+[5]print(x)x.append(10)print(x)x.extend([10,20,30])print(x)x.insert(5,100)print(x)x.remove(20)print(x)print(x.pop())print(x)[1,2,3,5][1,2,3,5,10][1,2,3,5,10,10,20,30][1,2,3,5,10,100,10,20,30][1,2,3,5,10,100,10,30]30[1,2,3,5,10,100,10]2.1機器學習Python基礎與開發(fā)環(huán)境Python與Java、C++語言最大的區(qū)別就是序列的切片操作，列表、元組、字符串、range對象都支持切片操作。切片由兩個冒號分隔的3個數字組成，其語法格式為：[start:stop:step]start表示切片的開始位置，stop表示切片的結束位置，但不包含該結束位置，step表示步長（默認為1），當步長省略時，最后一個冒號也可以省略。例如：m=[10,20,30,40,50,60]print(m[2:len(m)])print(m[::])print(m[::-1])[30,40,50,60][10,20,30,40,50,60][60,50,40,30,20,10]2.1機器學習Python基礎與開發(fā)環(huán)境在數據處理過程中，經常會遇到嵌套列表，如果要取嵌套列表中的某一行元素或某一列元素，則需要列表推導式。例如：a=[[1,2,3],[4,5,6]]print(a[0])#取一行#print(a[:,0])#這樣寫會產生錯誤TypeError:listindicesmustbeintegersorslices,nottupleb=[x[0]forxina]#取嵌套列表中的第1列元素print(b)程序運行結果如下：[1,2,3][1,4]2.1機器學習Python基礎與開發(fā)環(huán)境元組與列表類似，其區(qū)別在于元組是不可變的序列。列表支持元素引用，但不支持修改、增加與刪除操作。a=(1,2,3,4,5)#創(chuàng)建元組aprint(a)foriina:print(i,end='')程序運行結果如下：(1,2,3,4,5)123452.1機器學習Python基礎與開發(fā)環(huán)境zip()函數可將多個可迭代對象按照相應位置上的元素組合為元組，然后返回由這些元組組成的zip對象。如果各個迭代器的元素個數不一致，則返回列表長度與最短的對象相同。a=('name','age','grade','tel')b=('張三',25,'大三'fori,jinzip(a,b):print(i,j,end=';')c=(i*2foriinrange(10))print(tuple(c))name張三;age25;grade大三;te(0,2,4,6,8,10,12,14,16,18)2.1機器學習Python基礎與開發(fā)環(huán)境字典是由若干“鍵-值”對構成的無序序列，字典中每個元素由兩部分組成：鍵和值。其中，鍵的取值可以是任意不變的數據類型，如整數、浮點數、字符串、元組等，但不能是列表、字典、集合等可變的數據類型。key=['101','102','103','104','105']value=[10,9,8,7,6]dic=dict(zip(key,value))print(dic)print(dic['102'])dic['106']=10dic['101']=5fori,jindic.items():print(i,j,sep=':'){'101':10,'102':9,'103':8,'104':7,'105':6}9101:5102:9103:8104:7105:6106:102.1機器學習Python基礎與開發(fā)環(huán)境集合也是一個無序的可變序列，同一個集合中的對象不能重復出現，這與數學中的集合具有同樣的性質。集合運算包括并集、交集、差集和子集等。例如：x=set(range(10))y={-1,-2,-3,5,6}z=x|y#并集print("x=",x)print("y=",y)print("并集操作：",z)z=x&y#交集print("交集操作：",z)z=x-y#差集print("差集操作：",z)z.pop()print(z)z.remove(3)print(z)x={0,1,2,3,4,5,6,7,8,9}y={5,6,-2,-3,-1}并集操作：{0,1,2,3,4,5,6,7,8,9,-1,-3,-2}交集操作：{5,6}差集操作：{0,1,2,3,4,7,8,9}{1,2,3,4,7,8,9}{1,2,4,7,8,9}2.1機器學習Python基礎與開發(fā)環(huán)境1.函數Python中的函數定義是以def關鍵詞開頭，后面是函數名稱和圓括號，圓括號后面要加一個冒號，表示函數聲明結束。圓括號內是傳遞的參數列表。函數體中的語句以縮進格式書寫，函數是否有返回值是根據函數體內部是否有return語句決定的，如果有return語句，則表示該函數有返回值，否則表示沒有返回值。Accuracy:96.66666666666667%defmax_min_value(mylist):#定義函數

returnmylist.index(max(mylist)),mylist.index(min(mylist))#調用函數mylist=[36,16,33,52,68,100,70,85,6,75]max_min=max_min_value(mylist)print('最大值元素下標和最小值元素下標：',max_min)最大值元素下標和最小值元素下標：(5,8)2.1機器學習Python基礎與開發(fā)環(huán)境deffind(table,e):foriinrange(len(table)):iftable[i]==e:returnTrue,ielse:returnFalse,Nonemylist=[36,16,33,52,68,100,70,85,6,75]flag,value=find(mylist,85)print(flag,value)程序運行結果如下：True72.1機器學習Python基礎與開發(fā)環(huán)境2.類Python是一門面向對象程序設計語言，在一個模塊功能較多且考慮到系統(tǒng)的可維護性和可復用性，選擇類來管理更為合適。#定義一個矩形類classRectangle:def__init__(self,width,height):self.width=widthself.height=heightdefarea(self):returnself.width*self.height2.1機器學習Python基礎與開發(fā)環(huán)境創(chuàng)建矩形類對象并調用成員方法area()的方法如下：#創(chuàng)建一個矩形對象并調用它的area()方法rectangle=Rectangle(6,9)print("矩形的面積為:",rectangle.area())運行程序會輸出結果：矩形的面積為:542.1機器學習Python基礎與開發(fā)環(huán)境在矩形類定義的基礎上，還可以對矩形類進行繼承，假如定義一個立方體類，立方體是在矩形類的基礎上，增加一個高構成的，類的定義如下：#定義一個立方體類，繼承自矩形類classCube(Rectangle):def__init__(self,high):self.high=high#實現立方體類的volume()方法

defvolume(self,rect):returnself.high*rect.area()2.1機器學習Python基礎與開發(fā)環(huán)境這樣就構造了一個簡單的立方體類Cube，其中類名Cube后面括號中的Rectangle就是要繼承的類名，作為當前類Cube的父類。#創(chuàng)建一個立方體對象并調用它的volume()方法cube=Cube(10)print("立方體的體積為:",cube.volume(rectangle))程序運行結果如下：立方體的體積為:5402.1機器學習Python基礎與開發(fā)環(huán)境同一個列表可存放不同類型的數據，而同一個array數組中存放的數據類型必須全部相同。對于使用列表和array數組存儲的矩陣，如果想要取出同一列的元素，對于列表，需要使用列表推導式才能完成；對于array，直接使用切片即可。例如：importnumpyasnpa=np.array([[5,6,7],[8,9,10]])print(a[:,0])如果要獲取二維數組中某一行的均值或某一列的均值，可使用means()函數實現，其語法格式如下：numpy.mean(a,axis=None,dtype=None,out=None,keepdims=<novalue>)2.1機器學習Python基礎與開發(fā)環(huán)境a=np.array([[1,2,3],[4,5,6]])print(a)m=np.mean(a)print(m)m=np.mean(a,axis=0)#axis=0，計算每一列的平均值print(m)m=np.mean(a,axis=1)#axis=1，計算每一行的平均值print(m)[[123][456]]3.5[2.53.54.5][2.5.]2.1機器學習Python基礎與開發(fā)環(huán)境a=np.array([[1,2,3],[4,5,6],[7,8,9]])b=np.mat(a)print(b)print(np.mean(b)) #對所有元素求平均值print(np.mean(b,0)) #對各列求平均值print(np.mean(b,1)) #對各行求平均值

[[123][456][789]]5.0[[4.5.6.]][[2.][5.][8.]]2.1機器學習Python基礎與開發(fā)環(huán)境#矩陣轉換為數組mat=np.mat([[1,2,3,4]])print(mat,type(mat))mat_arr=mat.Aprint(mat_arr,type(mat_arr))程序運行結果如下：[[1234]]<class'numpy.matrix'>[[1234]]<class'numpy.ndarray'>2.1機器學習Python基礎與開發(fā)環(huán)境DataFrame是由多種類型的列構成的二維標簽數據結構，類似于Excel、SQL表、Series對象構成的字典。DataFrame是最常用的Pandas對象，DataFrame支持ndarray、列表、字典、Series字典、DataFrame等多種數據類型的輸入。DataFrame還可為數據自動增加index（行標簽）和columns（列標簽）參數，這樣就使生成的DataFrame數據包含行和列索引。利用字典生成DataFrame數據，代碼如下：importpandasaspdstu_dict={'姓名':['張曉','許東燕'],'性別':['男','女'],'分數':[86,95]}print(stu_dict)stu_df=pd.DataFrame(stu_dict)print(stu_df)程序運行結果如下：{'姓名':['張曉','許東燕'],'性別':['男','女'],'分數':[86,95]}

姓名性別分數0張曉男861許東燕女952.1機器學習Python基礎與開發(fā)環(huán)境利用Series字典生成DataFrame數據，代碼如下：d={'姓名':pd.Series(['吳小倩','劉娜','許友林','李小婷'],index=['A','B','C','D']),'分數':pd.Series([87,90,93],index=['A','B','D'])}df=pd.DataFrame(d)print(df)姓名分數A吳小倩87.0B劉娜90.0C許友林NaND李小婷93.02.1機器學習Python基礎與開發(fā)環(huán)境利用numpy多維數組生成DataFrame數據，代碼如下：data=np.zeros((3,),dtype=[('A','i8'),('B','f8'),('C','S8')])df=pd.DataFrame(data)print(df)程序運行結果如下：

ABC000.0b''100.0b''200.0b''2.1機器學習Python基礎與開發(fā)環(huán)境創(chuàng)建一個3行4列的隨機整數構成的二維數組，然后將其轉換為DataFrame格式，代碼如下：data=np.random.randint(1,50,size=(3,4))df=pd.DataFrame(data,columns=['A','B','C','D'])print(df)輸出結果如下：

ABCD04613354134107222353342.1機器學習Python基礎與開發(fā)環(huán)境若想要在第3列插入一組元素，則代碼如下：df.insert(2,'E',[10,20,30])#插入一列print(df)輸出結果如下：

ABECD04613103541341020722235303342.1機器學習Python基礎與開發(fā)環(huán)境假設data.xlsx文件中有兩個工作表：Sheet1和Sheet2，其內容如圖2-4所示。讀取data.xlsx文件中的數據代碼如下：importpandasaspdx=pd.read_excel('data.xlsx')輸出結果如下：序號姓名性別年齡職業(yè)01劉艷女26會計12劉娜女27會計23張旭剛男36工程師34吳甜甜女40教師45王剛男32醫(yī)生2.1機器學習Python基礎與開發(fā)環(huán)境假設data.xlsx文件中有兩個工作表：Sheet1和Sheet2，其內容如圖2-4所示。讀取Excel文件時，可以指定要讀取的工作表和列號，代碼如下：x=pd.read_excel(r'data.xlsx',sheet_name=1,usecols="B,E")print(x)輸出結果如下：姓名職稱0李闖工程師1趙剛高級工程師2王鵬飛教授級高級工程師2.1機器學習Python基礎與開發(fā)環(huán)境importpandasaspdimportnumpyasnp#創(chuàng)建寫入器對象writer=pd.ExcelWriter('data.xlsx')start_row=0#指定從第幾行開始寫入data=np.random.randint(1,50,size=(3,4))data=pd.DataFrame(data,columns=['C1','C2','C3','C4'])data.to_excel(writer,sheet_name='Sheet1',startrow=start_row, header=True,index=False)#丟棄DataFrame對象的行標簽#保存數據，關閉文件writer.save()writer.close()2.1機器學習Python基礎與開發(fā)環(huán)境1.散點圖importmatplotlib.pyplotaspltimportnumpyasnpx=np.linspace(-5,5,50,endpoint=True)y=x**2plt.scatter(x,y,s=20,alpha=1,linewidths=0.1)plt.xlabel('X軸')plt.ylabel('Y軸')plt.title('散點圖')plt.rcParams['font.sans-serif']=['SimHei'] #顯示中文字體plt.rcParams['axes.unicode_minus']=False #顯示負號plt.show()2.1機器學習Python基礎與開發(fā)環(huán)境1.散點圖#生成數據1，具有兩維特征x_Attr1和x_Attr2num=500#數量x_Mean1=4x_Var1=0.5x_Attr1=np.zeros((num,1))x_Attr1=x_Mean1+np.sqrt(x_Var1)*np.random.randn(num,1)x_Mean2=2x_Var2=1x_Attr2=np.zeros((num,1))x_Attr2=x_Mean2+np.sqrt(x_Var2)*np.random.randn(num,1)x=np.c_[x_Attr1,x_Attr2]2.1機器學習Python基礎與開發(fā)環(huán)境折線圖可以顯示隨時間而變化的連續(xù)數據，適用于顯示在相等時間間隔下數據的趨勢。x=[1,2,3,4,5,6,7,8]y=[0.62,0.68,0.76,0.81,0.815,0.814,0.816,0.815]plt.plot(x,y)plt.xlim(0,9)plt.ylim(0.6,0.85)plt.title('折線圖')plt.xlabel('X')plt.ylabel('Y')plt.rcParams['font.sans-serif']=['SimHei']#如果要顯示中文字體,則在此處設為SimHeiplt.rcParams['axes.unicode_minus']=Falseplt.show()2.1機器學習Python基礎與開發(fā)環(huán)境通過直方圖可繪制連續(xù)性的數據，展示一組或多組數據的分布狀況x=np.random.standard_normal(100)bins=20n,bins,patches=plt.hist(x,bins,color='#0a6caa',alpha=0.7,rwidth=0.85)plt.grid(axis='y',alpha=0.75)plt.xlabel('區(qū)間')plt.ylabel('頻率')plt.title('直方圖')maxfreq=n.max()plt.ylim(ymax=np.ceil(maxfreq/10)*10ifmaxfreq%10elsemaxfreq+10)plt.show()2.1機器學習Python基礎與開發(fā)環(huán)境餅圖反映某個部分占整體的比重。labels=['第1季度','第2季度','第2季度','第2季度']#各部分標簽percent=[20,45,20,15]#各部分比例color=['red','yellow','green','blue']#各部分顏色plode=[0,0.05,0,0]#各部分突出值plt.pie(percent,explode=plode,colors=color,labels=labels,labeldistance=1.1,autopct="%1.1f%%",shadow=False)plt.axis("equal")#設置橫軸和縱軸大小相等，這樣餅才是圓的plt.legend()plt.rcParams['font.sans-serif']=['SimHei']#如果要顯示中文字體,則在此處設為：SimHeiplt.rcParams['axes.unicode_minus']=False#顯示負號plt.show()2.1機器學習Python基礎與開發(fā)環(huán)境scikit-learn，也稱為sklearn，是針對Python編程語言的免費軟件機器學習庫，于2007年由Google開發(fā)，是目前使用最為廣泛的機器學習庫。2.1機器學習Python基礎與開發(fā)環(huán)境scikit-learn庫提供的6個模塊介紹如下：分類（classification）：目前Scikit-learn已包含的算法：支持向量機（SVM）、最近鄰、邏輯回歸、隨機森林、決策樹以及多層感知器（MLP）神經網絡等。回歸（regression）：通過分析相關屬性特征與目標之間的關系，給出一組連續(xù)的預測值。目前Scikit-learn已包含的算法：支持向量回歸（SVR）、Lasso回歸、貝葉斯回歸、隨機森林回歸等。聚類（clustering）：自動識別具有相似屬性的對象，并劃分為一類，屬于無監(jiān)督學習范疇，一般可用于輔助決策。目前Scikit-Learn包含的算法：k-均值聚類、譜聚類、均值偏移、層次聚類、DBSCAN聚類等。數據降維（dimensionalityreduction）：主成分分析（PCA）、非矩陣分解（NMF）、奇異值分解（SVD）等。模型選擇（modelselection）：對給定參數和模型的比較、驗證和選擇，調整模型和參數以提升精度。目前Scikit-learn包括的算法：網格搜索、交叉驗證和各種評估函數。數據預處理（preprocessing）：數據的離散化、特征提取、歸一化、二值化。2.1機器學習Python基礎與開發(fā)環(huán)境importseabornassnscolors=sns.color_palette("colorblind")plt.figure()foriinrange(len(y_pred)):ify_pred[i]==0:s1=plt.scatter(X_test[i,1],X_test[i,2],marker='o',color=colors[0])elify_pred[i]==1:s2=plt.scatter(X_test[i,1],X_test[i,2],marker='s',color=colors[1])else:s3=plt.scatter(X_test[i,1],X_test[i,2],marker='*',color=colors[2])plt.xlabel("X")plt.ylabel("Y")plt.title("貝葉斯分類器")plt.rcParams['font.family']=['sans-serif']plt.rcParams['font.sans-serif']=['SimHei']plt.legend((s1,s2,s3),('0','1','2'),loc='best')plt.show()2.2機器學習基礎張量（Tensor）就是多維數組（MultidimensionalArray），是深度學習的基礎。其作用是為了表達更高維度的矩陣、向量。張量可分為標量、向量、矩陣、3D張量及更高維的張量。2.2機器學習基礎importnumpyasnpx=np.array(5)print('x:',x,'x的維度:',x.ndim)x=np.array([1,2,3,4,5,6])print('x:',x,'x的維度:',x.ndim)x=np.array([[1,2,3,4,5],[6,7,8,9,10],[11,12,13,14,15],[16,17,18,19,20]])print('x:',x,'x的維度:',x.ndim)x=np.array([[[1,2,3,4,5],[6,7,8,9,10]],[[11,12,13,14,15],[16,17,18,19,20]]])print('x:',x,'x的維度:',x.ndim)x:5x的維度:0x:[123456]x的維度:1x:[[12345][678910][1112131415][1617181920]]x的維度:2x:[[[12345][678910]][[1112131415][1617181920]]]x的維度:32.2機器學習基礎所謂梯度，是一個矢量，表示某一函數在該點處的方向導數沿著該方向取得最大值，即函數在該點處沿著該方向（梯度的方向）變化最快，變化率最大。梯度可以理解為函數的導數，導數是增長的方向，所以梯度其實是增長的方向，那么，梯度的反方向就是下降的方向。2.2機器學習基礎梯度下降可用數學公式去表述，如果是凸函數，表示山的形狀，那么梯度下降公式可以表示為這里的表示當前的坐標位置，是學習因子，表示每次向上走一步的步長，x是更新后的坐標位置，就是走一步后的位置。2.2機器學習基礎不同的領域有不同的評估方法，這里注意介紹一些常見的機器學習評估方法：召回率（recall/查全率）、精確率（Precission）、F1-score?；煜仃嚕–onfusionMatrix）。對于二分類來說，其混淆矩陣為二行二列的，如表2-1所示。（1）TP，即TruePostive，為真正例，樣本的真實類別是正例，且模型預測的結果也是正例。（2）FP，即FalsePositive，為假正例，樣本的真實類別是負例，但模型預測的結果為正例。（3）FN，即FalseNegative，為假負例，樣本的真實類別是正例，但模型預測的結果為負例。（4）TN，即TrueNegative，為真負例，樣本的真實類別是負例，且模型預測的結果也是負例。2.2機器學習基礎精確率是指分類正確的正樣本占預測為正的樣本個數的比例，在信息檢索領域稱為查準率。計算方法為：召回率是指分類正確的正樣本占真正的正樣本個數的比例，在信息檢索領域稱為查全