Python工程應(yīng)用-數(shù)據(jù)分析基礎(chǔ)與實踐課件-第10章

第一章概論西華大學(xué)機器學(xué)習(xí)第十章人工神經(jīng)系統(tǒng)XXX學(xué)校XXX2022目錄Contents從感知機到多層感知機激活函數(shù)和損失函數(shù)反向傳播算法案例：手寫數(shù)字識別

知識引入3節(jié)點：輸出函數(shù)（激活函數(shù)）人工神經(jīng)網(wǎng)絡(luò)：節(jié)點間的連接都代表一個對于通過該連接信號的加權(quán)值，稱之為權(quán)重網(wǎng)絡(luò)的輸出則取決于網(wǎng)絡(luò)的結(jié)構(gòu)、網(wǎng)絡(luò)的連接方式、權(quán)重和激活函數(shù)。

本章知識圖譜4從感知機到多層感知機一1.1神經(jīng)元和感知機6生物神經(jīng)網(wǎng)絡(luò)的簡化模型1.1神經(jīng)元和感知機7神經(jīng)元模型MP的簡單結(jié)構(gòu)

我們使用a來表示輸入、w來表示權(quán)重、箭頭表示傳遞加權(quán)運算、z表示輸出，所以最后的輸出為輸入和權(quán)重的線形加權(quán)和再外層疊加一個sgn函數(shù)(在MP模型中sgn函數(shù)為取符號函數(shù)，此函數(shù)的輸入大于0則輸出1，反之輸出0)。所以最后這個神經(jīng)元的公式應(yīng)該為：

1.1神經(jīng)元和感知機8

我們最后對一個神經(jīng)元進行擴展，可以將sum和sgn函數(shù)合并為函數(shù)f，多個輸出箭頭表示可以連接后面多個神經(jīng)元但是輸出值完全一樣。神經(jīng)元在之后的一個神經(jīng)網(wǎng)絡(luò)中更多的被稱為一個單元或者節(jié)點。

神經(jīng)網(wǎng)絡(luò)中的節(jié)點就是一個個神經(jīng)元節(jié)點組成，最后我們需要去優(yōu)化這些網(wǎng)絡(luò)中節(jié)點的權(quán)重值，來得到我們所預(yù)期的結(jié)果。神經(jīng)網(wǎng)絡(luò)通過計算層的多少可以分為單層神經(jīng)網(wǎng)絡(luò)和多層神經(jīng)網(wǎng)絡(luò)，比如整個網(wǎng)絡(luò)中只有一個計算層就為單層神經(jīng)網(wǎng)絡(luò)，而整個網(wǎng)絡(luò)中有兩個或者以上的計算層就為多層神經(jīng)網(wǎng)絡(luò)。1.1神經(jīng)元和感知機9感知器模型示意圖：

其中兩個輸出公式實質(zhì)上就是線形代數(shù)方程組，所以最后的輸出公式可以寫成：

1.2多層感知機10

邏輯與、邏輯與非以及邏輯或的問題都可以用一根直線將不同的兩類分開，而對于最后一個邏輯異或問題卻不能用一根直線進行類別劃分。由此可見異或問題是線性不可分的，單層感知機就沒辦法解決“異或”問題。

這個問題利用多層感知機就可以解決了。所謂多層感知機，就是在輸入層和輸出層之間加入一個或多個隱層，以形成能夠?qū)颖菊_分類的凸域。1.2多層感知機11

其每一步的計算公式與上面介紹的單層神經(jīng)網(wǎng)絡(luò)沒有太多區(qū)別，計算公式如下：

1.2多層感知機12不同結(jié)構(gòu)的感知機的分類能力比較

隨著隱層層數(shù)的增多，凸域?qū)⒖梢孕纬扇我獾男螤?，因此可以解決任何復(fù)雜的分類問題。實際上，Kolmogorov理論指出：雙隱層感知器就足以解決任何復(fù)雜的分類問題。激活函數(shù)和損失函數(shù)二2.1激活函數(shù)14

在人工神經(jīng)網(wǎng)絡(luò)中，激活函數(shù)就是負責(zé)將神經(jīng)元輸入映射到輸出端的函數(shù)。在神經(jīng)元進行加權(quán)求和計算后，還需要經(jīng)過一個函數(shù)的變換，就像前面介紹關(guān)于神經(jīng)元時，最簡單的sgn函數(shù)就是一個激活函數(shù)。

激活函數(shù)最重要的要求就是不能是線形的。對于一個神經(jīng)網(wǎng)絡(luò)，如果使用線性的激活函數(shù)，那么無論這個網(wǎng)絡(luò)的層數(shù)如何增加，最終都可以把所有層的計算結(jié)合為一層的矩陣計算，本質(zhì)上就成了一個感知器。

激活函數(shù)需要給神經(jīng)元引入非線性因素，才能使得神經(jīng)網(wǎng)絡(luò)可以任意逼近任何非線性的情況，從而應(yīng)用于多樣的非線性模型中去。常用的激活函數(shù)有很多，如Sigmoid函數(shù)、Tanh函數(shù)、ReLU函數(shù)和Softplus函數(shù)等。2.1激活函數(shù)151.Sigmoid函數(shù)

該函數(shù)是將取值為(?∞,+∞)的數(shù)映射到(0,1)之間。sigmoid函數(shù)的公式以及圖形如下：

sigmoid函數(shù)也叫l(wèi)ogistic函數(shù)，用于隱藏層的輸出，輸出在(0,1)之間，它可以將一個實數(shù)映射到(0,1)的范圍內(nèi)，可以用來做二分類。常用于在特征相差比較復(fù)雜或是相差不是特別大的時候效果比較好。sigmoid函數(shù)的計算量大，反向傳播求誤差梯度時，求導(dǎo)涉及到除法。反向傳播的時候，也很容易出現(xiàn)梯度消失的情況，從而無法完成深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。2.1激活函數(shù)162.tanh函數(shù)tanh函數(shù)是將取值為(?∞,+∞)的數(shù)映射到(?1,1)之間，其公式與圖形為：

tanh曲線又稱為雙切正切曲線，其取值范圍為[-1,1]，tanh在特征相差明顯的時候效果會好，在循環(huán)過程中，會不斷的擴大特征效果，與sigmoid函數(shù)相比，tanh是0均值的，因此實際應(yīng)用中，tanh一般要比sigmoid函數(shù)更好。2.1激活函數(shù)173.Relu函數(shù)ReLU函數(shù)又稱為修正線性單元(RectifiedLinearUnit)，是一種分段線性函數(shù)，其彌補了sigmoid函數(shù)以及tanh函數(shù)的梯度消失問題。ReLU函數(shù)的公式以及圖形如下：

ReLU函數(shù)的優(yōu)點包括在輸入為正數(shù)的時候(對于大多數(shù)輸入z空間來說)，不存在梯度消失問題。計算速度要快很多。ReLU函數(shù)只有線性關(guān)系，不管是前向傳播還是反向傳播，都比sigmod和tanh要快很多(sigmod和tanh要計算指數(shù)，計算速度會比較慢)。ReLU函數(shù)的缺點是當(dāng)輸入為負時，梯度為0，會產(chǎn)生梯度消失問題。2.1激活函數(shù)184.Softplus函數(shù)Softplus函數(shù)相當(dāng)于平滑了的ReLU函數(shù)，其公式以及圖形如下，圖中實線部分是ReLU曲線，虛線部分是Softplus曲線：

2.2損失函數(shù)19

在人工神經(jīng)網(wǎng)絡(luò)中，損失函數(shù)用來評估網(wǎng)絡(luò)模型預(yù)測結(jié)果與觀測結(jié)果間概率分布的差異。一個輸入經(jīng)過網(wǎng)絡(luò)模型后輸出的結(jié)果和實際這種輸入應(yīng)該產(chǎn)生的結(jié)果之間的差距需要通過一個損失函數(shù)來衡量。

而損失函數(shù)的選取也同樣需要考慮實際情況。對于一個分類任務(wù)來說，一般可以使用距離損失函數(shù)、交叉熵損失(CrossEntropyLoss)等，而回歸任務(wù)中，一般有均方誤差(MSE)、平均絕對誤差(MAE)等。2.2損失函數(shù)201.距離損失函數(shù)

損失函數(shù)對應(yīng)著最小平方誤差，模型預(yù)測G(x)和真實值y的距離越大，損失就越大，反之則越小。

2.交叉熵損失函數(shù)

其中，G(x)為概率向量。反向傳播算法三3.1反向傳播算法22

對于含有隱藏層的多層神經(jīng)網(wǎng)絡(luò)來說，如何確定神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)一直是一個比較困難的事情。自從出現(xiàn)了反向傳播(BackPropagation,BP)算法，這個問題才得到了一定程度的解決。反向傳播是“誤差反向傳播”的簡稱，是一種與最優(yōu)化方法(如梯度下降法)結(jié)合使用的，用來訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)的常見方法。該方法對網(wǎng)絡(luò)中所有權(quán)重計算損失函數(shù)的梯度。這個梯度會反饋給最優(yōu)化方法，用來更新權(quán)值以最小化損失函數(shù)。反向傳播要求人工神經(jīng)元的激勵函數(shù)可微。3.1反向傳播算法23反向傳播算法主要由兩個階段組成：激勵傳播與權(quán)重更新。

激勵傳播：

前向傳播階段：將訓(xùn)練輸入送入網(wǎng)絡(luò)以獲得激勵響應(yīng)

反向傳播階段：將激勵響應(yīng)同訓(xùn)練輸入對應(yīng)的目標(biāo)輸出求差，從而獲得輸出層和隱藏層的響應(yīng)誤差。

權(quán)重更新：

首先，將輸入激勵和響應(yīng)誤差相乘，從而獲得權(quán)重的梯度；

然后，將這個梯度乘上一個比例并取反后加到權(quán)重上。

激勵傳播與權(quán)重更新可以反復(fù)循環(huán)迭代，直到網(wǎng)絡(luò)對輸入的響應(yīng)達到滿意的預(yù)定的目標(biāo)范圍為止。

總的來說，BP算法利用梯度來更新結(jié)構(gòu)中的參數(shù)，使得損失函數(shù)最小化。手寫數(shù)字識別四4案例手寫數(shù)字識別25

本小節(jié)將利用飛槳框架實現(xiàn)案例4-2和9-1出現(xiàn)過的手寫數(shù)字識別案例。關(guān)于飛槳框架的安裝和基本使用方法請參見第二章相關(guān)章節(jié)。使用飛槳完成手寫數(shù)字識別任務(wù)的代碼結(jié)構(gòu)如下圖所示：4.1數(shù)據(jù)準(zhǔn)備26

和別的案例一樣，首先需要導(dǎo)入數(shù)據(jù)。飛槳中提供了自動加載MINST數(shù)據(jù)的模塊paddle.vision.datasets.MNIST，可以通過下面的方法加載訓(xùn)練集和測試集：訓(xùn)練集：paddle.vision.datasets.MNIST(mode='train',transform=transform)測試集：paddle.vision.datasets.MNIST(mode='test',transform=transform)

數(shù)據(jù)準(zhǔn)備工作需要導(dǎo)入必要的包，準(zhǔn)備訓(xùn)練集和測試集數(shù)據(jù)，以及做一些必要的數(shù)據(jù)處理。4.2網(wǎng)絡(luò)配置27

本案例定義了一個簡單的三層網(wǎng)絡(luò)，兩個大小為100的隱層和一個大小為10的輸出層。因為MNIST數(shù)據(jù)集是手寫0到9的灰度圖像，類別有10個，所以最后的輸出大小是10。輸出層的激活函數(shù)是Softmax，所以最后的輸出層相當(dāng)于一個分類器。加上一個輸入層，最終的結(jié)構(gòu)是：輸入層-->>隱層-->>隱層-->>輸出層。4.3模型訓(xùn)練28

定義幾個用于模型訓(xùn)練結(jié)果展示的函數(shù)，然后再利用動態(tài)圖進行模型訓(xùn)練，同時將效果好的模型保存起來。

代碼運行結(jié)果：4.4模型使用29代碼運行結(jié)果：

預(yù)測之前需要對圖像進行預(yù)處理，首先進行灰度化，然后壓縮圖像大小為28*28，接著將圖像轉(zhuǎn)換成一維向量，最后再對一維向量進行歸一化處理。注：可以嘗試調(diào)整模型的參數(shù)，看看哪種參數(shù)情況下能夠得到更好的結(jié)果。同時還可以嘗試調(diào)整神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，以達到更好的分類效果。

思考題30

請利用人工神經(jīng)網(wǎng)絡(luò)分類螺旋數(shù)據(jù)集。螺旋線數(shù)據(jù)集可以通過以下代碼構(gòu)建。importnumpyasnpimportpandasaspdN=100#每個類中的樣本點D=2#維度K=3#類別個數(shù)X=np.zeros((N*K,D))#樣本inputy=np.zeros(N*K,dtype='uint8')#類別標(biāo)簽forjinxrange(K):ix=range(N*j,N*(j+1))r=np.li