《深度學(xué)習(xí)與Python實(shí)現(xiàn)與應(yīng)用》課件python第三章

目錄contents01神經(jīng)元02網(wǎng)絡(luò)結(jié)構(gòu)03前饋神經(jīng)網(wǎng)絡(luò)06優(yōu)化問(wèn)題05自動(dòng)梯度計(jì)算04反向傳播算法神經(jīng)元013.1神經(jīng)元人工神經(jīng)元（ArtificialNeuron），簡(jiǎn)稱神經(jīng)元（Neuron），是構(gòu)成神經(jīng)網(wǎng)絡(luò)的基本單元，其主要是模擬生物神經(jīng)元的結(jié)構(gòu)和特性，接收一組輸入信號(hào)并產(chǎn)生輸出。函數(shù)表示：3.1.1Sigmoid函數(shù)Sigmoid型函數(shù)是指一類S型曲線函數(shù)，為兩端飽和函數(shù)。常用的Sigmoid型函數(shù)有Logistic函數(shù)和

Tanh函數(shù)。Logistic函數(shù)

Tanh函數(shù)3.1.1Sigmoid函數(shù)（1）Hard-Logistic函數(shù)和Hard-Tanh函數(shù)Logistic函數(shù)和Tanh函數(shù)都是Sigmoid型函數(shù)，具有飽和性，但是計(jì)算開(kāi)銷較大。因?yàn)檫@兩個(gè)函數(shù)都是在中間（0附近）近似線性，兩端飽和。因此，這兩個(gè)函數(shù)可以通過(guò)分段函數(shù)來(lái)近似。Logistic函數(shù)在0附近的一階泰勒展開(kāi)（Taylorexpansion）為：這樣Logistic函數(shù)可以用分段函數(shù)hard-logistic(x)來(lái)近似：3.1.1Sigmoid函數(shù)3.1.2ReLU函數(shù)ReLU（RectifiedLinearUnit，修正線性單元）[Nairetal.,2010]，也叫Rectifier函數(shù)[Glorotetal.,2011]，是目前深度神經(jīng)網(wǎng)絡(luò)中經(jīng)常使用的激活函數(shù)。定義：3.1.2ReLU函數(shù)（1）帶泄露的ReLU帶泄露的ReLU的定義如下：其中γ是一個(gè)很小的常數(shù)，比如0.01．當(dāng)γ<1時(shí)，3.1.2ReLU函數(shù)（2）帶參數(shù)的ReLU帶參數(shù)的ReLU（ParametricReLU，PReLU）引入一個(gè)可學(xué)習(xí)的參數(shù)，不同神經(jīng)元可以有不同的參數(shù)：其中γ是一個(gè)很小的常數(shù)，比如0.01．當(dāng)γ<1時(shí)，3.1.2ReLU函數(shù)（3）ELU函數(shù)ELU（ExponentialLinearUnit，指數(shù)線性單元）是一個(gè)近似的零中心化的非線性函數(shù)，其定義為：其中γ≥0是一個(gè)超參數(shù)，決定x≤0時(shí)的飽和曲線，并調(diào)整輸出均值在0附近。3.1.2ReLU函數(shù)（4）softplus函數(shù)Softplus

函數(shù)可以看作Rectifier函數(shù)的平滑版本，其定義為：3.1.3Swish函數(shù)Swish函數(shù)是一種自門控（Self-Gated）激活函數(shù)，定義為：3.1.4GELU函數(shù)GELU（GaussianErrorLinearUnit，高斯誤差線性單元）也是一種通過(guò)門控機(jī)制來(lái)調(diào)整其輸出值的激活函數(shù)，和Swish函數(shù)比較類似。由于高斯分布的累積分布函數(shù)為S型函數(shù)，因此GELU函數(shù)可以用Tanh函數(shù)或Logistic函數(shù)來(lái)近似，3.1.5Maxout單元

Maxout

單元的非線性函數(shù)定義為：網(wǎng)絡(luò)結(jié)構(gòu)023.2網(wǎng)絡(luò)結(jié)構(gòu)三種不同的神經(jīng)網(wǎng)絡(luò)：前饋神經(jīng)網(wǎng)絡(luò)033.3前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)（FeedforwardNeuralNetwork，F(xiàn)NN）是最早發(fā)明的簡(jiǎn)單人工神經(jīng)網(wǎng)絡(luò)。前饋神經(jīng)網(wǎng)絡(luò)也經(jīng)常稱為多層感知器（Multi-LayerPerceptron，MLP）。3.3前饋神經(jīng)網(wǎng)絡(luò)

或整個(gè)函數(shù)輸出過(guò)程：3.3.1通用近似定理

通用近似定理說(shuō)明了神經(jīng)網(wǎng)絡(luò)的計(jì)算能力可以去近似一個(gè)給定的連續(xù)函數(shù)。但并沒(méi)有給出如何找到這樣一個(gè)網(wǎng)絡(luò)，以及是否是最優(yōu)的。3.3.2應(yīng)用到機(jī)器學(xué)習(xí)

如果給定一個(gè)訓(xùn)練樣本，那分類結(jié)果可以表示為：3.3.3參數(shù)學(xué)習(xí)

反向傳播算法043.4反向傳播算法

3.4反向傳播算法

3.4反向傳播算法

3.4反向傳播算法

3.4反向傳播算法

3.4反向傳播算法在計(jì)算出每一層的誤差項(xiàng)之后，我們就可以得到每一層參數(shù)的梯度。因此，使用誤差反向傳播算法的前饋神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程可以分為以下三步：

自動(dòng)梯度計(jì)算053.5自動(dòng)梯度計(jì)算自動(dòng)計(jì)算梯度的方法可以分為以下三類：數(shù)值微分、符號(hào)微分和自動(dòng)微分。數(shù)值微分（NumericalDifferentiation）是用數(shù)值方法來(lái)計(jì)算函數(shù)f(x)的導(dǎo)數(shù)。函數(shù)f(x)的點(diǎn)x的導(dǎo)數(shù)定義為：在實(shí)際的應(yīng)用中一般采?。?.5.1數(shù)值微分3.5.2符號(hào)微分符號(hào)微分（SymbolicDifferentiation）是一種基于符號(hào)計(jì)算的自動(dòng)求導(dǎo)方法。符號(hào)計(jì)算也叫代數(shù)計(jì)算，是指用計(jì)算機(jī)來(lái)處理帶有變量的數(shù)學(xué)表達(dá)式。。符號(hào)計(jì)算的輸入和輸出都是數(shù)學(xué)表達(dá)式，一般包括對(duì)數(shù)學(xué)表達(dá)式的化簡(jiǎn)、因式分解、微分、積分、解代數(shù)方程、求解常微分方程等運(yùn)算?；?jiǎn)示例：優(yōu)點(diǎn)：和平臺(tái)無(wú)關(guān)，可以在CPU或GPU上運(yùn)行。缺點(diǎn)：1、編譯時(shí)間較長(zhǎng)，特別是對(duì)于循環(huán)，需要很長(zhǎng)時(shí)間進(jìn)行編譯；2、為了進(jìn)行符號(hào)微分，一般需要設(shè)計(jì)一種專門的語(yǔ)言來(lái)表示數(shù)學(xué)表達(dá)式，并且要對(duì)變量（符號(hào)）進(jìn)行預(yù)先聲明；3、很難對(duì)程序進(jìn)行調(diào)試。3.5.3自動(dòng)微分自動(dòng)微分的基本原理是所有的數(shù)值計(jì)算可以分解為一些基本操作，包含+,?,×,/和一些初等函數(shù)exp,log,sin,cos等，然后利用鏈?zhǔn)椒▌t來(lái)自動(dòng)計(jì)算一個(gè)復(fù)合函數(shù)的梯度。例：，x=1,w=0,b=03.5.3自動(dòng)微分

3.5.3自動(dòng)微分其中6個(gè)基本函數(shù)如下表：按照計(jì)算導(dǎo)數(shù)的順序，自動(dòng)微分可以分為兩種模式：前向模式和反向模式。3.5.3自動(dòng)微分

3.5.3自動(dòng)微分

符號(hào)微分和自動(dòng)微分優(yōu)化問(wèn)題063.6.1非凸優(yōu)化問(wèn)題

3.6.2梯度消失問(wèn)題在神經(jīng)網(wǎng)絡(luò)中誤差反向傳播的迭代公式為誤差從輸出層反向傳播時(shí)，在每一層都要乘以該層的激活函數(shù)的導(dǎo)數(shù)。這里的激活函數(shù)使用Sigmoid型函數(shù)：Logistic函數(shù)σ(x)或Tanh函數(shù)時(shí)，其導(dǎo)數(shù)為3.6.2梯度消失問(wèn)題由于Sigmoid型函數(shù)的飽和性，飽和區(qū)的導(dǎo)數(shù)