深度學(xué)習(xí)及自動(dòng)駕駛應(yīng)用 課件 第2章 深度學(xué)習(xí)基礎(chǔ)

Chapter2深度學(xué)習(xí)基礎(chǔ)第二章DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第2頁(yè)2.4Drop—out2.1神經(jīng)網(wǎng)絡(luò)的定義2.3神經(jīng)網(wǎng)絡(luò)步驟2.2神經(jīng)網(wǎng)絡(luò)的框架目錄Content車的識(shí)別一個(gè)經(jīng)典的定義：神經(jīng)網(wǎng)絡(luò)是由具有適應(yīng)性的簡(jiǎn)單單元組成的廣泛并行互連網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)對(duì)真實(shí)世界物體所作出的交互反應(yīng)。神經(jīng)網(wǎng)絡(luò)的定義生物神經(jīng)元結(jié)構(gòu)人腦視覺(jué)機(jī)理視覺(jué)影像反射光線神經(jīng)脈沖雙極細(xì)胞i.視感覺(jué)階段-信息采集紋狀皮層初級(jí)視覺(jué)信息輸入人體神經(jīng)網(wǎng)絡(luò)人腦視覺(jué)機(jī)理ii.視知覺(jué)階段-信息認(rèn)知紋狀皮層紋外視覺(jué)皮層初級(jí)視覺(jué)信息中級(jí)視覺(jué)信息海馬體長(zhǎng)短時(shí)記憶信息神經(jīng)脈沖輸入人體神經(jīng)網(wǎng)絡(luò)從原始信號(hào)攝入（瞳孔攝入像素Pixels）

初步處理（大腦皮層某些細(xì)胞發(fā)現(xiàn)邊緣和方向）

抽象（大腦判定，眼前的物體的形狀，是圓形的）

進(jìn)一步抽象（大腦進(jìn)一步判定該物體是人臉）從原始信號(hào)，做低級(jí)抽象，逐漸向高級(jí)抽象迭代人腦視覺(jué)機(jī)理：神經(jīng)-中樞-大腦測(cè)量空間（表象）特征空間（概念）人體神經(jīng)網(wǎng)絡(luò)圖像在計(jì)算機(jī)中的存儲(chǔ)方式神經(jīng)網(wǎng)絡(luò)最初是在圖像識(shí)別中取得了很好的效果。

一張圖片被表示成三維數(shù)組的形式，每個(gè)像素的值從0到255例如：300*100*3表示圖像的長(zhǎng)寬和顏色通道數(shù)列矩陣人工神經(jīng)網(wǎng)絡(luò)模仿人類的視覺(jué)系統(tǒng)底層特征中層特征高層特征像素矩陣可訓(xùn)練的分類器圖像識(shí)別基本框架（場(chǎng)景識(shí)別、目標(biāo)識(shí)別、人臉識(shí)別…）測(cè)量空間特征空間類別空間人工神經(jīng)網(wǎng)絡(luò)目的使用深度學(xué)習(xí)的目的：尋找一個(gè)合適的函數(shù)數(shù)字圖片識(shí)別機(jī)器翻譯自動(dòng)問(wèn)答“3”“傾盆大雨”“上?！薄癛ain

cats

and

dogs”“姚明是哪里人？”人工神經(jīng)網(wǎng)絡(luò)目的圖像識(shí)別“燙燙燙燙”“8”“2”學(xué)習(xí)任務(wù):尋找手寫識(shí)別函數(shù)，候選函數(shù)集合為：人工神經(jīng)網(wǎng)絡(luò)目的學(xué)習(xí)過(guò)程確定函數(shù)集合如何評(píng)價(jià)好壞挑出最好函數(shù)=“2”=“3”….=“0”=“5”答案人人機(jī)器怎么做：對(duì)答案人工神經(jīng)網(wǎng)絡(luò)框架學(xué)習(xí)過(guò)程建立模型損失函數(shù)參數(shù)學(xué)習(xí)=“2”=“3”….=“0”=“5”訓(xùn)練數(shù)據(jù)人人機(jī)器監(jiān)督學(xué)習(xí)（SupervisedLearning）人工神經(jīng)網(wǎng)絡(luò)框架學(xué)習(xí)過(guò)程建立模型損失函數(shù)參數(shù)學(xué)習(xí)答案人人機(jī)器

XY0

人工神經(jīng)網(wǎng)絡(luò)框架建立模型損失函數(shù)“0”“2”“5”參數(shù)學(xué)習(xí)Using“羅紅霉素”TrainingTesting監(jiān)督學(xué)習(xí)任務(wù):手寫識(shí)別訓(xùn)練數(shù)據(jù)圖像識(shí)別測(cè)試數(shù)據(jù)Step1Step2Step3人工神經(jīng)網(wǎng)絡(luò)框架建立模型選擇什么樣的網(wǎng)絡(luò)結(jié)構(gòu)選擇多少層數(shù)，每層選擇多少神經(jīng)元損失函數(shù)選擇常用損失函數(shù)，平方誤差，交叉熵….參數(shù)學(xué)習(xí)梯度下降反向傳播算法人工神經(jīng)網(wǎng)絡(luò)步驟建立模型選擇什么樣的網(wǎng)絡(luò)結(jié)構(gòu)選擇多少層數(shù)，每層選擇多少神經(jīng)元損失函數(shù)選擇常用損失函數(shù)，平方誤差，交叉熵….參數(shù)學(xué)習(xí)梯度下降反向傳播算法人工神經(jīng)網(wǎng)絡(luò)步驟單層感知器輸入節(jié)點(diǎn)：x1,x2,x3輸出節(jié)點(diǎn)：y權(quán)向量：w1,w2,w3偏置因子：b激活函數(shù)：sign(x)=1 x>=0-1 x<0單層感知器（SingleLayerPerceptron）是最簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)。它包含輸入層和輸出層，而輸入層和輸出層是直接相連的。y

=1 (0.5x1+0.5x2+0.5x3-0.6>=0)-1 (0.5x1+0.5x2+0.5x3-0.6<0)單層感知器舉例權(quán)值w都設(shè)成0.5，偏置b設(shè)為-0.6單層感知器單層感知器學(xué)習(xí)過(guò)程i

=

0,1,2…y是網(wǎng)絡(luò)輸出f是sign函數(shù)η表示學(xué)習(xí)率t是標(biāo)簽值t和y的取值為±1權(quán)值調(diào)整公式假設(shè)：t=1，η=1，x1=1，w1=-5，b=0:單層感知器學(xué)習(xí)過(guò)程簡(jiǎn)化演示，假設(shè)只有一個(gè)樣本，一個(gè)特征??取值一般取0-1之間;學(xué)習(xí)率太大容易造成權(quán)值調(diào)整不穩(wěn)定;學(xué)習(xí)率太小，權(quán)值調(diào)整太慢，迭代次數(shù)太多。單層感知器學(xué)習(xí)過(guò)程1.誤差小于某個(gè)預(yù)先設(shè)定的較小的值2.兩次迭代之間的權(quán)值變化已經(jīng)很小3.設(shè)定最大迭代次數(shù)，當(dāng)?shù)^(guò)最大次數(shù)就停止模型收斂條件單層感知器學(xué)習(xí)過(guò)程題目：假設(shè)平面坐標(biāo)系上有四個(gè)點(diǎn)，(3,3),(4,3)這兩個(gè)點(diǎn)的標(biāo)簽為1，(1,1),(0,2)這兩個(gè)點(diǎn)的標(biāo)簽為-1。構(gòu)建單層感知器來(lái)分類。單層感知器實(shí)例思路：我們要分類的數(shù)據(jù)是2維數(shù)據(jù)，所以只需要2個(gè)輸入節(jié)點(diǎn)，我們可以把神經(jīng)元的偏置值也設(shè)置成一個(gè)節(jié)點(diǎn)，偏置也是一個(gè)輸入，恒等于1，這樣我們需要3個(gè)輸入節(jié)點(diǎn)。輸入數(shù)據(jù)有4個(gè)(1,3,3),(1,4,3),(1,1,1),(1,0,2)數(shù)據(jù)對(duì)應(yīng)的標(biāo)簽為(1,1,-1,-1)初始化權(quán)值w0,w1,w2取-1到1的隨機(jī)數(shù)，學(xué)習(xí)率(learning

rate)設(shè)置為0.11，激活函數(shù)為sign函數(shù)。單層感知器程序?qū)崿F(xiàn)單層感知器分類.ipynb建立模型選擇什么樣的網(wǎng)絡(luò)結(jié)構(gòu)選擇多少層數(shù)，每層選擇多少神經(jīng)元損失函數(shù)選擇常用損失函數(shù)，平方誤差，交叉熵….參數(shù)學(xué)習(xí)梯度下降反向傳播算法人工神經(jīng)網(wǎng)絡(luò)步驟單個(gè)神經(jīng)元y神經(jīng)元…偏置bias權(quán)重weights………激活函數(shù)理解：簡(jiǎn)單線性函數(shù)f(x)=kx+b(x是向量，表示多維，k是斜率，b是截距)建立模型

網(wǎng)絡(luò)結(jié)構(gòu)神經(jīng)元不同的連接方式構(gòu)成不同的網(wǎng)絡(luò)結(jié)構(gòu)每個(gè)神經(jīng)元都有自己的權(quán)重和偏置參數(shù)建立模型

建立模型—淺層神經(jīng)網(wǎng)絡(luò)建立模型—淺層神經(jīng)網(wǎng)絡(luò)建立模型—深度神經(jīng)網(wǎng)絡(luò)為什么引入激活函數(shù)為了增強(qiáng)網(wǎng)絡(luò)的表達(dá)能力，我們需要激活函數(shù)來(lái)將線性函數(shù)->非線性函數(shù)深層神經(jīng)網(wǎng)絡(luò)中最常用的是ReLU，Sigmoid使用較少。建立模型神經(jīng)元CNN在卷積層盡量不要使用Sigmoid和Tanh，將導(dǎo)致梯度消失。首先選用ReLU，使用較小的學(xué)習(xí)率，以免造成神經(jīng)元死亡的情況。??如果ReLU失效，考慮使用LeakyReLU、PReLU、ELU或者M(jìn)axout，此時(shí)一般情況都可以解決。激活函數(shù)表達(dá)式以及對(duì)應(yīng)的微分函數(shù)建立模型Google神經(jīng)網(wǎng)絡(luò)演示平臺(tái)http://playground.tensorflow.org/前饋神經(jīng)網(wǎng)絡(luò)建立模型1-11-21-10激活函數(shù)1

0.980.124-2

自左向右依次計(jì)算建立模型1-11-21-101

0.980.124-2

2-1-1-20.860.113-14-10.620.8300-22

前饋神經(jīng)網(wǎng)絡(luò)輸出層隱藏層輸入層隱藏層數(shù)很多意味著網(wǎng)絡(luò)越深神經(jīng)元建立模型……………………………………y1y2ymx1x2xn…………前饋神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)其實(shí)就是按照一定規(guī)則連接起來(lái)的多個(gè)神經(jīng)元。輸出層常用softmax函數(shù)作為輸出層激活函數(shù)：容易理解、便于計(jì)算

32.7200.05建立模型1-30.880.12≈0應(yīng)用示例：手寫識(shí)別輸入每一個(gè)輸出值代表其對(duì)應(yīng)標(biāo)簽的概率值輸出神經(jīng)網(wǎng)絡(luò)is1is2is8……0.10.10.716x16=256……黑色像素點(diǎn)→1白色像素點(diǎn)→0建立模型“8”……神經(jīng)網(wǎng)絡(luò)圖片被識(shí)別成數(shù)字“8”應(yīng)用示例：手寫體識(shí)別設(shè)置合適的網(wǎng)絡(luò)結(jié)構(gòu)：層數(shù)和結(jié)點(diǎn)個(gè)數(shù)、激活函數(shù)問(wèn)題：應(yīng)該設(shè)置多少層，多少結(jié)點(diǎn)？是否需要選擇其他網(wǎng)絡(luò)結(jié)構(gòu)如CNN/RNN？建立模型is1is2is0…………………………………………y1y2ymx1x2xn…………X建立模型選擇什么樣的網(wǎng)絡(luò)結(jié)構(gòu)選擇多少層數(shù)，每層選擇多少神經(jīng)元損失函數(shù)選擇常用損失函數(shù)，平方誤差，交叉熵….參數(shù)學(xué)習(xí)梯度下降反向傳播算法使用步驟損失函數(shù)分類損失回歸損失損失函數(shù)的設(shè)計(jì)依賴于具體的任務(wù)16x16=256y1

值最大；對(duì)于數(shù)字識(shí)別任務(wù)，設(shè)計(jì)用于分類的損失函數(shù)，使得學(xué)習(xí)目標(biāo)變?yōu)椋狠斎?y8

值最大······輸入:損失函數(shù)………………………………y1y2y10x1x2x256…………is1is2……is0Softmax

“1”……100常用損失函數(shù)：平方損失函數(shù)、交叉熵?fù)p失函數(shù)目標(biāo)盡可能接近好的參數(shù)使得所有訓(xùn)練數(shù)據(jù)的損失越小越好損失函數(shù)………………………………y1y2y10x1x2x256…………Softmax

學(xué)習(xí)一組參數(shù)損失函數(shù)對(duì)所有訓(xùn)練數(shù)據(jù)：

即確定參數(shù)使得總損失L最小總損失:盡可能小找到一個(gè)函數(shù)使得總損失L最小神經(jīng)網(wǎng)絡(luò)樣本x1y1

樣本x2y2

神經(jīng)網(wǎng)絡(luò)樣本x3y3

神經(jīng)網(wǎng)絡(luò)樣本xRyR

……神經(jīng)網(wǎng)絡(luò)建立模型選擇什么樣的網(wǎng)絡(luò)結(jié)構(gòu)選擇多少層數(shù)，每層選擇多少神經(jīng)元損失函數(shù)選擇常用損失函數(shù)，平方誤差，交叉熵….參數(shù)學(xué)習(xí)梯度下降反向傳播算法使用步驟參數(shù)學(xué)習(xí)

枚舉所有可能的取值例如：語(yǔ)音識(shí)別模型有8層，每層1000神經(jīng)元參數(shù)個(gè)數(shù)巨大L+1層……L層……106權(quán)重參數(shù)1000神經(jīng)元1000神經(jīng)元

參數(shù)學(xué)習(xí)梯度下降法總損失神經(jīng)網(wǎng)絡(luò)參數(shù)w初始值下的總損失總損失值最小總損失變小通過(guò)調(diào)節(jié)參數(shù)w，逐步逼近總損失最小值參數(shù)學(xué)習(xí)初始值w選擇一個(gè)初始值w，Random,RBMpre-train

梯度為正梯度為負(fù)減小w增加w

梯度下降法選擇一個(gè)初始值w，Random,RBMpre-train

η

是“學(xué)習(xí)率”迭代參數(shù)學(xué)習(xí)

梯度下降法總損失神經(jīng)網(wǎng)絡(luò)參數(shù)w在平坦區(qū)變化非常緩慢

停在鞍點(diǎn)

參數(shù)學(xué)習(xí)全局最優(yōu)值停在局部最優(yōu)值梯度下降法初始值影響選取不同的初始值，可能到達(dá)不同的局部最小值參數(shù)學(xué)習(xí)ABCDACBD例如：使用步驟建立模型選擇什么樣的網(wǎng)絡(luò)結(jié)構(gòu)選擇多少層數(shù)，每層選擇多少神經(jīng)元損失函數(shù)選擇常用損失函數(shù)，平方誤差，交叉熵….參數(shù)學(xué)習(xí)梯度下降反向傳播算法BP(Back

Propagation)神經(jīng)網(wǎng)絡(luò)1986年，由McClelland和Rumelhart為首的科學(xué)家小組提出，解決了多層神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)問(wèn)題，極大促進(jìn)了神經(jīng)網(wǎng)絡(luò)的發(fā)展。BP神經(jīng)網(wǎng)絡(luò)也是整個(gè)人工神經(jīng)網(wǎng)絡(luò)體系中的精華，廣泛應(yīng)用于分類識(shí)別、逼近、回歸、壓縮等領(lǐng)域。在實(shí)際應(yīng)用中，大約80%的神經(jīng)網(wǎng)絡(luò)模型都采取了BP網(wǎng)絡(luò)或BP網(wǎng)絡(luò)的變化形式?！瓂1y2ymx1x2xn…………反向傳播算法輸入：x

總誤差L

隱藏層參數(shù)學(xué)習(xí)InputLayer1Layer2Output反向傳播的基本思想就是通過(guò)計(jì)算輸出層與期望值之間的誤差來(lái)調(diào)整網(wǎng)絡(luò)參數(shù)，從而使得誤差變小。信號(hào)正向傳播

…

參數(shù)學(xué)習(xí)

…

參數(shù)學(xué)習(xí)

信號(hào)正向傳播

…

參數(shù)學(xué)習(xí)

信號(hào)正向傳播

…

參數(shù)學(xué)習(xí)

信號(hào)正向傳播

…

參數(shù)學(xué)習(xí)

信號(hào)正向傳播

…

參數(shù)學(xué)習(xí)

信號(hào)正向傳播

…

參數(shù)學(xué)習(xí)

信號(hào)正向傳播

…

參數(shù)學(xué)習(xí)

信號(hào)正向傳播每一層的各個(gè)輸出都是參數(shù)w的函數(shù)參數(shù)學(xué)習(xí)例子演示其中，輸入數(shù)據(jù)

i1=0.05，i2=0.10;輸出數(shù)據(jù)o1=0.01,o2=0.99;初始權(quán)重：w1=0.15,w2=0.20,w3=0.25,w4=0.30;w5=0.40,w6=0.45,w7=0.50,w8=0.55目標(biāo)：給出輸入數(shù)據(jù)i1,i2(0.05和0.10)，訓(xùn)練模型，更新權(quán)重參數(shù)，使輸出盡可能與原始輸出o1,o2(0.01和0.99)接近。參數(shù)學(xué)習(xí)例子演示Step1:信號(hào)前向傳播(激活函數(shù)為sigmoid)：1.輸入層---->隱藏層：2.隱藏層---->輸出層：輸出值為[0.75136079,0.772928465]，與實(shí)際值[0.01,0.99]相差大。參數(shù)學(xué)習(xí)例子演示Step2:誤差反向傳播1.計(jì)算總誤差總誤差：(squareerror)參數(shù)學(xué)習(xí)例子演示（以權(quán)重參數(shù)w5為例）這是一個(gè)“鏈?zhǔn)角髮?dǎo)”過(guò)程Step2:誤差反向傳播2.隱藏層---->輸出層的權(quán)值更新：參數(shù)學(xué)習(xí)例子演示反向傳播計(jì)算：“鏈?zhǔn)角髮?dǎo)”參數(shù)更新：參數(shù)學(xué)習(xí)例子演示同理，可更新w6,w7,w8:參數(shù)學(xué)習(xí)例子演示Step2:誤差反向傳播3.輸入層---->隱藏層的權(quán)值更新：同理，計(jì)算出：兩者相加得到總值：參數(shù)學(xué)習(xí)例子演示3.輸入層---->隱藏層的權(quán)值更新：三者相乘：最后，更新w1權(quán)值：Step2:誤差反向傳播參數(shù)學(xué)習(xí)3.輸入層---->隱藏層的權(quán)值更新：同理，可更新w2,w3,w4:第一次誤差反向傳播完成后，總誤差E(total)由0.298371109下降至0.291027924。把更新的權(quán)值重新計(jì)算，不停地迭代，迭代10000次后，總誤差為0.000035085，輸出為[0.015912196,0.984065734](原輸