深度學(xué)習(xí)及自動(dòng)駕駛應(yīng)用 課件 第4章 網(wǎng)絡(luò)優(yōu)化與正則化

Chapter4網(wǎng)絡(luò)優(yōu)化與正則化第四章DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第2頁(yè)4.4數(shù)據(jù)預(yù)處理4.1網(wǎng)絡(luò)優(yōu)化4.3參數(shù)初始化方法4.2優(yōu)化方法4.5逐層歸一化目錄Content4.6超參數(shù)優(yōu)化4.7網(wǎng)絡(luò)正則化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第3頁(yè)深度學(xué)習(xí)的矛與盾正則化優(yōu)化降低模型復(fù)雜度經(jīng)驗(yàn)風(fēng)險(xiǎn)最小DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第4頁(yè)4.1網(wǎng)絡(luò)優(yōu)化結(jié)構(gòu)差異大沒有通用的優(yōu)化算法超參數(shù)多非凸優(yōu)化問題參數(shù)初始化逃離局部最優(yōu)梯度消失（爆炸）問題平坦最小值（FlatMinima）一個(gè)平坦最小值的鄰域內(nèi)，所有點(diǎn)對(duì)應(yīng)的訓(xùn)練損失都比較接近大部分的局部最小解是等價(jià)的局部最小解對(duì)應(yīng)的訓(xùn)練損失都可能非常接近于全局最小解對(duì)應(yīng)的訓(xùn)練損失DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第5頁(yè)4.1網(wǎng)絡(luò)優(yōu)化高維空間的非凸優(yōu)化問題鞍點(diǎn)（SaddlePoint）駐點(diǎn)（StationaryPoint）：梯度為0的點(diǎn)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第6頁(yè)4.1網(wǎng)絡(luò)優(yōu)化VISUALIZINGTHELOSSLANDSCAPEOFNNwithoutskipconnectionswithskipconnectionsLiH,XuZ,TaylorG,etal.Visualizingthelosslandscapeofneuralnets[C]//AdvancesinNeuralInformationProcessingSystems.2018:6389-6399.DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第7頁(yè)4.1網(wǎng)絡(luò)優(yōu)化神經(jīng)網(wǎng)絡(luò)優(yōu)化的改善方法更有效的優(yōu)化算法來提高優(yōu)化方法的效率和穩(wěn)定性動(dòng)態(tài)學(xué)習(xí)率調(diào)整梯度估計(jì)修正更好的參數(shù)初始化方法、數(shù)據(jù)預(yù)處理方法來提高優(yōu)化效率修改網(wǎng)絡(luò)結(jié)構(gòu)來得到更好的優(yōu)化地形優(yōu)化地形（OptimizationLandscape）指在高維空間中損失函數(shù)的曲面形狀好的優(yōu)化地形通常比較平滑使用ReLU激活函數(shù)、殘差連接、逐層歸一化等使用更好的超參數(shù)優(yōu)化方法DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第8頁(yè)4.2優(yōu)化方法隨機(jī)梯度下降DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第9頁(yè)4.2優(yōu)化方法小批量隨機(jī)梯度下降minibatch

幾個(gè)關(guān)鍵因素：小批量樣本數(shù)量梯度學(xué)習(xí)率DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第10頁(yè)4.2優(yōu)化方法批量大小的影響批量大小不影響隨機(jī)梯度的期望，但是會(huì)影響隨機(jī)梯度的方差批量越大，隨機(jī)梯度的方差越小，引入的噪聲也越小，訓(xùn)練也越穩(wěn)定，因此可以設(shè)置較大的學(xué)習(xí)率而批量較小時(shí)，需要設(shè)置較小的學(xué)習(xí)率，否則模型會(huì)不收斂4種批量大小對(duì)應(yīng)的學(xué)習(xí)率設(shè)置不同，因此并不是嚴(yán)格對(duì)比小批量梯度下降中，每次選取樣本數(shù)量對(duì)損失下降的影響DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第11頁(yè)4.2優(yōu)化方法改進(jìn)方法標(biāo)準(zhǔn)的（小批量）梯度下降學(xué)習(xí)率學(xué)習(xí)率衰減AdagradAdadeltaRMSprop梯度Momentum計(jì)算負(fù)梯度的“加權(quán)移動(dòng)平均”作為參數(shù)的更新方向Nesterovacceleratedgradient梯度截?cái)郃damisbetterchoice!Adam梯度方向?qū)嶋H更新方向DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第12頁(yè)4.2優(yōu)化方法學(xué)習(xí)率的影響DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第13頁(yè)4.2優(yōu)化方法學(xué)習(xí)率的衰減梯級(jí)衰減（stepdecay）線性衰減（LinearDecay）衰減示意圖DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第14頁(yè)4.2優(yōu)化方法周期性學(xué)習(xí)率的調(diào)整DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第15頁(yè)4.2優(yōu)化方法CyclicalLearningRatesDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第16頁(yè)4.2優(yōu)化方法自適應(yīng)學(xué)習(xí)率AdagradRMSpropAdadeltaDeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第17頁(yè)5.2優(yōu)化方法梯度方向優(yōu)化動(dòng)量法（MomentumMethod）用之前積累動(dòng)量來替代真正的梯度。每次迭代的梯度可以看作是加速度DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第18頁(yè)4.2優(yōu)化方法梯度方向優(yōu)化Nesterov加速梯度DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第19頁(yè)4.2優(yōu)化方法梯度方向優(yōu)化Adam算法≈動(dòng)量法+RMSprop先計(jì)算兩個(gè)移動(dòng)平均偏差修正更新DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第20頁(yè)4.2優(yōu)化方法鞍點(diǎn)幾種方法的對(duì)比DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第21頁(yè)4.2優(yōu)化方法梯度截?cái)嗵荻冉財(cái)嗍且环N比較簡(jiǎn)單的啟發(fā)式方法，把梯度的模限定在一個(gè)區(qū)間，當(dāng)梯度的模小于或大于這個(gè)區(qū)間時(shí)就進(jìn)行截?cái)喟粗到財(cái)喟茨＝財(cái)郉eepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第22頁(yè)4.2優(yōu)化方法小結(jié)大部分優(yōu)化算法可以使用下面公式來統(tǒng)一描述概括：gt為第t步的梯度αt為第t步的學(xué)習(xí)率DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第23頁(yè)4.3參數(shù)初始化方法參數(shù)初始化參數(shù)不能初始化為0！為什么？對(duì)稱權(quán)重問題！初始化方法預(yù)訓(xùn)練初始化隨機(jī)初始化固定值初始化偏置（Bias）通常用0來初始化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第24頁(yè)4.3參數(shù)初始化方法隨機(jī)初始化Gaussian分布初始化

Gaussian初始化方法是最簡(jiǎn)單的初始化方法，參數(shù)從一個(gè)固定均值（比如0）和固定方差（比如0.01）的Gaussian分布進(jìn)行隨機(jī)初始化。均勻分布初始化參數(shù)可以在區(qū)間[?r,r]內(nèi)采用均勻分布進(jìn)行初始化。DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第25頁(yè)4.3參數(shù)初始化方法隨機(jī)初始化范數(shù)保持性（Norm-Preserving）一個(gè)??層的等寬線性網(wǎng)絡(luò)為了避免梯度消失或梯度爆炸問題，我們希望誤差項(xiàng)基于方差縮放的參數(shù)初始化正交初始化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第26頁(yè)5.3參數(shù)初始化方法隨機(jī)初始化基于方差縮放的參數(shù)初始化Xavier初始化和He初始化正交初始化1）用均值為0、方差為1的高斯分布初始化一個(gè)矩陣2）將這個(gè)矩陣用奇異值分解得到兩個(gè)正交矩陣，并使用其中之一作為權(quán)重矩陣DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第27頁(yè)5.4數(shù)據(jù)預(yù)處理5.1網(wǎng)絡(luò)優(yōu)化5.3參數(shù)初始化方法5.2優(yōu)化方法5.5逐層歸一化目錄Content5.6超參數(shù)優(yōu)化5.7網(wǎng)絡(luò)正則化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第28頁(yè)5.4數(shù)據(jù)預(yù)處理數(shù)據(jù)歸一化

數(shù)據(jù)歸一化最小最大值歸一化標(biāo)準(zhǔn)化PCA

數(shù)據(jù)歸一化對(duì)梯度的影響DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第29頁(yè)5.5逐層歸一化逐層歸一化

目的更好的尺度不變性內(nèi)部協(xié)變量偏移更平滑的優(yōu)化地形

歸一化方法批量歸一化（BatchNormalization，BN）層歸一化（LayerNormalization）權(quán)重歸一化（WeightNormalization）局部響應(yīng)歸一化（LocalResponseNormalization，LRN）DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第30頁(yè)5.5逐層歸一化批量歸一化給定一個(gè)包含K個(gè)樣本的小批量樣本集合，計(jì)算均值和方差批量歸一化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第31頁(yè)5.5逐層歸一化層歸一化

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第32頁(yè)5.5逐層歸一化批量歸一化VS層歸一化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第33頁(yè)5.5逐層歸一化其他歸一化方法DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第34頁(yè)5.4數(shù)據(jù)預(yù)處理5.1網(wǎng)絡(luò)優(yōu)化5.3參數(shù)初始化方法5.2優(yōu)化方法5.5逐層歸一化目錄Content5.6超參數(shù)優(yōu)化5.7網(wǎng)絡(luò)正則化DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第35頁(yè)5.6超參數(shù)優(yōu)化超參數(shù)層數(shù)每層神經(jīng)元個(gè)數(shù)激活函數(shù)學(xué)習(xí)率（以及動(dòng)態(tài)調(diào)整算法）正則化系數(shù)mini-batch大小優(yōu)化方法網(wǎng)格搜索隨機(jī)搜索貝葉斯優(yōu)化動(dòng)態(tài)資源分配神經(jīng)架構(gòu)搜索DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第36頁(yè)5.6超參數(shù)優(yōu)化超參數(shù)假設(shè)總共有K個(gè)超參數(shù)，第k個(gè)超參數(shù)的可以取??_??個(gè)值如果參數(shù)是連續(xù)的，可以將參數(shù)離散化，選擇幾個(gè)“經(jīng)驗(yàn)”值。比如學(xué)習(xí)率α，我們可以設(shè)置

這些超參數(shù)可以有??_1×??_2×···×??_??個(gè)取值組合網(wǎng)格搜索α∈{0.01,0.1,0.5,1.0}DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第37頁(yè)4.7網(wǎng)絡(luò)正則化神經(jīng)網(wǎng)絡(luò)過度參數(shù)化擬合能力強(qiáng)泛化性差ZhangC,BengioS,HardtM,etal.Understandingdeeplearningrequiresrethinkinggeneralization[J].arXivpreprintarXiv:1611.03530,2016.DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用第38頁(yè)5.7網(wǎng)絡(luò)正則化L1/L2約束、數(shù)據(jù)增強(qiáng)權(quán)重衰減、隨機(jī)梯度下降、提前停止所有損害優(yōu)化的方法都是正則化。增加優(yōu)化約束干擾優(yōu)化過程DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用5.7網(wǎng)絡(luò)正則化L1和L2正則化

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化神經(jīng)網(wǎng)絡(luò)示例不同的正則化系數(shù)DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化提前停止我們使用一個(gè)驗(yàn)證集（ValidationDataset）來測(cè)試每一次迭代的參數(shù)在驗(yàn)證集上是否最優(yōu)。如果在驗(yàn)證集上的錯(cuò)誤率不再下降，就停止迭代DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用5.7網(wǎng)絡(luò)正則化權(quán)重衰減

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化丟棄法（DropoutMethod）

DeepLearningAndAutonomousDriving深度學(xué)習(xí)與自動(dòng)駕駛應(yīng)用4.7網(wǎng)絡(luò)正則化循環(huán)神經(jīng)網(wǎng)絡(luò)上的丟棄法（DropoutMethod）當(dāng)在循環(huán)神經(jīng)網(wǎng)絡(luò)上應(yīng)用丟棄法，不能直接對(duì)每個(gè)時(shí)刻的隱狀態(tài)進(jìn)行隨機(jī)丟棄，這樣會(huì)損害循環(huán)網(wǎng)絡(luò)在時(shí)間維度上記憶能力變分Dropout根據(jù)貝葉斯學(xué)習(xí)的解釋，丟棄法是一種對(duì)參數(shù)θ的采樣每次采樣的參數(shù)需要