深度學(xué)習(xí)入門與實(shí)踐 課件 機(jī)械 第6-8章 優(yōu)化算法；超參數(shù)調(diào)試、正則化；卷積神經(jīng)網(wǎng)絡(luò)

優(yōu)化算法《深度學(xué)習(xí)入門與實(shí)踐》深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》梯度下降梯度下降法深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》隨機(jī)梯度下降隨機(jī)梯度下降法mini-batch大小為1,就叫做隨機(jī)梯度下降法深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》動(dòng)量梯度下降法動(dòng)量梯度下降法深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》動(dòng)量梯度下降法例子動(dòng)量梯度下降法動(dòng)量梯度下降法細(xì)節(jié)深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》RMSpropRMSprop算法RMSprop算法的全稱是Root

Mean

Square

prop算法,它也可以加速梯度下降。深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》學(xué)習(xí)率衰減初期α

學(xué)習(xí)率還較大,學(xué)習(xí)還是相對(duì)較快,但隨著α

變小,步伐也會(huì)變慢變小,所以最后曲線會(huì)在最小值附近的一小塊區(qū)域里擺動(dòng),而不是在訓(xùn)練過(guò)程中,大幅度在最小值附近擺動(dòng)。所以慢慢減少α

的本質(zhì)在于,在學(xué)習(xí)初期能承受較大的步伐,但當(dāng)開(kāi)始收斂時(shí),小一些的學(xué)習(xí)率能讓步伐小一些。深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》局部最優(yōu)問(wèn)題梯度下降法或者某個(gè)算法可能困在一個(gè)局部最優(yōu)中,而不會(huì)抵達(dá)全局最優(yōu)。如果要做圖計(jì)算一個(gè)數(shù)字,比如說(shuō)這兩個(gè)維度,則容易出現(xiàn)有多個(gè)不同局部最優(yōu)的圖。深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》超參數(shù)調(diào)試、正則化《深度學(xué)習(xí)入門與實(shí)踐》深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》調(diào)試處理超參數(shù)調(diào)試常見(jiàn)的做法是在網(wǎng)格中取樣點(diǎn),像這樣,然后系統(tǒng)地研究這些數(shù)值。網(wǎng)格可以是5×5,也可多可少,可以嘗試這所有的25個(gè)點(diǎn),然后選擇哪個(gè)參數(shù)效果最好。當(dāng)參數(shù)的數(shù)量相對(duì)較少時(shí),這個(gè)方法很實(shí)用。深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》batch

norm擬合進(jìn)神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)示意圖深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》softmax回歸softmax把貓叫作類1,狗為類2,小雞是類3,如果不屬于以上任何一類,則分到“以上均不符合”這一類,把它叫作類0。用大寫(xiě)的C來(lái)表示輸入會(huì)被分入的類別總個(gè)數(shù)。深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》softmax回歸Softmax函數(shù)深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》卷積神經(jīng)網(wǎng)絡(luò)《深度學(xué)習(xí)入門與實(shí)踐》深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》計(jì)算機(jī)視覺(jué)圖片分類目標(biāo)檢測(cè)深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》計(jì)算機(jī)視覺(jué)圖片風(fēng)格遷移圖片風(fēng)格遷移,就是假設(shè)有一張滿意的圖片和一張風(fēng)格圖片,右邊這幅畫(huà)是畢加索的畫(huà)作,可以利用神經(jīng)網(wǎng)絡(luò)將它們?nèi)诤系揭黄?描繪出一張新的圖片。它的整體輪廓來(lái)自于左邊,卻是右邊的風(fēng)格,最后生成下面這張圖片。深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》邊緣檢測(cè)實(shí)例邊緣檢測(cè)深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》邊緣檢測(cè)實(shí)例卷積運(yùn)算深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》邊緣檢測(cè)實(shí)例垂直邊緣檢測(cè)1垂直邊緣檢測(cè)4深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》垂直邊緣檢測(cè)2垂直邊緣檢測(cè)3邊緣檢測(cè)實(shí)例垂直邊緣檢測(cè)5垂直邊緣檢測(cè)6深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》垂直邊緣檢測(cè)7邊緣檢測(cè)實(shí)例垂直邊緣檢測(cè)6水平邊緣檢測(cè)例子深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》卷積步長(zhǎng)卷積步長(zhǎng)深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》卷積步長(zhǎng)卷積移動(dòng)步長(zhǎng)深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》卷積步長(zhǎng)卷積移動(dòng)步長(zhǎng)運(yùn)算深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》卷積步長(zhǎng)卷積移動(dòng)步長(zhǎng)運(yùn)算深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》卷積步長(zhǎng)互相關(guān)和卷積說(shuō)明深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》卷積步長(zhǎng)RGB圖像上的卷積1深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》彩色圖像如果是6×6×3,這里的3指的是三個(gè)顏色通道,可以把它想象成三個(gè)6×6圖像的堆疊。為了檢測(cè)圖像的邊緣或者其他的特征,不是把它跟原來(lái)的3×3的過(guò)濾器做卷積,而是跟一個(gè)三維的過(guò)濾器,它的維度是3×3×3,這樣這個(gè)過(guò)濾器也有三層,對(duì)應(yīng)紅綠、藍(lán)三個(gè)通道。卷積步長(zhǎng)RGB圖像上的卷積2深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》在計(jì)算這個(gè)卷積操作的輸出時(shí),把這個(gè)3×3×3的過(guò)濾器先放到最左上角的位置,這個(gè)3×3×3的過(guò)濾器有27個(gè)數(shù),27個(gè)參數(shù)就是3的立方。依次取這27個(gè)數(shù),然后乘以相應(yīng)的紅綠藍(lán)通道中的數(shù)字。先取紅色通道的前9個(gè)數(shù)字,然后是綠色通道,再是藍(lán)色通道,乘以左邊黃色立方體覆蓋的對(duì)應(yīng)的27個(gè)數(shù),然后把這些數(shù)都加起來(lái),就得到了輸出的第一個(gè)數(shù)字。如果要計(jì)算下一個(gè)輸出,則把這個(gè)立方體滑動(dòng)一個(gè)單位,再與對(duì)應(yīng)的27個(gè)數(shù)相乘,把它們都加起來(lái),就得到了下一個(gè)輸出,以此類推。單層卷積網(wǎng)絡(luò)卷積層深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》池化層卷積網(wǎng)絡(luò)也經(jīng)常使用池化層來(lái)縮減模型的大小,提高計(jì)算速度,同時(shí)提高所提取特征的魯棒性。深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》池化層池化層：最大池化計(jì)算深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》池化層池化層：平均池化深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》卷積神經(jīng)網(wǎng)絡(luò)示例數(shù)字識(shí)別的神經(jīng)網(wǎng)絡(luò)模型深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實(shí)學(xué)習(xí)踐》