《卷積神經(jīng)網(wǎng)絡(luò)反向傳播分析》3700字

卷積神經(jīng)網(wǎng)絡(luò)反向傳播分析綜述目錄TOC\o"1-2"\h\u7546卷積神經(jīng)網(wǎng)絡(luò)反向傳播分析綜述 1172301.1反向傳播過程簡介 156581.2計算圖及鏈式求導(dǎo)法則 2108311.2.1計算圖介紹 2316371.2.2鏈式求導(dǎo)法則 27731.2.3計算圖表示求導(dǎo)過程 3194841.3損失函數(shù)的反向傳播 879521.3.1均方誤差 8302721.3.2交叉熵誤差 9124141.4激活函數(shù)的反向傳播 9293211.1.1Sigmoid函數(shù) 924391.1.2Tanh函數(shù) 10242831.1.3Relu函數(shù) 10150761.1.4Softmax函數(shù) 11209671.5全連接層的反向傳播 1135741.6池化層的反向傳播 1238951.6.1最大池化反向傳播 122861.6.2平均池化反向傳播 13185871.7卷積層的反向傳播 141.1反向傳播過程簡介反向傳播過程顧名思義，就是以前向傳播數(shù)據(jù)傳遞相反的方向來逐層調(diào)整參數(shù)的過程。以Lenet-5卷積神經(jīng)網(wǎng)絡(luò)為例，由圖2.3.1可知，前向傳播的數(shù)據(jù)逐層傳遞方向是從左到右逐層傳遞，那么反向傳播的數(shù)據(jù)傳遞方向則是從右到左逐層調(diào)整。網(wǎng)絡(luò)訓練識別性能需要考察兩方面：一是識別精度，即識別準確度；二是識別效率。根據(jù)無數(shù)前人的研究，反向傳播尋找使損失函數(shù)達到全局最小值的方法有很多種，其中基于梯度是運用最為廣泛且可以獲得較高識別效率的方法。梯度方向代表著損失函數(shù)往最小處調(diào)整過程中速度最快的方向，學習參數(shù)往梯度方向調(diào)整，則損失函數(shù)就可以往下降得最快的方向前進。為了更好地理解卷積神經(jīng)網(wǎng)絡(luò)反向傳播的過程，下面將使用計算圖這一工具來詳細介紹基于梯度逐層反向傳播的原理和中間計算過程。1.2計算圖及鏈式求導(dǎo)法則1.2.1計算圖介紹計算圖是采用圖形展示的方式，將復(fù)雜問題分解成許多個簡單問題的綜合，實現(xiàn)了局部計算，即每一個求解過程都只需關(guān)心傳入的數(shù)值和計算方法，而不需要關(guān)心總體復(fù)雜計算。。計算圖中以“○”表示計算（操作）方法，“→”表示數(shù)據(jù)流的方向，“→”上面的數(shù)值表示存放計算過程得到的中間值。如問題：蘋果一斤6塊錢，梨一斤8塊，要買蘋果3斤，梨一斤，求付費金額。用計算圖描述該問題的求解過程如圖1.2.1所示。圖1.2.1問題求解示例計算圖1.2.2鏈式求導(dǎo)法則損失函數(shù)可以理解為以權(quán)重和偏置為未知數(shù)，經(jīng)過逐層函數(shù)復(fù)合而成的復(fù)雜函數(shù)，每一層的前向傳播等價于對上一層輸出的復(fù)合，因此損失函數(shù)求導(dǎo)的本質(zhì)是復(fù)合函數(shù)求導(dǎo)，即使用鏈式求導(dǎo)法則。復(fù)合函數(shù)可以理解為由多個函數(shù)層層嵌套而成，鏈式求導(dǎo)是指將這些函數(shù)分別求導(dǎo)并作乘積運算，其結(jié)果就是復(fù)合函數(shù)的導(dǎo)數(shù)。以二元復(fù)合函數(shù)求導(dǎo)為例進行理解，其函數(shù)表達式如式（1.1）所示。 （1.1）式可理解為是兩個函數(shù)復(fù)合而成，這兩個函數(shù)的表達式如式（1.2）所示。 （1.2）對式中的各個變量求偏導(dǎo)，結(jié)果如式（1.3）所示。 （1.3）用鏈式求導(dǎo)法則分別對式（1.1）中的兩個未知數(shù)求導(dǎo)，可得結(jié)果如式（1.4）所示。 （1.4）1.2.3計算圖表示求導(dǎo)過程計算圖構(gòu)成簡單易懂，清楚展示了中間結(jié)果和局部計算，表示數(shù)據(jù)前向和反向傳播信息全面，是一個理解卷積神經(jīng)網(wǎng)絡(luò)的重要工具。反向傳播計算圖中用灰色箭頭表示反向傳播數(shù)據(jù)流向，箭頭下標示式子是鏈式求導(dǎo)法則的中間求導(dǎo)結(jié)果值。（1）標量求導(dǎo)在神經(jīng)網(wǎng)絡(luò)的前向傳播過程中，涉及常用的計算有加減乘法、取倒數(shù)、平方、以e為底對數(shù)運算、以e為底的指數(shù)運算和復(fù)合，因此這里分別用計算圖介紹標量間各種運算的符號及反向傳播過程。①加法結(jié)點以為例，其中和是未知數(shù)，則分別對兩個未知數(shù)求偏導(dǎo)，可得結(jié)果如式（1.5）所示。 （1.5）用計算圖表示結(jié)果，如圖1.2.2所示。圖1.2.2加法反向傳播計算圖結(jié)合式（1.5）和圖1.2.2，可知加法結(jié)點的反向傳播是結(jié)點上游的導(dǎo)數(shù)直接傳給結(jié)點下游。②減法結(jié)點以為例，其中和是未知數(shù)，則分別對兩個未知數(shù)求偏導(dǎo)，可得結(jié)果如式（1.6）所示。 （1.6）用計算圖表示結(jié)果，如圖1.2.3所示。圖1.2.3減法反向傳播計算圖結(jié)合式（1.6）和圖1.2.3，可知減法結(jié)點的反向傳播是結(jié)點上游的導(dǎo)數(shù)傳給輸入為被減數(shù)的下游，結(jié)點上游的導(dǎo)數(shù)的負數(shù)傳給輸入為減數(shù)的下游。③乘法結(jié)點以為例，其中和是未知數(shù)，則分別對兩個未知數(shù)求偏導(dǎo)，可得結(jié)果如式（1.7）所示。 （1.7）用計算圖表示結(jié)果，如圖1.2.4所示。圖1.2.4乘法反向傳播計算圖結(jié)合式（1.7）和圖1.2.4，可知乘法結(jié)點的反向傳播是結(jié)點上游的導(dǎo)數(shù)分別乘以輸入對調(diào)后的值傳給下游。④取倒結(jié)點以為例，其中是未知數(shù)，則對求導(dǎo)，可得結(jié)果如式（1.8）所示。 （1.8）用計算圖表示結(jié)果，如圖1.2.5所示。圖1.2.5取倒反向傳播計算圖結(jié)合式（1.8）和圖1.2.5，可知取倒結(jié)點的反向傳播是結(jié)點上游的導(dǎo)數(shù)乘以輸入平方的倒數(shù)，再乘-1后傳給下游。⑤平方結(jié)點以為例，其中是未知數(shù)，則對求導(dǎo)，可得結(jié)果如式（1.9）所示。 （1.9）用計算圖表示結(jié)果，如圖1.2.6所示。圖1.2.6平方反向傳播計算圖結(jié)合式（1.9）和圖1.2.6，可知平方結(jié)點的反向傳播是結(jié)點上游的導(dǎo)數(shù)乘以輸入的2倍值后傳給下游。⑥以e為底的對數(shù)結(jié)點以為例，其中是未知數(shù)，是以e為底的對數(shù)，則對求導(dǎo)，可得結(jié)果如式（1.10）所示。 （1.10）用計算圖表示結(jié)果，如圖1.2.7所示。圖1.2.7以e為底的對數(shù)反向傳播計算圖結(jié)合式（1.10）和圖1.2.7，可知以e為底的對數(shù)結(jié)點的反向傳播是結(jié)點上游的導(dǎo)數(shù)乘以輸入的倒數(shù)后傳給下游。⑦以e為底的指數(shù)結(jié)點以為例，其中是未知數(shù)，則對求導(dǎo)，可得結(jié)果如式（1.11）所示。 （1.11）用計算圖表示結(jié)果，如圖1.2.8所示。圖1.2.8以e為底的指數(shù)反向傳播計算圖結(jié)合式（1.11）和圖1.2.8，可知以e為底的指數(shù)結(jié)點的反向傳播是結(jié)點上游的導(dǎo)數(shù)乘以以e為底，輸入為冪的值后傳給下游。⑧復(fù)合運算以式（1.1）中的二元復(fù)合函數(shù)為例，用計算圖表示該函數(shù)的前向傳播過程如圖1.2.9所示。圖1.2.9二元復(fù)合函數(shù)計算圖通過圖1.2.9，可以直觀地了解數(shù)據(jù)流向、中間結(jié)果值和構(gòu)成復(fù)合函數(shù)的兩個函數(shù)。結(jié)合式（1.3），用計算圖表示函數(shù)的反向求導(dǎo)過程如圖1.2.10所示。圖1.2.10二元復(fù)合函數(shù)反向求導(dǎo)計算圖（2）矩陣求導(dǎo)在卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)傳播過程中，涉及的變量基本不是以標量的形式展現(xiàn)的，常用的數(shù)據(jù)形式是一維數(shù)組或矩陣，作乘法運算時通常需要考慮數(shù)據(jù)形狀的問題，如矩陣和矩陣相乘時，需滿足的列數(shù)等于的行數(shù)。假設(shè)卷積神經(jīng)網(wǎng)絡(luò)前向傳播局部計算中有、矩陣，計算兩陣乘積如圖1.2.11所示。圖1.2.11矩陣相乘示意圖用計算圖表示涉及矩陣和的前向傳播過程，如圖1.2.12所示。圖1.2.12矩陣乘法計算圖圖中，“@”表示矩陣乘法運算，Loss表示損失函數(shù)，shape用于表示各個矩陣的形狀。根據(jù)矩陣求導(dǎo)相關(guān)公式，用計算圖表示矩陣和乘法反向求導(dǎo)過程，如圖1.2.13所示。圖1.2.13矩陣乘法反向求導(dǎo)計算圖圖中，、和分別表示損失函數(shù)Loss對矩陣、和求偏導(dǎo)，和分別表示矩陣和的轉(zhuǎn)置。1.3損失函數(shù)的反向傳播1.3.1均方誤差以二層分類為例，結(jié)合式（3.7），可以得到均方誤差的反向傳播計算圖，如圖1.3.1所示。圖1.3.1均方誤差反向傳播計算圖1.3.2交叉熵誤差以二層分類為例，結(jié)合式（3.8），可以得到交叉熵誤差的反向傳播計算圖，如圖1.3.2所示。圖1.3.2交叉熵誤差反向傳播計算圖1.4激活函數(shù)的反向傳播1.1.1Sigmoid函數(shù)以圖1.3.2中輸出局部計算為例，即此時接收交叉熵誤差反向傳播，若激活函數(shù)是Sigmoid函數(shù)，結(jié)合式（3.3），可得Sigmoid函數(shù)反向傳播計算圖，如圖1.1.1所示。圖1.1.1Sigmoid反向傳播計算圖1.1.2Tanh函數(shù)以圖1.3.2中輸出局部計算為例，即此時接收交叉熵誤差反向傳播，若激活函數(shù)是Tanh函數(shù)，結(jié)合式（3.4），可得Tanh函數(shù)反向傳播計算圖，如圖1.1.2所示。圖1.1.2Tanh反向傳播計算圖1.1.3Relu函數(shù)以圖1.3.2中輸出局部計算為例，即此時接收交叉熵誤差反向傳播，若激活函數(shù)是Relu函數(shù)，結(jié)合式（3.5），可得Relu函數(shù)反向傳播計算圖，如圖1.1.3所示。圖1.1.3Relu反向傳播計算圖對比圖1.1.1、圖1.1.2和圖1.1.3可知，相比于Sigmoid和Tanh函數(shù)，Relu函數(shù)無論在前向還是反向傳播中，都具有傳輸結(jié)果值簡單且運算效率高的優(yōu)點。1.1.4Softmax函數(shù)以圖1.3.2為例，即此時接收交叉熵誤差反向傳播，若激活函數(shù)是Softmax函數(shù)，結(jié)合式（3.6），可得Softmax函數(shù)反向傳播計算圖，如圖1.1.4所示。圖1.1.4Softmax反向傳播計算圖1.5全連接層的反向傳播全連接層的前向傳播本質(zhì)是矩陣的乘積運算，假設(shè)輸入矩陣為，形狀shape為（2,），權(quán)重矩陣為，形狀shape為（2,3），偏置矩陣為，形狀shape為（3,），輸出矩陣為，則構(gòu)成的只含輸入層和輸出層的全連接網(wǎng)絡(luò)如圖1.5.1所示。圖1.5.1全連接網(wǎng)絡(luò)圖其中，矩陣、和如式（1.12）所示。 （1.12）由全連接層的前向傳播可得矩陣如式（1.13）所示。 （1.13）可得全連接層的計算圖如圖1.5.2所示。圖1.5.2全連接層反向傳播計算圖圖中，表示損失函數(shù)Loss對矩陣求偏導(dǎo)，和分別表示矩陣和轉(zhuǎn)置。1.6池化層的反向傳播由池化層的前向傳播可知，池化層輸出大小是由池化核大小、填充和步幅共同決定，因此池化層選擇相應(yīng)填充處理反向傳播輸入數(shù)據(jù)有兩種情況，即池化核寬或高等于步幅和池化核寬或高大于步幅，其中，第一種情況沒有需要重復(fù)處理的數(shù)據(jù)元素，傳播效率高，第二種情況則與之相反，傳播效率慢，實際上常采用第一種情況進行數(shù)據(jù)傳播，下面簡單介紹第一種情況下的池化層反向傳播方式。1.6.1最大池化反向傳播在每一個池化核滑動區(qū)域中，在最大值位置上賦值對應(yīng)反向傳播輸入元素，其余位置均賦值0。假設(shè)前向傳播輸入數(shù)據(jù)大小為（4,4），池化核大小為（2,2），步幅為2，則池化層的前向傳播和對應(yīng)反向傳播分別如圖1.6.1和圖1.6.2所示。圖1.6.1最大池化前向傳播圖圖1.6.2最大池化反向傳播圖1.6.2平均池化反向傳播在每一個池化核滑動區(qū)域中，將池化層反向輸入元素按對應(yīng)區(qū)域大小均等分，并賦所得值到該區(qū)域的全部位置中。以圖1.6.1中的輸入數(shù)據(jù)為例，池化核大小為（2