反向傳播算法課件

Addupeverythingwhatyoulikeandeverythingwhatyouwant夢想，要比昨天走的更遠(yuǎn)神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)目錄/contents使用矩陣快速計(jì)算輸出的方法關(guān)于代價(jià)函數(shù)的兩個(gè)假設(shè)反向傳播的四個(gè)基本方程及證明反向傳播算法反向傳播算法為什么要提出反向傳播算法？在反向傳播算法提出之前人們應(yīng)該想到了使用SGD學(xué)習(xí)模型，也想到了一些辦法求解網(wǎng)絡(luò)模型的偏導(dǎo)數(shù)，但這些算法求解效率比較低，所以提出反向傳播算法來更高效的計(jì)算偏導(dǎo)數(shù)。反向傳播算法最初在1970年代被提及，但是人們直到DavidRumelhart,GeoffreyHinton和RonaldWiliams的著名的1986年的論文中才認(rèn)識到這個(gè)算法的重要性。這使得使用神經(jīng)網(wǎng)絡(luò)來解決之前無法完成的問題變得可行?，F(xiàn)在，反向傳播算法已經(jīng)是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的重要組成部分了。偏置和激活值（23）（對比上一章公式（4))最后我們引入向量化函數(shù)來按照矩陣形式重寫公式如果我們的作用函數(shù)是，那么向量化的f函數(shù)作用就起到下面的效果了解這些，方程就可以表示為下式（24）（25）在使用方程（25）的過程中，我們計(jì)算了中間量，這個(gè)量其實(shí)是非常有用的：我們稱關(guān)于代價(jià)函數(shù)的兩個(gè)假設(shè)第一個(gè)假設(shè)就是代價(jià)函數(shù)可以被寫成在沒個(gè)訓(xùn)練樣本x的代價(jià)函數(shù)第二個(gè)假設(shè)就是代價(jià)可以寫成神經(jīng)網(wǎng)絡(luò)輸出的函數(shù)例如二次代價(jià)函數(shù)滿足這個(gè)要求，則對于一個(gè)單獨(dú)訓(xùn)練樣本x的二次代價(jià)函數(shù)寫作(26)(27)反向傳播的四個(gè)基本方程及證明我們定義l層的第j個(gè)神經(jīng)元上的誤差（29）通過組合（BP1）和（BP2），我們可以計(jì)算任何層的誤差。首先使用(BP1)計(jì)算，然后用方程（BP2）來計(jì)算，然后再次用方程（BP2）來計(jì)算，如此一步一步地反向傳播整個(gè)網(wǎng)路。代價(jià)函數(shù)關(guān)于網(wǎng)絡(luò)中任意偏置的改變率：（BP3）這其實(shí)是，誤差和偏導(dǎo)數(shù)完全一致。這是很好的性質(zhì)，因?yàn)椋˙P1）和（BP2）已經(jīng)告訴我們?nèi)绾斡?jì)算。所以就將（BP3）簡記為：總結(jié)一下，我們已經(jīng)學(xué)到，如果輸入神經(jīng)元激活值很低，或者輸出神經(jīng)元已經(jīng)飽和了（過高或者過低的激活值），權(quán)重會學(xué)習(xí)緩慢。反向傳播算法：反向傳播方程給出了一種計(jì)算代價(jià)函數(shù)的方法。讓我們顯示的用算法描述出來。檢視這個(gè)算法，你可以看到為何它被稱作反向傳播。我們從最后一層開始向后計(jì)算誤差向量。這看起來有點(diǎn)奇怪，為何要從后面開始。但是如果你認(rèn)真思考反向傳播的證明，這種反向移動其實(shí)是代價(jià)函數(shù)是網(wǎng)絡(luò)輸出函數(shù)的結(jié)果。為了理解代價(jià)隨前面層的權(quán)重和偏置變化的規(guī)律，我們需要重復(fù)作用鏈?zhǔn)椒▌t，反向地獲得需要的表達(dá)式。總結(jié)反向傳播的核心是一個(gè)對代價(jià)函數(shù)C關(guān)于任何權(quán)重w（或者偏置b）的偏導(dǎo)數(shù)的表達(dá)式。這個(gè)表達(dá)式告訴我們在改變權(quán)重和偏置時(shí)，代價(jià)函數(shù)變化的快慢。反向傳播的大體思路就是找到一個(gè)中間變量，通過鏈?zhǔn)椒▌t來求解誤差對參數(shù)的偏導(dǎo)數(shù)。感謝各位聆聽Addupeverythi