技術(shù)博客batch normaliz解讀

1、目錄目錄1-Motivation2-Normalization via Mini-Batch Statistics 測試BN before or after Activation3-Experiments本次所講的內(nèi)容為Batch Normalization，簡稱BN，來源于Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift，是一篇很好的paper。1-Motivation作者認為：網(wǎng)絡(luò)訓練過程中參數(shù)不斷改變導(dǎo)致后續(xù)每一層輸入的分布也發(fā)生變化，而學習的過程又 要

2、使每一層適應(yīng)輸入的分布，因此我們不得不降低學習率、 地初始化。作者將分布發(fā)生變化稱之為 internal covariate shift。大家應(yīng)該都知道，我們一般在訓練網(wǎng)絡(luò)的時會將輸入減去均值，還有些人甚至會對輸入做白化等操 作，目的是為了加快訓練。為什么減均值、白化可以加快訓練呢，這里做一個簡單地說明：首先，圖像數(shù)據(jù)是高度相關(guān)的，假設(shè)其分布如下圖a所示(簡化為2維)。由于初始化的時候，我們的參 數(shù)一般都是0均值的，因此開始的擬合y=Wx+b，基本過原點附近，如圖b紅色虛線。因此，網(wǎng)絡(luò)需 要經(jīng)過多次學習才能逐步達到如紫色實線的擬合，即收斂的比較慢。如果我們對輸入數(shù)據(jù)先作減均 值操作，如圖c，顯

3、然可以加快學習。更進一步的，我們對數(shù)據(jù)再進行去相關(guān)操作，使得數(shù)據(jù)更加容 易區(qū)分，這樣又會加快訓練，如圖d。白化的方式有好幾種，常用的有PCA白化：即對數(shù)據(jù)進行PCA操作之后，在進行方差歸一化。這樣數(shù)據(jù)基本滿足0均值、 方差、弱相關(guān)性。作者首先考慮，對每一層數(shù)據(jù)都使用白化操作，但分析認為這是不可取的。因為白化需要計算協(xié)方差矩陣、求逆等操作，計算量很大，此外，反向時，白化操作不一定可導(dǎo)。于是，作者采用下面的Normalization方法。2-Normalization via Mini-Batch Statistics數(shù)據(jù)歸一化方法很簡單，就是要讓數(shù)據(jù)具有0均值和 方差，如下式：但是作者又說如果簡

4、單的這么干，會降低層的表達能力。比如下圖，在使用sigmoid激活函數(shù)的時候，如果把數(shù)據(jù)限制到0均值 方差，那么相當于只使用了激活函數(shù)中近似線性的部分，這顯然會降低模型表達能力。為此，作者又為BN增加了2個參數(shù)，用來保持模型的表達能力。于是最后的輸出為：上述公式中用到了均值E和方差Var，需要注意的是理想情況下E和Var應(yīng)該是 整個數(shù)據(jù)集的，但顯然這是不現(xiàn)實的。因此，作者做了簡化，用一個Batch的均值和方差作為對整個數(shù)據(jù)集均值和方差的估計。整個BN的算法如下：求導(dǎo)的過程也非常簡單，有地可以自己再推導(dǎo)一遍或者直接參見原文。測試實際測試網(wǎng)絡(luò)的時候，我們依然會應(yīng)用下面的式子：特別注意： 這里的均值和方差已經(jīng)不是 某一個Batch了，而是 整個數(shù)據(jù)集而言。因此，在訓練過程中除了正常的前向 和反向求導(dǎo)之外，我們還要 每一個Batch的均值和方差，以便訓練完成之后按照下式計算整體的均值和方差：BN before or after Activation作者在文章中說應(yīng)該把BN放在激活函數(shù)之前，這是因為Wx+b具有更加一致和非稀疏的分布。但是也有人做實驗表明放在激活函數(shù)后面效果更好。這是實驗，里面有很多有意思的對比實驗：3-Experiments作者在文章中也做了很多實驗對比，我這里就簡單說明2個。下圖a說明，BN可以訓練。圖b和c則