bnbatch normaliz原理與使用過程詳解

1、BN(Batch Normalization) 原理與使用過程詳解2018 年 08 月 20 日 15:47:07 donkey_1993 閱讀數(shù)：7742名字：Batch Normalization: Accelerating Deep Network Trainingby Reducing Internal Covariate Shift地址：BN 被廣泛應用于深度學習的各個地方，由于在實習過程中需要修改網(wǎng)絡，修改的網(wǎng)絡在訓練過程中無法收斂，就添加了 BN 層進去來替換掉 LRN 層，網(wǎng)絡可以收斂?，F(xiàn)在就講一下 Batch Normalization 的工作原理。BN 層和卷積層，池化層

2、一樣都是一個網(wǎng)絡層。首先我們根據(jù)來介紹一下 BN 層的優(yōu)點。1）加快訓練速度，這樣我們就可以使用較大的學習率來訓練網(wǎng)絡。2）提高網(wǎng)絡的泛化能力。3）BN 層本質(zhì)上是一個歸一化網(wǎng)絡層，可以替代局部響應歸一化層（LRN 層）。4）可以打亂樣本訓練順序（這樣就不可能出現(xiàn)同一張被多次選擇用來訓練）中提到可以提高 1%的精度。下面我們就講一下 BN 層是如何實現(xiàn)的：從中給出的偽代碼可以看出來 BN 層的計算流程是：1.計算樣本均值。2.計算樣本方差。3.樣本數(shù)據(jù)標準化處理。4.進行平移和縮放處理。引入了和兩個參數(shù)。來訓練和兩個參數(shù)。引入了這個可學習重構(gòu)參數(shù)、，讓我們的網(wǎng)絡可以學習恢復出原始網(wǎng)絡所要學習的

3、特征分布。下面我們討論一下樣本是如何得到的？Batch Normalization 顧名思義，mini-batch 就是我們每次訓練的 Batch_size。從上圖卷積過程可以得出一張 5*5 的圖片經(jīng)過卷積核 3*3 的卷積之后得到一張3*3 的特征圖。特征圖就會包含了 9 個特征值，這 9 個特征值就是我們上面所提到的樣本。假設我們的 batch-size 設為 m，那么就會有 m*9 個特征值傳到 BN層里面作為樣本來訓練參數(shù)和。在網(wǎng)絡訓練中以 batch-size 作為最小來不斷迭代。每當有新的 batch-size進入到網(wǎng)絡里面就會產(chǎn)生新的和。也就是說我們訓練過程中要生成 圖片總量/

4、batch-size 組參數(shù)。圖像卷積的過程中，通常是使用多個卷積核，得到多張?zhí)卣鲌D，對于多個的卷積核需要保存多個的與。BN 層的整體流程如下圖：輸入：待進入激活函數(shù)的變量輸出：1.這里的 K，在卷積網(wǎng)絡中可以看作是卷積核個數(shù)，如網(wǎng)絡中第 n 層個卷積核，就需要計算 64 次。需要注意，在正向時，會使用與使得BN 層輸出與輸入一樣。2.在反向時利用與求得梯度從而改變訓練權(quán)值（變量）。3.通過不斷迭代直到訓練結(jié)束，求得關于不同層的與。4.不斷遍歷訓練集中的圖片，取出每個 batch_size 中的與，最后統(tǒng)計每層 BN的與各自的和除以圖片數(shù)量得到平均直，并對其做無偏估計直作為每一層的 Ex與 Varx。5.在的正向時，對測試數(shù)據(jù)求取與，并使用該層的 Ex與 Varx，通過圖中 11:所表示的公式計算 BN 層輸出。注意，在時，BN 層的輸出已經(jīng)被改變，所以 BN 層在的作用體現(xiàn)在此處。參考文獻：Batch Normalization: A