深度學習應用開發(fā) 課件 cha5 5-過擬合解決方法及原理

目錄1獲取更多數(shù)據(jù)01任務采用合適的模型02任務L1/L2正則化03任務Dropout04任務EarlyStop05任務1獲取更多數(shù)據(jù)1獲取更多數(shù)據(jù)解決過擬合根本性辦法是使用更多的數(shù)據(jù)訓練網(wǎng)絡模型，收集更多的數(shù)據(jù)樣本是所有數(shù)據(jù)科學任務的第一步，使用大量的數(shù)據(jù)訓練的模型準確率更高，這樣也就能降低發(fā)生過擬合的概率。在實際問題中，擁有的數(shù)據(jù)量是有限的，可以通過數(shù)據(jù)增強的辦法擴充數(shù)據(jù)集。通過增加訓練集的額外副本來增加訓練集的大小，進而改進模型的泛化能力。常用的數(shù)據(jù)增強方法有：旋轉(zhuǎn)、縮放、隨機裁剪、加入隨機噪聲、平移、鏡像等。2采用合適的模型2采用合適的模型采用合適的模型，即控制模型的復雜度，過于復雜的模型會帶來過擬合問題。移除特征能夠降低模型的復雜性，并且在一定程度上避免噪聲，使模型更高效。為了降低復雜度，我們可以移除層或減少神經(jīng)元數(shù)量，使網(wǎng)絡變小。對于模型的設計，目前公認的一個深度學習規(guī)律“deeperisbetter”。即層數(shù)越多效果越好，但是也更容易產(chǎn)生過擬合，并且計算所耗費的時間也越長。在同樣能夠解釋已知觀測現(xiàn)象的假設中，我們應該挑選“最簡單”的那一個。對于模型的設計而言，我們應該選擇簡單、合適的模型解決復雜的問題。3L1/L2正則化3L1/L2正則化為了減小或者避免在訓練中出現(xiàn)過擬合現(xiàn)象，通常在原始的損失函數(shù)之后附加上正則項，通常使用的正則項有兩種：L1正則化和L2正則化。??L1正則化和L2正則化都可以看做是損失函數(shù)的懲罰項，所謂懲罰項是指對損失函數(shù)中的一些參數(shù)進行限制，讓參數(shù)在某一范圍內(nèi)進行取值。3L1/L2正則化（1）L1正則化L1正則化項是指權(quán)重向量w中各元素的絕對值之和，表示為||w||1，L1正則化損失函數(shù)：3L1/L2正則化（2）L2正則化L2正則化項是指權(quán)重向量w中各元素的平方和，表示為||w||22，L2正則化損失函數(shù)：4Dropout4DropoutDropout是2012年推出的一種避免過度擬合的技術(shù)，隨后被應用于2012年的大規(guī)模視覺識別挑戰(zhàn)賽，該挑戰(zhàn)賽徹底改變了深度學習研究。原始方法在每次訓練迭代期間以0.5的概率省略神經(jīng)網(wǎng)絡中的每個神經(jīng)元，在測試期間包含所有神經(jīng)元。該技術(shù)被證明可以顯著提高各種任務的結(jié)果。4DropoutDropout的原理就是以一定的概率使神經(jīng)元失活。Dropout是在訓練過程中以一定的概率使神經(jīng)元失活,也就是輸出等于0。從而提高模型的泛化能力，減少過擬合。5EarlyStop5EarlyStopEarlyStop的概念非常簡單，在我們一般訓練中，經(jīng)常由于過擬合導致在訓練集上的效果好，而在測試集上的效果非常差。因此我們可以讓訓練提前停止，在測