ML中的過擬合問題復習過程

1、ML 中 的 過 擬 合 問 題精品文檔防止過擬合：1. 機器學習中防止過擬合的方法？答：早停、數(shù)據(jù)擴展、正則化（ L1、L2 （權(quán)值衰減）、 dropout早停：在訓練數(shù)據(jù)不足時，或者過訓練時，常常會導致過擬合問題。其直觀表達如下圖：隨著訓練的進行，網(wǎng)絡在訓練數(shù)據(jù)上的誤差越來越小，但是在驗證集上的誤差 卻漸漸增大，因為訓練出的網(wǎng)絡過擬合了訓練集，對訓練集已經(jīng)不工作了。在機器學習中，我們常常將原始數(shù)據(jù)劃分為三部分： 訓練、驗證和測試 。驗證 集其實就是為了防止過擬合的，在訓練過程中，我們常常用它來確定一組超參 數(shù)（如通過 驗證集確定算法停止訓練的 epoch大小，根據(jù) 驗證集確定學習率 等 等

2、）。這些過程并不在測試數(shù)據(jù)上進行，因為防止模型在測試數(shù)據(jù)上過擬合， 這樣導致后邊的測試誤差沒有參考價值。L2 正則化問題（也稱為權(quán)值衰減）：L2 正則化方法主要在代價函數(shù)后邊添加一個正則項：收集于網(wǎng)絡，如有侵權(quán)請聯(lián)系管理員刪除精品文檔C0代表原始代價函數(shù)，后面的一項就是 L2正則項，是參數(shù) w的 2-范數(shù)的平 方，除以訓練集樣本數(shù) n，然后乘以一個權(quán)衡系數(shù) ，1/2 主要是方便于后邊的 求導計算。從上式可以看出， L2 正則化項對偏置 b的更新沒有影響，但是對 w 有影響從上式可以看出，權(quán)值 w 是在減小的，也即是通常所說的權(quán)值衰減問題( weight decay)。另外，對于 mini-ba

3、tch 的隨機梯度下降方法， w 和 b 的更新公式有所差異：m 表示一個 mini-batch 中的樣本數(shù)目 Cx 表示第 x 個 batch 的代價函數(shù)L2 正則化方法之所以可以防止過擬合，是因為模型的參數(shù)越小，復雜度就越小，對數(shù)據(jù)的擬合也就剛剛好 。L1 正則化：收集于網(wǎng)絡，如有侵權(quán)請聯(lián)系管理員刪除精品文檔在原始的代價函數(shù)后邊加上一個 L1的正則項，即是 權(quán)值 w的絕對值之和 ，乘以 lamda/n求導之后：當 w 為正時， w 減小，為負時，上式中的 sng(w)表示 w 的符號，那么權(quán)值 w 的更新公式為：w 增大。這樣就使得 w 往 0 方向移動，也就相當于減小了網(wǎng)絡的復雜度，防止

4、過擬合Drop-out 方法 ：Drop-out 則是通過修改神L1和 L2正則化方法是通過修改代價函數(shù)來實現(xiàn)，而經(jīng)網(wǎng)絡本身來實現(xiàn)，它是訓練網(wǎng)絡時的一種技巧。在深度學習網(wǎng)絡訓練中，對于神經(jīng)單元而言， 按照一定的概率將其暫時從網(wǎng)絡 中丟棄。對于 SGD方法，由于是隨機丟棄，故而每一個 mini-batch 都在訓練不 同的網(wǎng)絡。每一個網(wǎng)絡都可以給出一個分類結(jié)果，有的正確，有的錯誤，隨著 訓練的進行， 大部分網(wǎng)絡可以給出正確的分類結(jié)果，但是不會影響到整體的分 類結(jié)果。對于大規(guī)模神經(jīng)網(wǎng)絡而言，存在兩個缺點： 訓練費時和容易過擬合每次做完 Drop-out，相當于從原始網(wǎng)絡中找到一個更瘦的網(wǎng)絡。收集于

5、網(wǎng)絡，如有侵權(quán)請聯(lián)系管理員刪除精品文檔假如在每一次的迭代中，丟棄網(wǎng)絡中半數(shù)的隱層神經(jīng)元，得到一個半數(shù)網(wǎng)絡。那么在若干次的迭代中，得到若干個半數(shù)網(wǎng)絡，當然每一次的迭代所丟棄的神經(jīng)元是不一樣的。數(shù)據(jù)擴展：因為訓練數(shù)據(jù)中的帶標記數(shù)據(jù)收集比較困難，我們?yōu)榱双@取更多的訓練數(shù)據(jù)， 可以在原始數(shù)據(jù)上做改動，從而得到更多數(shù)據(jù)。如：添加隨機噪聲平移、旋轉(zhuǎn)、縮放、翻轉(zhuǎn)截取原始圖像中的一部分顏色變換樣本偏斜問題：樣本偏斜也叫做數(shù)據(jù)集偏斜( unbalanced)，它是指參與分類的兩個類別之間的 訓練樣本數(shù)目差異較大。如正類有 10,000 個樣本，負類有 100個，則會導致樣 本偏斜問題。收集于網(wǎng)絡，如有侵權(quán)請聯(lián)系

6、管理員刪除精品文檔類別不平衡是指在分類任務中，不同類別的訓練樣本數(shù)目差別很大的情況。現(xiàn)有的應對樣本傾斜問題的方法有三種： 對數(shù)目較多的一類采用 欠采樣方法 。 即是去除一些多余的樣本，使得樣本平衡，然后再進行學習；第二類方法即是 對樣本數(shù)目少的一類采用 過采樣的方法 ，即是增加一些樣本，然后再進行學 習；第三類方法則是直接基于原始訓練集進行學習，但是在用訓練好的分類器 上預測時，利用上式做決策，稱為 閾值移動 。欠采樣 并不是簡單的去除樣本，可能會導致重要信息丟失，有效的方法為 Easy-Ensemble。主要思想在于利用集成學習機制，將多數(shù)樣本類劃分為多個部 分，供多個學習器使用，這樣相當于

7、對每一個學習器都進行了欠采樣，對于整 體而言，并不會丟失重要信息。過采樣 不能簡單的對初始正樣本進行重復采樣，否則會招致嚴重的過擬合，過 采樣代表性方法為 SMOTE ，即是通過對訓練數(shù)據(jù)里的少量樣本進行插值產(chǎn)生 額外的樣本。再縮放方法 ：對于線性分類問題而言，通常利用預測值 y 與閾值進行比較， y0.5則認為正類，反之為負類， y其實表示的是屬于正樣本的可能性， t= y/1-y 表示的即是幾率。通常認為 t1 為正類，反之為負類。這種判別方法適用于正 樣本和負樣本數(shù)目差不多時。但是當兩類差別較大時，通常是通過t 和觀測幾率進行比較。即是 t= y/1-y m+/m- ，m+和 m-分別表

8、示正負樣本數(shù)?；谇罢?和后者，對預測幾率進行調(diào)整，得到：收集于網(wǎng)絡，如有侵權(quán)請聯(lián)系管理員刪除精品文檔這就是 類別不平衡的一種基本策略 再縮放或再平衡 。再縮放的思想是建立在訓練集是整體樣本的無偏采樣，但是這個假設并不一定成立，即是未必能夠推 斷出真實的觀測幾率。1）實現(xiàn)參數(shù)的稀疏有什么好處嗎？一個好處是可以簡化模型，避免過擬合。 因為一個模型中真正重要的參數(shù)可能并不多，如 果考慮所有的參數(shù)起作用，那么可以對訓練數(shù)據(jù)可以預測的很好，但是對測試數(shù)據(jù)就只能 呵呵了。另一個好處是 參數(shù)變少 可以使整個模型 獲得更好的可解釋性 。2）參數(shù)值越小代表模型越簡單嗎？是的。為什么參數(shù)越小，說明模型越簡單呢，

9、這是因為越復雜的模型，越是會嘗試對所有 的樣本進行擬合，甚至包括一些異常樣本點，這就容易造成 在較小的區(qū)間里預測值產(chǎn)生較 大的波動，這種較大的波動也反映了在這個區(qū)間里的導數(shù)很大，而只有較大的參數(shù)值才能 產(chǎn)生較大的導數(shù) 。 因此復雜的模型，其參數(shù)值會比較大 。L0 正則化表示的是非零元素的數(shù)目；（ NP- 難題）L1 正則化在實際中往往替代 L0 正則化，來防止過擬合，在江湖中也人稱Lasso ；L2 正則化江湖人稱 Ridge ，也稱“嶺回歸”。L1 會趨向于產(chǎn)生少量的特征，而其他的特征都是0，而 L2 會選擇更多的特征，這些特征都會接近于 0。 Lasso 在特征選擇時候非常有用，而 Rid

10、ge 就只是一種規(guī)則化而已。在所 有特征中只有少數(shù)特征起重要作用的情況下，選擇 Lasso 比較合適，因為它能自動選擇特 征。而如果所有特征中，大部分特征都能起作用，而且起的作用很平均，那么使用 Ridge 也許更合適。我們大概知道了 L1 可以實現(xiàn)稀疏 ，但我們會想呀，為什么要稀疏？讓我們的參數(shù)稀疏有什么好處呢？這里扯兩點：收集于網(wǎng)絡，如有侵權(quán)請聯(lián)系管理員刪除精品文檔1）特征選擇 （Feature Selection） ：大家對稀疏規(guī)則化趨之若鶩的一個關(guān)鍵原因在于它能實現(xiàn)特征的自動選擇。一般來 說， xi的大部分元素（也就是特征）都是和最終的輸出yi沒有關(guān)系或者不提供任何信息的，在最小化目標

11、函數(shù)的時候考慮xi 這些額外的特征，雖然可以獲得更小的訓練誤差，但在預測新的樣本時，這些沒用的信息反而會被考慮，從而干擾了對正確yi 的預測。稀疏規(guī)則化算子的引入就是為了完成特征自動選擇的光榮使命，它會學習地去掉這些沒有信息的 特征，也就是把這些特征對應的權(quán)重置為 0 。2）可解釋性 （Interpretability） ：另一個青睞于稀疏的理由是，模型更容易解釋。例如患某種病的概率是y，然后我們收集到的數(shù)據(jù) x 是 1000 維的，也就是我們需要尋找這 1000 種因素到底是怎么影響患上這 種病的概率的。假設我們這個是個回歸模型：y=w 1 *x 1+w 2*x 2 + +w 1000 *x 1000 +b （當然了，為了讓 y 限定在 0,1 的范圍，一般還得加個 Logistic