ML中的過擬合問題

1、防止過擬合：1. 機器學習中防止過擬合的方法？答：早停、數(shù)據(jù)擴展、正則化（L1、L2（權(quán)值衰減）、dropout早停：在訓練數(shù)據(jù)不足時，或者過訓練時，常常會導致過擬合問題。其直觀表達如下圖：隨著訓練的進行，網(wǎng)絡(luò)在訓練數(shù)據(jù)上的誤差越來越小，但是在驗證集上的誤差卻漸漸增大，因為訓練出的網(wǎng)絡(luò)過擬合了訓練集，對訓練集已經(jīng)不工作了。在機器學習中，我們常常將原始數(shù)據(jù)劃分為三部分：訓練、驗證和測試。驗證集其實就是為了防止過擬合的，在訓練過程中，我們常常用它來確定一組超參數(shù)（如通過驗證集確定算法停止訓練的epoch大小，根據(jù)驗證集確定學習率等等）。這些過程并不在測試數(shù)據(jù)上進行，因為防止模型在測試數(shù)據(jù)上過擬合，

2、這樣導致后邊的測試誤差沒有參考價值。L2正則化問題（也稱為權(quán)值衰減）：L2正則化方法主要在代價函數(shù)后邊添加一個正則項：C0代表原始代價函數(shù)，后面的一項就是L2正則項，是參數(shù)w的2-范數(shù)的平方，除以訓練集樣本數(shù)n，然后乘以一個權(quán)衡系數(shù)，1/2主要是方便于后邊的求導計算。從上式可以看出，L2正則化項對偏置b的更新沒有影響，但是對w有影響。從上式可以看出，權(quán)值w是在減小的，也即是通常所說的權(quán)值衰減問題（weight decay）。另外，對于mini-batch的隨機梯度下降方法，w和b的更新公式有所差異：m表示一個mini-batch中的樣本數(shù)目Cx表示第x個batch的代價函數(shù)。L2正則化方法之所

3、以可以防止過擬合，是因為模型的參數(shù)越小，復雜度就越小，對數(shù)據(jù)的擬合也就剛剛好。L1正則化：在原始的代價函數(shù)后邊加上一個L1的正則項，即是權(quán)值w的絕對值之和，乘以lamda/n求導之后：上式中的sng(w)表示w的符號，那么權(quán)值w的更新公式為：當w為正時，w減小，為負時，w增大。這樣就使得w往0方向移動，也就相當于減小了網(wǎng)絡(luò)的復雜度，防止過擬合。Drop-out方法：L1和L2正則化方法是通過修改代價函數(shù)來實現(xiàn)，而Drop-out則是通過修改神經(jīng)網(wǎng)絡(luò)本身來實現(xiàn)，它是訓練網(wǎng)絡(luò)時的一種技巧。在深度學習網(wǎng)絡(luò)訓練中，對于神經(jīng)單元而言，按照一定的概率將其暫時從網(wǎng)絡(luò)中丟棄。對于SGD方法，由于是隨機丟棄，故

4、而每一個mini-batch都在訓練不同的網(wǎng)絡(luò)。每一個網(wǎng)絡(luò)都可以給出一個分類結(jié)果，有的正確，有的錯誤，隨著訓練的進行，大部分網(wǎng)絡(luò)可以給出正確的分類結(jié)果，但是不會影響到整體的分類結(jié)果。對于大規(guī)模神經(jīng)網(wǎng)絡(luò)而言，存在兩個缺點：訓練費時和容易過擬合每次做完Drop-out，相當于從原始網(wǎng)絡(luò)中找到一個更瘦的網(wǎng)絡(luò)。假如在每一次的迭代中，丟棄網(wǎng)絡(luò)中半數(shù)的隱層神經(jīng)元，得到一個半數(shù)網(wǎng)絡(luò)。那么在若干次的迭代中，得到若干個半數(shù)網(wǎng)絡(luò)，當然每一次的迭代所丟棄的神經(jīng)元是不一樣的。數(shù)據(jù)擴展：因為訓練數(shù)據(jù)中的帶標記數(shù)據(jù)收集比較困難，我們?yōu)榱双@取更多的訓練數(shù)據(jù)，可以在原始數(shù)據(jù)上做改動，從而得到更多數(shù)據(jù)。如：l 添加隨機噪聲l

5、平移、旋轉(zhuǎn)、縮放、翻轉(zhuǎn)l 截取原始圖像中的一部分l 顏色變換樣本偏斜問題：樣本偏斜也叫做數(shù)據(jù)集偏斜（unbalanced），它是指參與分類的兩個類別之間的訓練樣本數(shù)目差異較大。如正類有10,000個樣本，負類有100個，則會導致樣本偏斜問題。類別不平衡是指在分類任務(wù)中，不同類別的訓練樣本數(shù)目差別很大的情況?，F(xiàn)有的應對樣本傾斜問題的方法有三種：對數(shù)目較多的一類采用欠采樣方法。即是去除一些多余的樣本，使得樣本平衡，然后再進行學習；第二類方法即是對樣本數(shù)目少的一類采用過采樣的方法，即是增加一些樣本，然后再進行學習；第三類方法則是直接基于原始訓練集進行學習，但是在用訓練好的分類器上預測時，利用上式做決

6、策，稱為閾值移動。欠采樣并不是簡單的去除樣本，可能會導致重要信息丟失，有效的方法為Easy-Ensemble。主要思想在于利用集成學習機制，將多數(shù)樣本類劃分為多個部分，供多個學習器使用，這樣相當于對每一個學習器都進行了欠采樣，對于整體而言，并不會丟失重要信息。過采樣不能簡單的對初始正樣本進行重復采樣，否則會招致嚴重的過擬合，過采樣代表性方法為SMOTE，即是通過對訓練數(shù)據(jù)里的少量樣本進行插值產(chǎn)生額外的樣本。再縮放方法：對于線性分類問題而言，通常利用預測值y與閾值進行比較，y>0.5則認為正類，反之為負類，y其實表示的是屬于正樣本的可能性，t= y/1-y表示的即是幾率。通常認為t>

7、1為正類，反之為負類。這種判別方法適用于正樣本和負樣本數(shù)目差不多時。但是當兩類差別較大時，通常是通過t和觀測幾率進行比較。即是t= y/1-y > m+/m-，m+和m-分別表示正負樣本數(shù)?；谇罢吆秃笳?，對預測幾率進行調(diào)整，得到：這就是類別不平衡的一種基本策略-再縮放或再平衡。再縮放的思想是建立在訓練集是整體樣本的無偏采樣，但是這個假設(shè)并不一定成立，即是未必能夠推斷出真實的觀測幾率。1）實現(xiàn)參數(shù)的稀疏有什么好處嗎？一個好處是可以簡化模型，避免過擬合。因為一個模型中真正重要的參數(shù)可能并不多，如果考慮所有的參數(shù)起作用，那么可以對訓練數(shù)據(jù)可以預測的很好，但是對測試數(shù)據(jù)就只能呵呵了。另一個好處

8、是參數(shù)變少可以使整個模型獲得更好的可解釋性。2）參數(shù)值越小代表模型越簡單嗎？是的。為什么參數(shù)越小，說明模型越簡單呢，這是因為越復雜的模型，越是會嘗試對所有的樣本進行擬合，甚至包括一些異常樣本點，這就容易造成在較小的區(qū)間里預測值產(chǎn)生較大的波動，這種較大的波動也反映了在這個區(qū)間里的導數(shù)很大，而只有較大的參數(shù)值才能產(chǎn)生較大的導數(shù)。因此復雜的模型，其參數(shù)值會比較大。L0正則化表示的是非零元素的數(shù)目；（NP-難題）L1正則化在實際中往往替代L0正則化，來防止過擬合，在江湖中也人稱Lasso；L2正則化江湖人稱Ridge，也稱“嶺回歸”。L1會趨向于產(chǎn)生少量的特征，而其他的特征都是0，而L2會選擇更多的特

9、征，這些特征都會接近于0。Lasso在特征選擇時候非常有用，而Ridge就只是一種規(guī)則化而已。在所有特征中只有少數(shù)特征起重要作用的情況下，選擇Lasso比較合適，因為它能自動選擇特征。而如果所有特征中，大部分特征都能起作用，而且起的作用很平均，那么使用Ridge也許更合適。我們大概知道了L1可以實現(xiàn)稀疏，但我們會想呀，為什么要稀疏？讓我們的參數(shù)稀疏有什么好處呢？這里扯兩點：1）特征選擇(Feature Selection)：大家對稀疏規(guī)則化趨之若鶩的一個關(guān)鍵原因在于它能實現(xiàn)特征的自動選擇。一般來說，xi的大部分元素（也就是特征）都是和最終的輸出yi沒有關(guān)系或者不提供任何信息的，在最小化目標函數(shù)

10、的時候考慮xi這些額外的特征，雖然可以獲得更小的訓練誤差，但在預測新的樣本時，這些沒用的信息反而會被考慮，從而干擾了對正確yi的預測。稀疏規(guī)則化算子的引入就是為了完成特征自動選擇的光榮使命，它會學習地去掉這些沒有信息的特征，也就是把這些特征對應的權(quán)重置為0。2）可解釋性(Interpretability)：另一個青睞于稀疏的理由是，模型更容易解釋。例如患某種病的概率是y，然后我們收集到的數(shù)據(jù)x是1000維的，也就是我們需要尋找這1000種因素到底是怎么影響患上這種病的概率的。假設(shè)我們這個是個回歸模型：y=w1*x1+w2*x2+w1000*x1000+b（當然了，為了讓y限定在0,1的范圍，一般