Adaboost算法流程和證明

1、Adaboost算法1、Adaboost算法簡介Adabboosst算法法是Frreunnd和Schhapiire根根據(jù)在線線分配算算法提出出的，他他們詳細細分析了了Adaabooost算算法錯誤誤率的上上界，以以及為了了使強分分類器達達到錯誤誤率，算算法所需需要的最最多迭代代次數(shù)等等相關問問題。與與Booostiing算算法不同同的是，Adaabooost算算法不需需要預先先知道弱弱學習算算法學習習正確率率的下限限即弱分分類器的的誤差，并且最最后得到到的強分分類器的的分類精精度依賴賴于所有有弱分類類器的分分類精度度，這樣樣可以深深入挖掘掘弱分類類器算法法的能力力。2、Addabooostt算

2、法基基本原理理Adabboosst是一種種迭代算算法，其其核心思思想是針針對同一一個訓練練集訓練練不同的的分類器器(弱分類類器)，然后后把這些些弱分類類器集合合起來，構成一一個更強強的最終終分類器器(強分類類器)。其算算法本身身是通過過改變數(shù)數(shù)據(jù)分布布來實現(xiàn)現(xiàn)的，它它根據(jù)每每次訓練練集之中中每個樣樣本的分分類是否否正確，以及上上次的總總體分類類的準確確率，來來確定每每個樣本本的權值值。將修修改過權權值的新新數(shù)據(jù)集集送給下下層分類類器進行行訓練，最后將將每次訓訓練得到到的分類類器最后后融合起起來，作作為最后后的決策策分類器器。使用用Adaabooost分分類器可可以排除除一些不不必要的的訓練數(shù)數(shù)

3、據(jù)特征征，并將將關鍵放放在關鍵鍵的訓練練數(shù)據(jù)上上面。Adabboosst算法法中不同同的訓練練集是通通過調(diào)整整每個樣樣本對應應的權重重來實現(xiàn)現(xiàn)的。開開始時，每個樣樣本對應應的權重重是相同同的，即即其中為為樣本個個數(shù)，在在此樣本本分布下下訓練出出一弱分分類器。對于分分類錯誤誤的樣本本，加大大其對應應的權重重；而對對于分類類正確的的樣本，降低其其權重，這樣分分錯的樣樣本就被被突出出出來，從從而得到到一個新新的樣本本分布。在新的的樣本分分布下，再次對對弱分類類器進行行訓練，得到弱弱分類器器。依次次類推，經(jīng)過次次循環(huán)，得到個個弱分類類器，把把這個弱弱分類器器按一定定的權重重疊加(booost)起來，得

4、到最最終想要要的強分分類器。Adabboosst算法法的具體體步驟如如下：設輸入的的個訓練練樣本為為：,其中是輸輸入的訓訓練樣本本，分別表表示正樣樣本和負負樣本，其中正正樣本數(shù)數(shù)為，負樣本本數(shù)。，具體體步驟如如下：初始化化每個樣樣本的權權重；對每個個(為弱分分類器的的個數(shù))：把權重重歸一化化為一個個概率分分布對每個個特征，訓練一一個弱分分類器計計算對應應所有特特征的弱弱分類器器的加權權錯誤率率選取最最佳的弱弱分類器器(擁有最最小錯誤誤率)：按照這這個最佳佳弱分類類器，調(diào)調(diào)整權重重其中表示示被正確確地分類類，表表示被錯錯誤地分分類最后的的強分類類器為：，3、Addaboosst算法法應用隨著Ad

5、daboosst算法法的發(fā)展展，目前前Adaaboosst算法法廣泛的的應用于于人臉檢檢測、目目標識別別等領域域，其中中有在人人臉識別別、汽車車識別、駕駛員員眨眼識識別的方方面的應應用和研研究。Disccetee-Addabooostt算法1、給定定訓練集集：，其其中，表表示的正正確的類類別標簽簽， ,表示第第副圖像像的第個個特征值值2、訓練練集上樣樣本的初初始分布布：3、尋找找弱分類器器()對于每每個樣本本中的第第個特征征，可以以得到一一個弱分類器器，即可得得到閾值值和方向向，使得達到到最小，而弱分分類器為為：其中決定定不等式式的方向向,只有有兩種情情況。4、將所所有特征征()中中挑選出出一

6、個具具有最小小誤差的的弱分類類器。5、對所所有的樣樣本權重重進行更更新其中是使使得歸一一化因子子。6、經(jīng)過過輪訓練練得到個個最優(yōu)的的弱分類類器，此此時組成成一個強強分類器器；在Adaabooost算算法的弱弱學習中中，將產(chǎn)產(chǎn)生錯誤誤率為的的弱分類類器。如如果每個個錯誤率率，則強強分類器器的總錯錯誤率一切都從從強分類類器的錯錯誤率開開始首先權值值更新其中然后強分分類器的的錯誤率率使這個錯錯誤率快快速下降降？為歸一化化因子。轉(zhuǎn)化為求求的最小小值了！此時我們們用貪心心算法求求出的一一個局部部最小值值對中的求求導此此時將固固定令導數(shù)為為零解出出此時繪制關于于的曲線線圖從這幅圖圖上我們們可以看看出，當當

7、錯誤率率越小或或者越大大（只要要不在中中點處徘徘徊）的的時候快快速收斂斂到0。越小：說說明錯誤誤越小的的分類器器能快速速識別出出正例。越大: 說明錯錯誤越大大的分類類器也能快速速識別出出正例。既然最大大，只要要我把弱弱分類器器取反，這樣錯錯誤率就就是最小小，這樣樣還是收收斂到00。從以上的的證明，我們知知道只要要是弱分分類器的的錯誤率率都取最最小，于于是我們們就能組組合得到到一個強強分類器器。接下來我我們就找找出一個弱分分類器錯錯誤率很很小。找找個聯(lián)合合起來就就得到了了強分類類器！怎么找弱弱分類器器？決策樹IID3，C4.5，CC5.00ID3 生成樹樹用（CCIG類類別屬性性增益法法）C4.55 生成成樹用（Gaiin RRatiio增益益比率法法）修剪剪樹用(Rulle pp