Adaboost算法流程和證明

1、Adaboost算法1、Adaabooost算算法簡介介 Adabooostt算法是是Freeundd和Schhapiire根根據(jù)在線線分配算算法提出出的，他他們詳細(xì)細(xì)分析了了Adaabooost算算法錯誤誤率的上上界，以以及為了了使強分分類器達(dá)達(dá)到錯誤誤率，算算法所需需要的最最多迭代代次數(shù)等等相關(guān)問問題。與與Booostiing算算法不同同的是，Adaboost算法不需要預(yù)先知道弱學(xué)習(xí)算法學(xué)習(xí)正確率的下限即弱分類器的誤差，并且最后得到的強分類器的分類精度依賴于所有弱分類器的分類精度，這樣可以深入挖掘弱分類器算法的能力。 2、Adaabooost 算法基基本原理理 Adabooostt是一種種

2、迭代算算法，其其核心思思想是針針對同一一個訓(xùn)練練集訓(xùn)練練不同的的分類器器(弱分類類器)，然后后把這些些弱分類類器集合合起來，構(gòu)構(gòu)成一個個更強的的最終分分類器(強分類類器)。其算算法本身身是通過過改變數(shù)數(shù)據(jù)分布布來實現(xiàn)現(xiàn)的，它它根據(jù)每每次訓(xùn)練練集之中中每個樣樣本的分分類是否否正確，以以及上次次的總體體分類的的準(zhǔn)確率率，來確確定每個個樣本的的權(quán)值。將將修改過過權(quán)值的的新數(shù)據(jù)據(jù)集送給給下層分分類器進(jìn)進(jìn)行訓(xùn)練練，最后后將每次次訓(xùn)練得得到的分分類器最最后融合合起來，作作為最后后的決策策分類器器。使用用Adaabooost分分類器可可以排除除一些不不必要的的訓(xùn)練數(shù)數(shù)據(jù)特征征，并將將關(guān)鍵放放在關(guān)鍵鍵的訓(xùn)練練

3、數(shù)據(jù)上上面。 Adabooostt算法中中不同的的訓(xùn)練集集是通過過調(diào)整每每個樣本本對應(yīng)的的權(quán)重來來實現(xiàn)的的。開始始時，每每個樣本本對應(yīng)的的權(quán)重是是相同的的，即其其中 為樣本本個數(shù)，在在此樣本本分布下下訓(xùn)練出出一弱分分類器。對對于分類類錯誤的的樣本，加加大其對對應(yīng)的權(quán)權(quán)重；而而對于分分類正確確的樣本本，降低低其權(quán)重重，這樣樣分錯的的樣本就就被突出出出來，從從而得到到一個新新的樣本本分布。在在新的樣樣本分布布下，再再次對弱弱分類器器進(jìn)行訓(xùn)訓(xùn)練，得得到弱分分類器。依依次類推推，經(jīng)過過次循環(huán)環(huán)，得到到個弱分分類器，把把這個弱弱分類器器按一定定的權(quán)重重疊加(booost)起來，得得到最終終想要的的強分類

4、類器。 Adabooostt算法的的具體步步驟如下下：設(shè)輸入的個個訓(xùn)練樣樣本為：,其中是輸輸入的訓(xùn)訓(xùn)練樣本本，分別表表示正樣樣本和負(fù)負(fù)樣本，其中正正樣本數(shù)數(shù)為，負(fù)樣本本數(shù)。，具體體步驟如如下：初始化每每個樣本本的權(quán)重重；對每個(為弱分分類器的的個數(shù))：把權(quán)重歸歸一化為為一個概概率分布布對每個特特征，訓(xùn)訓(xùn)練一個個弱分類類器計算算對應(yīng)所所有特征征的弱分分類器的的加權(quán)錯錯誤率選取最佳佳的弱分分類器(擁有最最小錯誤誤率)：按照這個個最佳弱弱分類器器，調(diào)整整權(quán)重其中表示被被正確地地分類，表示被錯誤地分類最后的強強分類器器為：，3、Adaaboosst算法法應(yīng)用 隨著Adaaboosst算法法的發(fā)展展，目

5、前前Adaaboosst算法法廣泛的的應(yīng)用于于人臉檢檢測、目目標(biāo)識別別等領(lǐng)域域，其中中有在人人臉識別別、汽車車識別、駕駕駛員眨眨眼識別別的方面面的應(yīng)用用和研究究。Disceete-Adaabooost算算法1、給定訓(xùn)訓(xùn)練集：，其中中，表示示的正確確的類別別標(biāo)簽， ,表示第副圖像的第個特征值2、訓(xùn)練集集上樣本本的初始始分布：3、尋找弱弱分類器器()對于每個個樣本中中的第個個特征，可可以得到到一個弱弱分類器器，即可得得到閾值值和方向向，使得達(dá)到到最小，而而弱分類類器為：其中決定不不等式的的方向, 只有兩種種情況。4、將所有有特征()中挑挑選出一一個具有有最小誤誤差的弱弱分類器器。5、對所有有的樣本

6、本權(quán)重進(jìn)進(jìn)行更新新其中是使得得歸一化化因子。6、經(jīng)過輪輪訓(xùn)練得得到個最最優(yōu)的弱弱分類器器，此時時組成一一個強分分類器；在Adabboosst算法法的弱學(xué)學(xué)習(xí)中，將將產(chǎn)生錯錯誤率為為的弱分分類器。如如果每個個錯誤率率，則強強分類器器的總錯錯誤率一切都從強強分類器器的錯誤誤率開始始首先權(quán)值更更新其中然后強分類類器的錯錯誤率使這個錯誤誤率快速速下降？為歸一化因因子。轉(zhuǎn)化為求的的最小值值了！此時我們用用貪心算算法求出出的一個個局部最最小值對中的求導(dǎo)導(dǎo)此時時將固定定令導(dǎo)數(shù)為零零解出此時繪制關(guān)于的的曲線圖圖從這幅圖上上我們可可以看出出，當(dāng)錯錯誤率越越小或者者越大（只只要不在在中點處處徘徊）的的時候快快速收

7、斂斂到0。越?。赫f明明錯誤越越小的分分類器能能快速識識別出正正例。越大: 說說明錯誤誤越大的的分類器器也能快速速識別出出正例。既然最大，只只要我把把弱分類類器取反反，這樣樣錯誤率率就是最最小，這這樣還是是收斂到到0。從以上的證證明，我我們知道道只要是是弱分類類器的錯錯誤率都都取最小小，于是是我們就就能組合合得到一一個強分分類器。接下來我們們就找出出一個弱分分類器錯錯誤率很很小。找找個聯(lián)合合起來就就得到了了強分類類器！怎么找弱分分類器？決策樹IDD3，CC4.55，C55.0ID3 生生成樹用用（CIIG類別別屬性增增益法）C4.5 生成樹樹用（GGainn Raatioo增益比比率法）修剪樹樹用(RRulee p