決策樹(shù)及其組合算法adaboost

AdaBoost集成學(xué)習(xí)個(gè)體學(xué)習(xí)器間不存在強(qiáng)依賴關(guān)系、可同時(shí)生成的并行化方法，如bagging，隨機(jī)森林個(gè)體學(xué)習(xí)器間存在強(qiáng)依賴關(guān)系、必須串行生成的序列化方法，如boostingAdaBoostAdaptiveboosting，每個(gè)新的模型都會(huì)基于前一個(gè)模型的表現(xiàn)結(jié)果進(jìn)行調(diào)整，可以自動(dòng)適應(yīng)每個(gè)基學(xué)習(xí)器的準(zhǔn)確率，迭代過(guò)程主要體現(xiàn)在樣本權(quán)重更新和弱分類器加權(quán)組合。樣本權(quán)重更新弱分類器加權(quán)組合用函數(shù)表示：設(shè)訓(xùn)練數(shù)據(jù)集T={(x1,y1),(x2,y2)…(xN,yN)}初始化訓(xùn)練數(shù)據(jù)的權(quán)值分布AdaBoost算法AdaBoost：對(duì)于m=1,2,…M使用具有權(quán)值分布Dm的訓(xùn)練數(shù)據(jù)集學(xué)習(xí)，得到基本分類器計(jì)算Gm(x)在訓(xùn)練數(shù)據(jù)集上的分類誤差率計(jì)算Gm(x)的系數(shù)（分類器的權(quán)值）基學(xué)習(xí)器的分類誤差率要小于0.5分類誤差率越小，分類器權(quán)值越大AdaBoost：對(duì)于m=1,2,…M更新訓(xùn)練數(shù)據(jù)集的權(quán)值分布這里，Zm是規(guī)范化因子它使Dm+1成為一個(gè)概率分布AdaBoost構(gòu)建基本分類器的線性組合得到最終分類器AdaBoost算法是模型為加法模型、損失函數(shù)為指數(shù)函數(shù)、學(xué)習(xí)算法為前向分步算法時(shí)的二類學(xué)習(xí)方法。AdaBoost算法解釋加法模型考慮加法模型其中：基函數(shù)：基函數(shù)的參數(shù)基函數(shù)的系數(shù)：前向分步算法在給定訓(xùn)練數(shù)據(jù)及損失函數(shù)L(y,f(x))的條件下，學(xué)習(xí)加法模型f(x)成為經(jīng)驗(yàn)風(fēng)險(xiǎn)極小化即損失函數(shù)極小化問(wèn)題：算法簡(jiǎn)化：如果能夠從前向后，每一步只學(xué)習(xí)一個(gè)基函數(shù)及其系數(shù)，逐步逼近上式，即：每步只優(yōu)化如下?lián)p失函數(shù)：前向分步算法的算法框架輸入：訓(xùn)練數(shù)據(jù)集T={(x1,y1),(x2,y2)…(xN,yN)}損失函數(shù)L(y,f(x))基函數(shù)集{b(x;γ)}輸出：加法模型f(x)算法步驟：前向分步算法的算法框架初始化f0(x)=0對(duì)于m=1,2,..M極小化損失函數(shù)得到參數(shù)更新當(dāng)前模型：得到加法模型前向分步算法與AdaBoost算法AdaBoost算法是前向分步算法的特例，這時(shí)，模型是基本分類器組成的加法模型，損失函數(shù)是指數(shù)函數(shù)。損失函數(shù)?。簱p失函數(shù)是指數(shù)函數(shù)損失函數(shù)取：證明假設(shè)經(jīng)過(guò)m-1輪迭代，前向分步算法已經(jīng)得到fm-1(x)：在第m輪迭代得到,和目標(biāo)是使前向分步算法得到的和使在訓(xùn)練數(shù)據(jù)集T上的指數(shù)損失最小，即證明進(jìn)一步：其中：既不依賴α也不依賴G，所以與最小化無(wú)關(guān)。但依賴于fm-1(x)，所以，每輪迭代會(huì)發(fā)生變化?；痉诸惼鱃*(x)首先求分類器G*(x;γ)對(duì)于任意α>0，是上式最小的G(x)由下式得到：其中，權(quán)值的計(jì)算求權(quán)值：將G*(x)帶入：求導(dǎo)，得到權(quán)值的計(jì)算由模型以及權(quán)值可以方便的得到：AdaBoost算法優(yōu)點(diǎn)在AdaBoost的框架下，可以使用不同的分類或回歸算法來(lái)構(gòu)建弱學(xué)習(xí)器AdaBoost作為分類器時(shí)，分類精度較高，且較不同意過(guò)擬合相對(duì)于隨機(jī)森林等算法，AdaBoost充分考慮了每個(gè)分類器的權(quán)重AdaBoost算法不足對(duì)異常樣本敏感，容易受噪聲干擾。異常樣本在迭代中可能會(huì)獲得較高的權(quán)重，影響最終的強(qiáng)學(xué)習(xí)器的預(yù)測(cè)準(zhǔn)確性。執(zhí)行效果依賴于弱分類器的選擇（AdaBoost只是一個(gè)算法框架）訓(xùn)練時(shí)間比較長(zhǎng)THANKSAdaBoost有效性當(dāng)G(xi)≠yi時(shí)，yi*f