《機(jī)器學(xué)習(xí)項(xiàng)目案例開發(fā)》課件 13.2集成算法-集成學(xué)習(xí)比較

人工智能技術(shù)與應(yīng)用13.集成算法比較課程概況—基本情況PART01集成算法Bagging算法常用的集成算法集成算法的對(duì)比Bagging算法Bagging集成算法：隨機(jī)森林用的最多的隨機(jī)森林。優(yōu)勢(shì):

它能夠處理很高維度的數(shù)據(jù)，并且不用做特征選擇，也可以作為特征選擇的工具（特征重要性）。

在訓(xùn)練完后，它能夠給出哪些feature比較重要容易做成并行化方法，速度比較快可以進(jìn)行可視化展示，便于分析，可以解釋性強(qiáng)123Bagging算法Bagging集成算法：有些模型不適合使用

KNN最近鄰，因?yàn)樗茈y隨機(jī)讓泛化能力變強(qiáng)Bagging算法Bagging集成算法：樹模型的個(gè)數(shù)理論上越多的樹效果會(huì)越好，但實(shí)際上基本超過一定數(shù)量就差不多上下浮動(dòng)了。1-10棵樹木的時(shí)候，準(zhǔn)確率大幅提升

Boosting算法Boosting集成算法（提升算法）：典型模型

AdaBoost，XgboostAdaboost：會(huì)根據(jù)前一次的分類效果調(diào)整數(shù)據(jù)權(quán)重。調(diào)整權(quán)重：如果某一個(gè)數(shù)據(jù)在這次分錯(cuò)了，那么在下一次我就會(huì)給它更大的權(quán)重最終的結(jié)果：每個(gè)分類器根據(jù)自身的準(zhǔn)確性來確定各自的權(quán)重，再合體

Boosting算法Boosting集成算法-AdaBoost流程：原始數(shù)據(jù)D1，“+”和“-”分別表示兩種類別，在這個(gè)過程中，我們使用水平或者垂直的直線作為分類器，來進(jìn)行分類。第一步：根據(jù)分類的正確率，得到一個(gè)新的樣本分布D2-，一個(gè)子分類器h1。其中劃圈的樣本表示被分錯(cuò)的。在右邊的途中，比較大的“+”表示對(duì)該樣本做了加權(quán)。原始數(shù)據(jù)D1子分類器h1錯(cuò)誤樣本加權(quán)集D2Boosting算法Boosting集成算法-AdaBoost流程：第二步：開始分類，根據(jù)分類的正確率，得到一個(gè)新的樣本分布D3，一個(gè)子分類器h2。子分類器h2錯(cuò)誤樣本加權(quán)集D3Boosting算法Boosting集成算法-AdaBoost流程：第三步：根據(jù)分類的正確率，得到一個(gè)子分類器h3，整合所有子分類器：子分類器h3整合所有的分類器Boosting算法Boosting集成算法-AdaBoost流程：優(yōu)點(diǎn)：

adaboost是一種有很高精度的分類器可以使用各種方法構(gòu)建子分類器，adaboost算法提供的是框架當(dāng)使用簡單分類器時(shí)，計(jì)算出的結(jié)果是可以理解的。而且弱分類器構(gòu)造極其簡單簡單，不用做特征篩選不用擔(dān)心overfittingStacking算法Stacking集成算法：Stacking模型：堆疊：多個(gè)模型直接堆疊在一起可以堆疊各種各樣的分類器（KNN,SVM,RF等等）分階段：第一階段得出各自結(jié)果，第二階段再用前一階段結(jié)果訓(xùn)練Stacking算法Stacking集成算法：Stacking模型實(shí)現(xiàn)流程：用數(shù)據(jù)集D來訓(xùn)練h1,h2,h3...，

用這些訓(xùn)練出來的初級(jí)學(xué)習(xí)器在數(shù)據(jù)集D上面進(jìn)行預(yù)測(cè)得到次級(jí)訓(xùn)練集。

用次級(jí)訓(xùn)練集來訓(xùn)練次級(jí)學(xué)習(xí)器問題：但是這樣的實(shí)現(xiàn)是有很大的缺陷的。在原始數(shù)據(jù)集D上面訓(xùn)練的模型，然后用這些模型再D上面再進(jìn)行預(yù)測(cè)得到的次級(jí)訓(xùn)練集肯定是非常好的。會(huì)出現(xiàn)過擬合的現(xiàn)象