《機器學習項目案例開發(fā)》課件 13.1集成算法-隨機森林

人工智能技術與應用13.集成算法概述課程概況—基本情況PART01集成算法什么是集成算法常用的集成算法集成算法的對比集成算法的概念集成算法(ensemblelearning)：集成學習:集成學習是通過構建并結(jié)合多個學習器來完成學習任務，如右圖所示，其過程是：先產(chǎn)生一組“個體學習器”，再用某種策略將它們結(jié)合起來。個體學習器:決策樹，神經(jīng)網(wǎng)絡等。同質(zhì)和異質(zhì)同質(zhì)，個體學習器全是同一類型，這時個體學習器又稱“基學習器”；異質(zhì)是指個體學習器包含不同類型得學習算法。一般我們常用的都是同質(zhì)的，即個體學習器都是同一類型的參考：https:///u012328159/article/details/89740430

集成算法的概念Bagging模型Bagging模型(bootstrapaggregation)：原理：并行訓練多個分類器，相互獨立的隨機的建立多個模型典型應用：隨機森林隨機：特征隨機采樣、數(shù)據(jù)隨機采樣關注點：從偏差-方差分解的角度，關注降低方差Bagging模型(bootstrapaggregation)：原理：并行訓練多個分類器，相互獨立的隨機的建立多個模型自助采樣(bootstrapsampling)：對數(shù)據(jù)集D做隨機采樣，每一個樣本每次被抽樣的概率相同，且每次抽完之后放回。包括隨機選擇數(shù)據(jù)和特征。

Bagging

Bagging基于自助采樣法，通過多次自助采樣得到不同的訓練集，并基于訓練集得到基學習器，最后再將這些基學習器的預測結(jié)果結(jié)合，得到最終的學習器的預測。一般在分類問題中，采用簡單投票法結(jié)合預測結(jié)果，在回歸問題中則采用簡單平均法。關注點：從偏差-方差分解的角度，關注降低方差Bagging模型Bagging實現(xiàn)步驟：實現(xiàn)步驟：輸入：數(shù)據(jù)集D，訓練輪數(shù)T輸出：最終預測模型G(1)迭代訓練基學習器：a.從數(shù)據(jù)集D中自助采樣得到訓練集D'b.通過訓練集D'訓練得到基學習器C(2)組合預測結(jié)果：Bagging模型Random

Forest隨機森林(Random

Forest)：隨機森林：隨機森林是一個包含多個決策樹的分類器，并且其輸出的類別是由個別樹輸出的類別的眾數(shù)而定。Treee：單個的決策樹絕對多數(shù)投票法Majorityvoting就是將樣本X,訓練出不同的模型,然后進行測試,進行投票,得票最多的模型則被被認為是最好.隨機森林(RandomForest)：數(shù)據(jù)的隨機抽樣：從原始的數(shù)據(jù)集中采取有放回的抽樣，構造子數(shù)據(jù)集，子數(shù)據(jù)集的數(shù)據(jù)量是和原始數(shù)據(jù)集相同的。不同子數(shù)據(jù)集的元素可以重復，同一個子數(shù)據(jù)集中的元素也可以重復。第二，利用子數(shù)據(jù)集來構建子決策樹，將這個數(shù)據(jù)放到每個子決策樹中，每個子決策樹輸出一個結(jié)果。如圖3，假設隨機森林中有3棵子決策樹，2棵子樹的分類結(jié)果是A類，1棵子樹的分類結(jié)果是B類，那么隨機森林的分類結(jié)果就是A類。Random

Forest隨機森林(RandomForest)：特征的隨機抽樣：與數(shù)據(jù)集的隨機選取類似，隨機森林中的子樹的每一個分裂過程并未用到所有的待選特征，而是從所有的待選特征中隨機選取一定的特征，之后再在隨機選取的特征中選取最優(yōu)的特征。這樣能夠使得隨機森林中的決策樹都能夠彼此不同，提升系統(tǒng)的多樣性，從而提升分類性能。Random

Fores