數(shù)據(jù)挖據(jù)技術(shù)集成學(xué)習(xí)方法ppt課件

1、 數(shù)據(jù)挖據(jù)技術(shù)數(shù)據(jù)挖據(jù)技術(shù)集成學(xué)習(xí)方法集成學(xué)習(xí)方法(ensemble learnig)王磊王磊 副教授副教授經(jīng)濟(jì)信息工程學(xué)院經(jīng)濟(jì)信息工程學(xué)院2第六章：第六章： 集成學(xué)習(xí)方法集成學(xué)習(xí)方法n根本概念根本概念nbaggingnboostingn隨機(jī)森林隨機(jī)森林n選擇性集成方法選擇性集成方法n在機(jī)器學(xué)習(xí)中，直接建立一個(gè)高性能的分類器是很困難的。n但是，假設(shè)能找到一系列性能較差的分類器弱分類器，并把它們集成起來的話，也許就能得到更好的分類器。n日常生活中，“三個(gè)臭皮匠，勝過諸葛亮，便是表達(dá)了這種思想。集成學(xué)習(xí)的根本概念Classifier ensembleihi(x)hn(x)h2(x)h1(x)Inp

2、ut vectorClassifier 1Classifier 2Classifier NCombine ClassifiersOutputx集成學(xué)習(xí)：圖示n我們普通選定加權(quán)平均的方法來構(gòu)造集成學(xué)習(xí)的最終學(xué)習(xí)器。n但是里面的每一個(gè) 弱分類器i怎樣構(gòu)造呢？n有一些研討，是針對每個(gè)學(xué)習(xí)器都不同構(gòu)的情況，比如識(shí)別一個(gè)人，一個(gè)學(xué)習(xí)器思索臉，另一個(gè)思索步態(tài)，另一個(gè)思索指紋。這種研討通常稱為Information Fusion，不在我們今天討論的范疇。n狹義的集成學(xué)習(xí)ensemble learning，是用同樣類型的學(xué)習(xí)算法來構(gòu)造不同的弱學(xué)習(xí)器的方法。集成學(xué)習(xí)：如何構(gòu)造？n方法就是改動(dòng)訓(xùn)練集。方法就是改動(dòng)

3、訓(xùn)練集。n通常的學(xué)習(xí)算法，根據(jù)訓(xùn)練集的不同，會(huì)給出不通常的學(xué)習(xí)算法，根據(jù)訓(xùn)練集的不同，會(huì)給出不同的學(xué)習(xí)器。這時(shí)就可以經(jīng)過改動(dòng)訓(xùn)練集來構(gòu)造同的學(xué)習(xí)器。這時(shí)就可以經(jīng)過改動(dòng)訓(xùn)練集來構(gòu)造不同的學(xué)習(xí)器。然后再把它們集成起來。不同的學(xué)習(xí)器。然后再把它們集成起來。集成學(xué)習(xí)：如何構(gòu)造？n在原來的訓(xùn)練集上隨機(jī)采樣，可以得到新的訓(xùn)練集?！倦S機(jī)采樣】 集成學(xué)習(xí)Ensemble Learning是一種機(jī)器學(xué)習(xí)方法，它運(yùn)用多個(gè)通常是同質(zhì)的學(xué)習(xí)器來處理同一個(gè)問題 問題 . . 問題 集成學(xué)習(xí)中運(yùn)用的多個(gè)學(xué)習(xí)器稱為個(gè)體學(xué)習(xí)器當(dāng)個(gè)體學(xué)習(xí)器均為決策樹時(shí)，稱為“決策樹集成當(dāng)個(gè)體學(xué)習(xí)器均為神經(jīng)網(wǎng)絡(luò)時(shí)，稱為“神經(jīng)網(wǎng)絡(luò)集成 集成學(xué)習(xí)的

4、定義由于集成學(xué)習(xí)技術(shù)可以有效地提高學(xué)習(xí)系統(tǒng)的泛化才干，因此它成為國際機(jī)器學(xué)習(xí)界的研討熱點(diǎn)，并被國際權(quán)威 T.G. Dietterich 稱為當(dāng)前機(jī)器學(xué)習(xí)四大研討方向之首T.G. Dietterich, AIMag97問題：對20維超立方體空間中的區(qū)域分類左圖中縱軸為錯(cuò)誤率從上到下的四條線分別表示：平均神經(jīng)網(wǎng)絡(luò)錯(cuò)誤率最好神經(jīng)網(wǎng)絡(luò)錯(cuò)誤率兩種神經(jīng)網(wǎng)絡(luò)集成的錯(cuò)誤率令人驚奇的是，集成的錯(cuò)誤率比最好的個(gè)體還低 L.K. Hansen & P. Salamon, TPAMI90【集成學(xué)習(xí)的重要性】集成學(xué)習(xí)技術(shù)曾經(jīng)在行星探測、地震波分析、Web信息過濾、生物特征識(shí)別、計(jì)算機(jī)輔助醫(yī)療診斷等眾多領(lǐng)域得到了

5、廣泛的運(yùn)用只需能用到機(jī)器學(xué)習(xí)的地方，就能用到集成學(xué)習(xí)【集成學(xué)習(xí)的運(yùn)用】期望結(jié)果個(gè)體1 (精度33.3%)個(gè)體2 (精度33.3%)個(gè)體3 (精度33.3%)集成(精度33.3%)投票個(gè)體必需有差別期望結(jié)果個(gè)體1 (精度33.3%)個(gè)體2 (精度33.3%)個(gè)體3 (精度33.3%)集成 (精度0%)投票個(gè)體精度不能太低EEA個(gè)體學(xué)習(xí)器越準(zhǔn)確、差別越大，集成越好A. Krogh & J. Vedelsby, NIPS94既然多個(gè)個(gè)體的集成比單個(gè)個(gè)體更好，那么是不是個(gè)體越多越好?更多的個(gè)體意味著： 在預(yù)測時(shí)需求更大的計(jì)算開銷，由于要計(jì)算更多的個(gè)體預(yù)測 更大的存儲(chǔ)開銷，由于有更多的個(gè)體需求保

6、管個(gè)體的添加將使得個(gè)體間的差別越來越難以獲得集成戰(zhàn)略集成戰(zhàn)略n有多種戰(zhàn)略可以將q個(gè)弱分類器組合成集成分類器。 集成戰(zhàn)略集成戰(zhàn)略n從大小為n的原始數(shù)據(jù)集D中獨(dú)立隨機(jī)地抽取n個(gè)數(shù)據(jù)(n=n)，構(gòu)成一個(gè)自助數(shù)據(jù)集；n反復(fù)上述過程，產(chǎn)生出多個(gè)獨(dú)立的自助數(shù)據(jù)集；n利用每個(gè)自助數(shù)據(jù)集訓(xùn)練出一個(gè)“分量分類器；n最終的分類結(jié)果由這些“分量分類器各自的判別結(jié)果投票決議。根本思想：對訓(xùn)練集有放回地抽取訓(xùn)練樣例，從而為每一個(gè)根本分類器都構(gòu)造出一個(gè)跟訓(xùn)練集相當(dāng)大小但各不一樣的訓(xùn)練集，從而訓(xùn)練出不同的根本分類器；該算法是基于對訓(xùn)練集進(jìn)展處置的集成方法中最簡單、最直觀的一種。 Boosting流程描畫流程描畫nStep1

7、: 原始訓(xùn)練集輸入nStep2: 計(jì)算訓(xùn)練集中各樣本的權(quán)重nStep3: 采用知算法訓(xùn)練弱學(xué)習(xí)機(jī)，并對每個(gè)樣本進(jìn)展判別nStep4: 計(jì)算對此次的弱學(xué)習(xí)機(jī)的權(quán)重nStep5: 轉(zhuǎn)到Step2, 直到循環(huán)到達(dá)一定次數(shù)或者某度量規(guī)范符合要求nStep6: 將弱學(xué)習(xí)機(jī)按其相應(yīng)的權(quán)重加權(quán)組合構(gòu)成強(qiáng)學(xué)習(xí)機(jī)中心思想中心思想n樣本的權(quán)重n沒有先驗(yàn)知識(shí)的情況下，初始的分布應(yīng)為等概分布，也就是訓(xùn)練集假設(shè)有N個(gè)樣本，每個(gè)樣本的分布概率為1/Nn每次循環(huán)一后提高錯(cuò)誤樣本的分布概率，分錯(cuò)樣本在訓(xùn)練集中所占權(quán)重增大， 使得下一次循環(huán)的弱學(xué)習(xí)機(jī)可以集中力量對這些錯(cuò)誤樣本進(jìn)展判別。n弱學(xué)習(xí)機(jī)的權(quán)重n準(zhǔn)確率越高的弱學(xué)習(xí)機(jī)權(quán)重

8、越高n循環(huán)控制：損失函數(shù)到達(dá)最小n在強(qiáng)學(xué)習(xí)機(jī)的組合中添加一個(gè)加權(quán)的弱學(xué)習(xí)機(jī)，使準(zhǔn)確率提高，損失函數(shù)值減小。簡單問題演示簡單問題演示Boosting訓(xùn)練過程訓(xùn)練過程算法算法boosting數(shù)學(xué)描畫數(shù)學(xué)描畫n訓(xùn)練集 (x1,y1), (x2,y2), (xN,yN) nxi Rm, yi -1,+1nDt 為第t次循環(huán)時(shí)的訓(xùn)練樣本分布每個(gè)樣本在訓(xùn)練集中所占的概率， Dt總和應(yīng)該為1nht:X-1,+1 為第t次循環(huán)時(shí)的Weak learner，對每個(gè)樣本給出相應(yīng)的假設(shè)，應(yīng)該滿足強(qiáng)于隨機(jī)猜測：nwt為ht的權(quán)重n 為t次循環(huán)得到的Strong learner21),()(xhyPtDyxttiiti

9、ithwsignH1)()(樣本權(quán)重樣本權(quán)重n思想：提高分錯(cuò)樣本的權(quán)重n 反映了strong learner對樣本的假設(shè)能否正確n采用什么樣的函數(shù)方式？n)(itiHywrongrightHyiti00)()(expitiHy弱學(xué)習(xí)機(jī)權(quán)重弱學(xué)習(xí)機(jī)權(quán)重n思想：錯(cuò)誤率越低，該學(xué)習(xí)機(jī)的權(quán)重應(yīng)該越大n 為學(xué)習(xí)機(jī)的錯(cuò)誤概率n采用什么樣的函數(shù)方式？n n 和指數(shù)函數(shù)遙相呼應(yīng)：)(),(xhyPtDyxtt tttw1ln21AdaBoost算法算法Adaboost 訓(xùn)練過程訓(xùn)練過程Adaboost 訓(xùn)練過程訓(xùn)練過程Adaboost 訓(xùn)練過程訓(xùn)練過程Adaboost的缺陷的缺陷隨機(jī)森林算法隨機(jī)森林算法n隨機(jī)

10、森林算法是Leo Breiman于2001年提出的一種新型分類和預(yù)測模型，它具有需求調(diào)整的參數(shù)少，不容易過度擬合，分類速度快，能高效處置大樣本數(shù)據(jù)等特點(diǎn)。nBagging和AdaBoost等方法只是經(jīng)過改動(dòng)樣本的權(quán)重來獲得不同的弱分類器。隨機(jī)森林RF那么經(jīng)過同時(shí)改動(dòng)樣本和特征子集來獲得不同的弱分類器。隨機(jī)森林算法隨機(jī)森林算法n隨機(jī)森林是采用隨機(jī)的方式建立一個(gè)森林，森林有很多決策樹組成，每棵決策樹之間沒有關(guān)聯(lián)。對于新的測試樣本，讓森林中的每一棵決策樹分布分別進(jìn)展一下判別，根據(jù)多數(shù)者投票方法決議樣本的類別。完全分裂的方式完全分裂的方式隨機(jī)特征選取隨機(jī)特征選取n當(dāng)特征個(gè)數(shù)M較多時(shí)，隨機(jī)選擇m個(gè)用于訓(xùn)

11、練決策樹。m越小，樹的相關(guān)性越小，且訓(xùn)練速度越快。n當(dāng)特征個(gè)數(shù)M較少時(shí)，可以由M個(gè)特征進(jìn)展隨機(jī)線性組合來產(chǎn)生M 個(gè)擴(kuò)展特征，然后，在M+M上隨機(jī)選擇m個(gè)特征，構(gòu)建決策樹。n其中，每一個(gè)擴(kuò)展特征的構(gòu)造如下： 從現(xiàn)有M特征中隨機(jī)抽取L個(gè)，它們的權(quán)重系數(shù)是-1,+1區(qū)間的均勻隨機(jī)數(shù)。然后，由L個(gè)已有特征線性組合出擴(kuò)展特征。隨機(jī)特征數(shù)確實(shí)定隨機(jī)特征數(shù)確實(shí)定選擇性集成算法選擇性集成算法n一方面，運(yùn)用更多的學(xué)習(xí)器將導(dǎo)致更大的計(jì)算和存儲(chǔ)開銷一方面，運(yùn)用更多的學(xué)習(xí)器將導(dǎo)致更大的計(jì)算和存儲(chǔ)開銷，另一方面，當(dāng)個(gè)體學(xué)習(xí)器數(shù)目添加之后，學(xué)習(xí)器之間的，另一方面，當(dāng)個(gè)體學(xué)習(xí)器數(shù)目添加之后，學(xué)習(xí)器之間的差別將越來越難以獲得。差別將越來越難以獲得。n因此，提出問題：為了到達(dá)更好的性能，能否必需運(yùn)用更因此，提出問題：為了到達(dá)更好的性能，能否必需運(yùn)用更多的個(gè)體學(xué)習(xí)器？多的個(gè)體學(xué)習(xí)器？選擇性集成的實(shí)際分析選擇性集成的實(shí)際分析選擇性集成的實(shí)際分析選擇性集成的實(shí)際分析選擇性集成的實(shí)際分析選擇性集成的實(shí)際分析選擇性集成的實(shí)際分析選擇性集成的實(shí)際分析問題求解問題求解問題求解問題求解GASEN算法算法論文講解論文講解n基于約束投影的支持向量機(jī)選擇性集成基于約束投影的支持向量機(jī)