《集成學習方法綜述》1400字

集成學習方法綜述隨著科學技術的飛速發(fā)展，需要解決的實際任務越來越復雜，因此產生一種具有較強泛化能力的分類器成為研究者面臨的一項具有挑戰(zhàn)性的任務，實驗表明在大多數(shù)情況下，多個基學習器結合起來的犯法能力會更好相比于單個學習器。事實上，集成學習之所以被人們廣泛使用原因在于一個預測性能比較差的學習器經(jīng)過一定的結合策略可以提高其性能使變成一個強學習器預測性能變強，所以基學習器通常也被稱為弱學習器ADDINEN.CITE<EndNote><Cite><Author>SánchezCrisostomo</Author><Year>2014</Year><RecNum>81</RecNum><DisplayText><styleface="superscript">[33,34]</style></DisplayText><record><rec-number>81</rec-number><foreign-keys><keyapp="EN"db-id="vf20xpfr5sa0seeewww5a50mw9dv5tre2pa5"timestamp="1615226267">81</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>SánchezCrisostomo,Juan</author><author>Alejo,Roberto</author><author>LópezGonzález,Erika</author><author>Valdovinos,Rosa</author><author>PachecoSánchez,J</author></authors></contributors><titles><title>EmpiricalAnalysisofAssessmentsMetricsforMulti-classImbalanceLearningontheBack-PropagationContext</title></titles><dates><year>2014</year></dates><urls></urls></record></Cite><Cite><Author>Zhai</Author><Year>2017</Year><RecNum>82</RecNum><record><rec-number>82</rec-number><foreign-keys><keyapp="EN"db-id="vf20xpfr5sa0seeewww5a50mw9dv5tre2pa5"timestamp="1615226298">82</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Zhai,Junhai</author><author>Zhang,Sufang</author><author>Wang,Chenxi</author></authors></contributors><titles><title>TheclassificationofimbalancedlargedatasetsbasedonMapReduceandensembleofELMclassifiers</title><secondary-title>InternationalJournalofMachineLearning&Cybernetics</secondary-title></titles><periodical><full-title>InternationalJournalofMachineLearning&Cybernetics</full-title></periodical><pages>1009-1017</pages><volume>8</volume><number>3</number><dates><year>2017</year></dates><urls></urls></record></Cite></EndNote>[33,34]，集成學習過程如圖2.1所示。圖2.SEQ圖2.\*ARABIC3 集成學習過程示意圖集成學習是機器學習算法之一，應用范圍十分廣泛，涉及到的領域眾多，許多學者對集成學習的研究日益深入。關于集成學習的研究熱點可以歸結兩種，一是Hansen和SalamonADDINEN.CITE<EndNote><Cite><Author>Hansen</Author><Year>2002</Year><RecNum>75</RecNum><DisplayText><styleface="superscript">[35,36]</style></DisplayText><record><rec-number>75</rec-number><foreign-keys><keyapp="EN"db-id="vf20xpfr5sa0seeewww5a50mw9dv5tre2pa5"timestamp="1615225503">75</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Hansen,L.K.</author><author>Salamon,Peter</author></authors></contributors><titles><title>Neuralnetworkensembles</title><secondary-title>IEEETransactionsonPatternAnalysis&MachineIntelligence</secondary-title></titles><periodical><full-title>IEEETransactionsonPatternAnalysis&MachineIntelligence</full-title></periodical><pages>993-1001</pages><volume>12</volume><number>10</number><dates><year>2002</year></dates><urls></urls></record></Cite><Cite><Author>Kearns</Author><Year>1994</Year><RecNum>77</RecNum><record><rec-number>77</rec-number><foreign-keys><keyapp="EN"db-id="vf20xpfr5sa0seeewww5a50mw9dv5tre2pa5"timestamp="1615225614">77</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Kearns,MichaelJ.</author><author>Li,Ming</author><author>Valiant,LeslieG.</author></authors></contributors><titles><title>LearningBooleanFormulae</title><secondary-title>JournaloftheAcm</secondary-title></titles><periodical><full-title>JournaloftheAcm</full-title></periodical><pages>1298-1328</pages><volume>41</volume><number>6</number><dates><year>1994</year></dates><urls></urls></record></Cite></EndNote>[35,36]提出的由一組分類器組合而成的預測結果通常比最好的一個分類器的預測結果更為準確一點。另一個是Schapire的結論，他認為弱學習器可以被提升為強學習器ADDINEN.CITE<EndNote><Cite><Author>Schapire</Author><Year>1989</Year><RecNum>78</RecNum><DisplayText><styleface="superscript">[37]</style></DisplayText><record><rec-number>78</rec-number><foreign-keys><keyapp="EN"db-id="vf20xpfr5sa0seeewww5a50mw9dv5tre2pa5"timestamp="1615225736">78</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Schapire,R.E.</author></authors></contributors><titles><title>Thestrengthofweaklearnability</title><secondary-title>ProceedingsoftheSecondAnnualWorkshoponComputationalLearningTheory</secondary-title></titles><periodical><full-title>ProceedingsoftheSecondAnnualWorkshoponComputationalLearningTheory</full-title></periodical><pages>197-227</pages><volume>5</volume><number>2</number><dates><year>1989</year></dates><urls></urls></record></Cite></EndNote>[37]。集成學習的思想主要是基于集合的泛化能力通常強于單個學習器這一理論基礎，Dieterich給出了以下三個解釋：第一，訓練數(shù)據(jù)集不能為選擇一個最佳學習器提供足夠的信息；二是搜索過程中的學習算法可能不完善；第三是假設被搜索的空間可能不包含真實的目標函數(shù)。集成學習主要分為兩個過程：訓練弱學習器和有選擇地將各個基學習器組合成強學習器。所以如何選擇學習算法和訓練數(shù)據(jù)集，并對所選算法進行參數(shù)化，使學習能力較弱的學習器盡可能多樣化以及如何根據(jù)基學習器的不同輸出最終確定學習結果是集成學習的重點。為了提高基學習器的多樣性，目前普遍采用以下幾種方法訓練，第一種是對于不同的基學習器我們通常采用不同的學習算法進行訓練，或者對每個學習器使用不同參數(shù)設置來訓練；第二種是用不同的數(shù)據(jù)集訓練基學習器，例如對訓練樣本進行二次抽樣，對屬性進行操作。第三種方法就是上述兩種方法的混合即同時使用多種機制?？赡軙J為使用更多的基學習器會帶來更好的效果，然而，Zhou等人證明了在生成一組基礎學習者后，選擇部分基學習器而不是全部基學習器組成一個整體效果更好ADDINEN.CITE<EndNote><Cite><Author>Zhou</Author><Year>2002</Year><RecNum>152</RecNum><DisplayText><styleface="superscript">[38]</style></DisplayText><record><rec-number>152</rec-number><foreign-keys><keyapp="EN"db-id="vf20xpfr5sa0seeewww5a50mw9dv5tre2pa5"timestamp="1620376665">152</key></foreign-keys><ref-typename="JournalArticle">17</ref-type><contributors><authors><author>Zhou,Z.H.</author><author>Wu,J.</author><author>Tang,W.</author></authors></contributors><titles><title>Ensemblingneuralnetworks:Manycouldbebetterthanall</title><secondary-title>ArtificialIntelligence</secondary-title></titles><periodical><full-title>ArtificialIntelligence</full-title></periodical><pages>239-263</pages><volume>137</volume><number>1–2</number><dates><year>2002</year></dates><urls></urls></record></Cite></EndNote>[38]。集成學習中最具代表的就是Boosting和Bagging兩種算法。（1）Boosting算法 Boosting算法是一個監(jiān)督分類方法，將多個弱學習器結合成為一個強學習器，具體步驟包括在：給每個樣本賦予相等的權重，所有基學習器的訓練在一個循環(huán)中完成，在循環(huán)過程中，選擇一個學習算法進行訓練，計算當前基學習器在這個數(shù)據(jù)集上產生的錯誤率以此來確定該基學習器的權重，最后不斷調整這個樣本的權重，調整權重的目的將那些分類錯誤的數(shù)據(jù)進性調整使其下一輪分類正確，經(jīng)過多次訓練后得到一個效果好的學習器。圖2.SEQ圖2.\*ARABIC4 Boosting算法族的框架（2）Bagging算法 利用不同的數(shù)據(jù)訓練個體學習器是提高基學習器多樣性的一種有效途徑，Bagging算法就是受這個思想的啟發(fā)，1996年Breimen提出BaggingADDINEN.CITE<EndNote><Cite><Author>Bbeiman</Author><Year>2010</Year><RecNum>153</RecNum><DisplayText><styleface="superscript">[39]</style></DisplayText><record><rec-number>153</rec-number><foreign-keys><keyapp="EN"db-id="vf20xpfr5sa0seeewww5a50mw9dv5tre2pa5"timestamp="1620377939">153</key></for