




版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、AdaBoost算法的解決方案 如何在每一輪改變訓(xùn)練數(shù)據(jù)的權(quán)值 提高前一輪弱分類器錯(cuò)誤分類樣本的權(quán)值,降低被正確分類樣本的權(quán)值 如何將弱分類器組合成強(qiáng)分類器 增加分類誤差率小的弱分類器的權(quán)值,使其起較大的決定作用,同時(shí)減小分類誤差率大的弱分類器的權(quán)值。第1頁(yè)/共16頁(yè)AdaBoost算法第2頁(yè)/共16頁(yè)系數(shù)( )mGx11ln2mmmee第3頁(yè)/共16頁(yè)權(quán)值更新當(dāng)正確分類時(shí), ,相應(yīng)的權(quán)值會(huì)降低,相反相應(yīng)的權(quán)值會(huì)增大1,exp( )mimimimimwwyGxZ1exp( )MmmimimimZwyGx( )0mimiyGx第4頁(yè)/共16頁(yè)AdaBoost誤差分析 AdaBoost算法最終分類
2、器的訓(xùn)練誤差界為111( ()exp()NiiiimiimI G xyy f xZNN第5頁(yè)/共16頁(yè)AdaBoost誤差分析 對(duì)于二分類問(wèn)題AdaBoost訓(xùn)練誤差界為其中2211112(1)(14)exp( 2)MMMMmmmmmmmmmZee12mme第6頁(yè)/共16頁(yè) 不等式的證明,等價(jià)于證明 只需證明采用做差、求導(dǎo)的方法即可證明上式說(shuō)明,AdaBoost的訓(xùn)練誤差是以指數(shù)速率下降的!AdaBoost誤差分析2211(14)exp( 2)MMmmmm22(14)exp( 2)mm第7頁(yè)/共16頁(yè)第8頁(yè)/共16頁(yè)前向分步算法 AdaBoost算法中的基本分類器的線性組合為這是一個(gè)加法模型。
3、在給定訓(xùn)練數(shù)據(jù)及損失函數(shù)L(y,f(x)條件下,學(xué)習(xí)加法模型f(x)成為損失函數(shù)極小化問(wèn)題M1( )( )mmmf xGx,( )11min(,)mmNMimmGximL yG第9頁(yè)/共16頁(yè)前向分步算法 但是求解這個(gè)問(wèn)題非常復(fù)雜。而前向分步算法的思想是每次只學(xué)習(xí)一組參數(shù),保證每一輪都最優(yōu),然后逐步逼近最優(yōu)目標(biāo)函數(shù),即 注意前后兩個(gè)公式的差別, ( )1min(,( )NiG xiL yG x第10頁(yè)/共16頁(yè)前向分步算法 定理8.3的證明中,8.21、8.22。第11頁(yè)/共16頁(yè)提升樹(shù)模型 以決策樹(shù)為基函數(shù)的提升方法稱為提升樹(shù)。 二叉分類樹(shù) 二叉決策樹(shù)第12頁(yè)/共16頁(yè)提升樹(shù)算法 仍然采用前向分步算法 不同問(wèn)題的提升樹(shù)學(xué)習(xí)算法,主要區(qū)別在于使用損失函數(shù)不同 比如回歸樹(shù),采用平方誤差損失函數(shù),因此引入了殘差。例題8.2。第13頁(yè)/共16頁(yè)例題8
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 探尋寵物營(yíng)養(yǎng)危機(jī)處理試題及答案
- 2024-2025員工三級(jí)安全培訓(xùn)考試試題及參考答案(綜合題)
- 2024-2025工廠員工安全培訓(xùn)考試試題及完整答案【必刷】
- 2024-2025公司管理人員安全培訓(xùn)考試試題【基礎(chǔ)題】
- 2024-2025崗位安全培訓(xùn)考試試題(5A)
- 2025公司安全管理員安全培訓(xùn)考試試題(完整版)
- 2025年公司級(jí)員工安全培訓(xùn)考試試題B卷
- 2025年企業(yè)安全培訓(xùn)考試試題【新題速遞】
- 寵物營(yíng)養(yǎng)師考試中應(yīng)避免的問(wèn)題與試題及答案
- 25年公司廠級(jí)安全培訓(xùn)考試試題(原創(chuàng)題)
- 2024年電子商務(wù)新興業(yè)態(tài)探討試題及答案
- 2025版《保障中小企業(yè)款項(xiàng)支付條例》學(xué)習(xí)解讀課件
- 開(kāi)封尉氏縣事業(yè)單位招聘工作人員考試真題2024
- 空調(diào)改造安裝合同
- 2025年中考道德與法治專題復(fù)習(xí):非選擇題答題指導(dǎo)與答題模板 課件67張
- 患者隱私保護(hù)培訓(xùn)課件
- 四川涼山州人民政府辦公室考調(diào)所屬事業(yè)單位工作人員2人高頻重點(diǎn)提升(共500題)附帶答案詳解
- 分包單位負(fù)責(zé)人崗位責(zé)任制度模版(3篇)
- 2023年高考化學(xué)試卷(河北)(解析卷)
- 2025年國(guó)家信息中心招聘15人高頻重點(diǎn)提升(共500題)附帶答案詳解
- 基于STM32單片機(jī)的人體感應(yīng)燈設(shè)計(jì)
評(píng)論
0/150
提交評(píng)論