版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認(rèn)領(lǐng)
文檔簡介
1、巫義銳計算機與信息學(xué)院Email:支持向量機(SVM )目錄支持向量機推導(dǎo)要點支持向量機研究現(xiàn)狀支持向量機總結(jié)線性分類器:超平面線性分類器:超平面幾何間隔示意圖線性分類器存在多個劃分超平面將兩類訓(xùn)練樣本分開線性分類器對樣本A的分類最可信,B其次,C最差。因此,超平面應(yīng)該使訓(xùn)練樣本與超平面之間的距離最大。SVM形式化描述 轉(zhuǎn)化為數(shù)學(xué)式子: 進一步簡化:SVM形式化描述 轉(zhuǎn)化為數(shù)學(xué)式子: 進一步簡化:SVM形式化描述簡化目標(biāo)函數(shù):支持向量示意圖訓(xùn)練完成后,最終模型僅與支持向量有關(guān)線性支持向量機學(xué)習(xí)算法SVM對偶形式該式為凸二次規(guī)劃(convex quadratic programming)的問題,
2、可通過拉格朗日乘子法轉(zhuǎn)化為其對偶問題:轉(zhuǎn)化過程:SVM對偶形式求解上式是二次規(guī)劃問題,有許多高效解法,比如SMO(Sequential Minimal Optimization)算法。線性不可分問題若不存在一個能正確劃分兩類樣本的超平面,怎么辦?將樣本從原始空間映射到一個更高維的特征空間,使樣本在這個特征空 間內(nèi)線性可分。特征空間映射如果原始空間是有限維(屬性數(shù)有限),那么一定存在一個高維特征空間使樣本可分線性不可分問題對偶形式僅依賴內(nèi)積:核函數(shù)繞過顯式考慮特征映射、以及計算高維內(nèi)積的困難Mercer定理:若一個對稱函數(shù)所對應(yīng)的核矩陣半正定,則它就能作為核函數(shù)來使用任何一個核函數(shù),都隱式的定義
3、了一個RKHS(Reproducing kernel Hilbert Space, 再生核希爾伯特空間)“核函數(shù)選擇”成為決定支持向量機性能的關(guān)鍵!核函數(shù)目錄支持向量機推導(dǎo)要點支持向量機研究現(xiàn)狀支持向量機總結(jié)支持向量機實現(xiàn)SVMlight - 2.private:/usr/local/binsvm_learn, svm_classifybsvm - 2.private:/usr/local/binsvm-train, svm-classify, svm-scalelibsvm - 2.private:/usr/local/binsvm-train, svm-predict, svm-scale
4、, svm-toymySVMMATLAB svm toolbox研究現(xiàn)狀應(yīng)用研究支持向量機研究支持向量機算法研究應(yīng)用研究SVM的應(yīng)用主要于模式識別領(lǐng)域貝爾實驗室對美國郵政手寫數(shù)字庫進行的實驗分類器錯誤率人工表現(xiàn)2.5%決策樹C4.516.2%最好的兩層神經(jīng)網(wǎng)絡(luò)5.9%SVM4.0%SVM與神經(jīng)網(wǎng)絡(luò)(NN)的對比SVM的理論基礎(chǔ)比NN更堅實,更像一門嚴(yán)謹(jǐn)?shù)摹翱茖W(xué)”(三要素:問題的表示、問題的解決、證明)SVM 嚴(yán)格的數(shù)學(xué)推理NN 強烈依賴于工程技巧推廣能力取決于“經(jīng)驗風(fēng)險值”和“置信范圍值”,NN不能控制兩者中的任何一個。NN設(shè)計者用高超的工程技巧彌補了數(shù)學(xué)上的缺陷設(shè)計特殊的結(jié)構(gòu),利用啟發(fā)式算法
5、,有時能得到出人意料的好結(jié)果?!拔覀儽仨殢囊婚_始就澄清一個觀點,就是如果某事不是科學(xué),它并不一定不好。比如說,愛情就不是科學(xué)。因此,如果我們說某事不是科學(xué),并不是說它有什么不對,而只是說它不是科學(xué)?!?by R. Feynman from The Feynman Lectures on Physics, Addison-Wesley同理,與SVM相比,NN不像一門科學(xué),更像一門工程技巧,但并不意味著它就一定不好!主要應(yīng)用領(lǐng)域手寫數(shù)字識別語音識別人臉識別文本分類支持向量機研究如何針對不同的問題選擇不同的核函數(shù)仍然是一個懸而未決的問題。標(biāo)準(zhǔn)的SVM對噪聲是不具有魯棒性的,如何選擇合適的目標(biāo)函數(shù)以實
6、現(xiàn)魯棒性是至關(guān)重要的。支持向量機算法研究支持向量機的本質(zhì)是解一個二次規(guī)劃問題,雖然有一些經(jīng)典(如對偶方法、內(nèi)點算法等),但當(dāng)訓(xùn)練集規(guī)模很大時,這些算法面臨著維數(shù)災(zāi)難問題。為此,人們提出了許多針對大規(guī)模數(shù)據(jù)集的SVM訓(xùn)練算法。目錄支持向量機推導(dǎo)要點支持向量機研究現(xiàn)狀支持向量機總結(jié)支持向量機總結(jié) 支持向量機(support vector machines, SVM)是一種二類分類模型. 它的基本模型是定義在特征空間上的間隔最大的線性分類器. 支持向量機的學(xué)習(xí)策略就是間隔最大化,可形式化為一個求解凸二次規(guī)劃(convex quadratic programming)的問題. 核技巧使支持向量機成為實
7、質(zhì)上的非線性分類器支持向量機總結(jié) 核函數(shù)(kernel fimction)表示將輸入從輸入空間映射到特征空間得到的特征向量之間的內(nèi)積. 通過使用核函數(shù)可以學(xué)習(xí)非線性支持向量機,等價于隱式地在高維的特征空間中學(xué)習(xí)線性支持向量機.這樣的方法稱為核技巧. 核方法(kemel method)是比支持向量機更為一般的機器學(xué)習(xí)方法.主要參考文獻:A tutorial on support vector machines for pattern recognition. Data Mining and Knowledge Discovery,1998,2(2)Vapnik V N. The Nature o
8、f Statistical Learning Theory, NY: Springer-Verlag, 1995(中譯本:張學(xué)工譯.統(tǒng)計學(xué)習(xí)理論的本質(zhì).清華大學(xué)出版社,2000)Introduction to Support Vector Machine.Vapnik V N. 著,張學(xué)工譯. 統(tǒng)計學(xué)習(xí)理論.人民郵電出版社.張學(xué)工. 關(guān)于統(tǒng)計學(xué)習(xí)理論與支持向量機. 自動化學(xué)報, 2000年第1期.史朝輝. SVM算法研究及在HRRP分類中的應(yīng)用. 空軍工程大學(xué)碩士學(xué)位論文, 2005.主要參考文獻(續(xù)):要有正確的人生態(tài)度;人生需要有規(guī)劃;讀研究生應(yīng)該是可選項;工作應(yīng)該更加注重未來發(fā)展;學(xué)會合理包裝自己;把握機遇;暑期天有興趣一起做點事情的,歡迎聯(lián)系。我的一些建議我的一些建議第
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 美食行業(yè)廚師助理工作總結(jié)
- 質(zhì)量管理在研發(fā)流程中的作用培訓(xùn)
- 藥店衛(wèi)生整頓要領(lǐng)
- 部編初中歷史八下第17課外交事業(yè)的發(fā)展教案
- 2025年全球及中國商用儲水式熱水器行業(yè)頭部企業(yè)市場占有率及排名調(diào)研報告
- 2025年全球及中國推拉式酸洗線行業(yè)頭部企業(yè)市場占有率及排名調(diào)研報告
- 2025-2030全球第三人稱射擊游戲行業(yè)調(diào)研及趨勢分析報告
- 2025年全球及中國新能源汽車隱形門把手行業(yè)頭部企業(yè)市場占有率及排名調(diào)研報告
- 2025-2030全球基于人工智能的傷口護理軟件行業(yè)調(diào)研及趨勢分析報告
- 2025年全球及中國高舉裝載機行業(yè)頭部企業(yè)市場占有率及排名調(diào)研報告
- 長江委水文局2025年校園招聘17人歷年高頻重點提升(共500題)附帶答案詳解
- 智研咨詢發(fā)布:2024年中國MVR蒸汽機械行業(yè)市場全景調(diào)查及投資前景預(yù)測報告
- IF鋼物理冶金原理與關(guān)鍵工藝技術(shù)1
- JGJ46-2024 建筑與市政工程施工現(xiàn)場臨時用電安全技術(shù)標(biāo)準(zhǔn)
- 煙花爆竹重大危險源辨識AQ 4131-2023知識培訓(xùn)
- 銷售提成對賭協(xié)議書范本 3篇
- EPC項目階段劃分及工作結(jié)構(gòu)分解方案
- 《跨學(xué)科實踐活動4 基于特定需求設(shè)計和制作簡易供氧器》教學(xué)設(shè)計
- 2024-2030年汽車啟停電池市場運行態(tài)勢分析及競爭格局展望報告
- 術(shù)后病人燙傷不良事件PDCA循環(huán)分析
- 金字塔原理完整版本
評論
0/150
提交評論