支持向量機(jī)課件

8.6支持向量機(jī)概述支持向量機(jī)概述支持向量機(jī)理論支持向量機(jī)核函數(shù)支持向量機(jī)實(shí)現(xiàn)18.6.1支持向量機(jī)概述1963年，Vapnik在解決模式識別問題時提出了支持向量方法,這種方法從訓(xùn)練集中選擇一組特征子集,使得對特征子集的劃分等價于對整個數(shù)據(jù)集的劃分,這組特征子集就被稱為支持向量(SV)。1971年，Kimeldorf提出使用線性不等約束重新構(gòu)造SV的核空間,解決了一部分線性不可分問題。1990年，Grace,Boser和Vapnik等人開始對SVM進(jìn)行研究。1995年，Vapnik正式提出統(tǒng)計(jì)學(xué)習(xí)理論。28.6.2支持向量機(jī)理論SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來。最優(yōu)分類面就是要求分類線不但能將兩類正確分開(訓(xùn)練錯誤率為0),且使分類間隔最大。SVM考慮尋找一個滿足分類要求的超平面,并且使訓(xùn)練集中的點(diǎn)距離分類面盡可能的遠(yuǎn),也就是尋找一個分類面使它兩側(cè)的空白區(qū)域(margin)最大。過兩類樣本中離分類面最近的點(diǎn)且平行于最優(yōu)分類面的超平面上H1,H2的訓(xùn)練樣本就叫做支持向量。3支持向量機(jī)理論（續(xù)1）4廣義最優(yōu)分類面5廣義最優(yōu)分類面（續(xù)1）假定訓(xùn)練數(shù)據(jù)可以被一個超平面分開我們進(jìn)行正歸化此時分類間隔等于使最大間隔最大等價于使最小6廣義最優(yōu)分類面（續(xù)2）最優(yōu)分類面問題可以表示成約束優(yōu)化問題MinimizeSubjectto定義Lagrange函數(shù)

7廣義最優(yōu)分類面（續(xù)3）Lagrange函數(shù)8一個簡單的例子：x1=(0,0),y1=+1x2=(1,0),y2=+1x3=(2,0),y3=-1x4=(0,2),y4=-1可調(diào)用Matlab中的二次規(guī)劃程序，求得1,2,3,4的值，進(jìn)而求得w和b的值。9108.6.3支持向量機(jī)很多情況下，訓(xùn)練數(shù)據(jù)集是線性不可分的，Vapnik等人提出了用廣義分類面（松弛子）來解決這一問題。非線性問題——通過非線性變換將它轉(zhuǎn)化為某個高維空間中的線性問題，在這個高維空間中尋找最優(yōu)分類面。11高維空間中的最優(yōu)分類面分類函數(shù)只涉及到訓(xùn)練樣本之間的內(nèi)積運(yùn)算(xi·xj) ,因此,在高維空間中只需進(jìn)行內(nèi)積運(yùn)算,這種內(nèi)積運(yùn)算可通過定義在原空間中的函數(shù)來實(shí)現(xiàn),甚至不必知道變換的形式。SLT指出,根據(jù)Hibert-Schmidt原理,只要一種運(yùn)算滿足Mercer條件,就可以作為內(nèi)積使用。12Mercer條件13支持向量機(jī)在最優(yōu)分類面中采用適當(dāng)?shù)膬?nèi)積函數(shù)就可以實(shí)現(xiàn)某一非線性變換后的線性分類,而計(jì)算復(fù)雜度卻沒有增加。14支持向量機(jī)158.6.4核函數(shù)SVM中不同的內(nèi)積核函數(shù)將形成不同的算法,主要的核函數(shù)有三類：多項(xiàng)式核函數(shù)徑向基函數(shù)S形函數(shù)168.6.5支持向量機(jī)實(shí)現(xiàn)SVMlight -2.private:/usr/local/binsvm_learn,svm_classifybsvm -2.private:/usr/local/binsvm-train,svm-classify,svm-scalelibsvm -2.private:/usr/local/binsvm-train,svm-predict,svm-scale,svm-toymySVMMATLABsvmtoolbox17支持向量機(jī)實(shí)現(xiàn)188.7研究現(xiàn)狀應(yīng)用研究支持向量機(jī)研究支持向量機(jī)算法研究198.7.1應(yīng)用研究SVM的應(yīng)用主要于模式識別領(lǐng)域貝爾實(shí)驗(yàn)室對美國郵政手寫數(shù)字庫進(jìn)行的實(shí)驗(yàn)分類器錯誤率人工表現(xiàn)2.5%決策樹C4.516.2%最好的兩層神經(jīng)網(wǎng)絡(luò)5.9%SVM4.0%20SVM與神經(jīng)網(wǎng)絡(luò)（NN）的對比SVM的理論基礎(chǔ)比NN更堅(jiān)實(shí)，更像一門嚴(yán)謹(jǐn)?shù)摹翱茖W(xué)”（三要素：問題的表示、問題的解決、證明）SVM——嚴(yán)格的數(shù)學(xué)推理NN——強(qiáng)烈依賴于工程技巧推廣能力取決于“經(jīng)驗(yàn)風(fēng)險值”和“置信范圍值”，NN不能控制兩者中的任何一個。NN設(shè)計(jì)者用高超的工程技巧彌補(bǔ)了數(shù)學(xué)上的缺陷——設(shè)計(jì)特殊的結(jié)構(gòu)，利用啟發(fā)式算法，有時能得到出人意料的好結(jié)果。21“我們必須從一開始就澄清一個觀點(diǎn)，就是如果某事不是科學(xué)，它并不一定不好。比如說，愛情就不是科學(xué)。因此，如果我們說某事不是科學(xué)，并不是說它有什么不對，而只是說它不是科學(xué)?！?/p>

——by

R.FeynmanfromTheFeynmanLecturesonPhysics,Addison-Wesley同理，與SVM相比，NN不像一門科學(xué)，更像一門工程技巧，但并不意味著它就一定不好！22主要應(yīng)用領(lǐng)域手寫數(shù)字識別語音識別人臉識別文本分類238.7.2支持向量機(jī)研究如何針對不同的問題選擇不同的核函數(shù)仍然是一個懸而未決的問題。標(biāo)準(zhǔn)的SVM對噪聲是不具有魯棒性的,如何選擇合適的目標(biāo)函數(shù)以實(shí)現(xiàn)魯棒性是至關(guān)重要的。248.7.3支持向量機(jī)算法研究支持向量機(jī)的本質(zhì)是解一個二次規(guī)劃問題,雖然有一些經(jīng)典（如對偶方法、內(nèi)點(diǎn)算法等）,但當(dāng)訓(xùn)練集規(guī)模很大時,這些算法面臨著維數(shù)災(zāi)難問題。為此,人們提出了許多針對大規(guī)模數(shù)據(jù)集的SVM訓(xùn)練算法。25支持向量機(jī)算法研究（續(xù)1）思路1：分解子問題塊算法SMO算法(SequentialMinimalOptimization)思路2：序列優(yōu)化思路3：近鄰SVM26支持向量機(jī)算法研究（續(xù)2）訓(xùn)練SVM的絕大多數(shù)算法都是針對分類問題,只有一小部分算法考慮了回歸函數(shù)的估計(jì)問題。提高算法效率、降低復(fù)雜度。27支持向量機(jī)算法研究（續(xù)3）SVM增量學(xué)習(xí)算法的研究超球面SVM算法研究One-classSVM算法……SVM多值分類器算法One-against-the-rest（一對多方法）One-against-one（一對一方法）Multi-classObjectiveFunctions（多類SVM）DecisionDirectedAcyclicGraph,DDAGSVMDecisionTree超球面SVM多值分類器……28總結(jié)SVM在模式識別、回歸函數(shù)估計(jì)、預(yù)測等大量應(yīng)用中取得了良好的效果SVM存在兩個主要問題：二次規(guī)劃的訓(xùn)練速度核函數(shù)的選擇前途是光明的，道路是曲折的。29結(jié)束語當(dāng)你盡了自己的最大努力時，失敗也是偉大的，所以不要放棄，堅(jiān)持就是正確的。WhenYouDoYourBest,Failure