支持向量機(jī)學(xué)習(xí)總結(jié)

1、商柳 2013.1.17Vladimir Vapnik和Corinna Cortes于1995年首先提出支持向量：簡(jiǎn)單來說，就是支持或支撐平面上把兩類類別劃分開來的超平面的向量點(diǎn)機(jī)（machine,機(jī)器）：算法。在機(jī)器學(xué)習(xí)領(lǐng)域，常把一些算法看做是一個(gè)機(jī)器，如分類機(jī)(也叫做分類器)，而支持向量機(jī)本身便是一種監(jiān)督式學(xué)習(xí)的方法，它廣泛的應(yīng)用于統(tǒng)計(jì)分類以及回歸分析中。在解決小樣本、非線性及高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì)y=1y=-1函數(shù)間隔(Functional Margin) 定義函數(shù)間隔為： 定義超平面(w，b)關(guān)于訓(xùn)練數(shù)據(jù)集T的函數(shù)間隔為：超平面(w，b)關(guān)于T中所有樣本點(diǎn)(xi，yi)的函

2、數(shù)間隔最小值 問題：當(dāng)w和b成倍增加時(shí)幾何間隔（Geometrical Margin） 對(duì)法向量w加些約束條件，使其表面上看起來規(guī)范化 點(diǎn)到超平面的距離目標(biāo)函數(shù) SVM SVM 通過使用通過使用最大間最大間隔分類器來隔分類器來設(shè)計(jì)設(shè)計(jì)決策決策最最優(yōu)分類優(yōu)分類超平面超平面 支撐兩個(gè)超平面的點(diǎn)支撐兩個(gè)超平面的點(diǎn)叫做支持向量叫做支持向量supportsupportvectorvector使用通用的QP優(yōu)化包來求解通過拉格朗日對(duì)偶變換到對(duì)偶變量進(jìn)行求解 更加高效簡(jiǎn)單的求解方法 可以很自然地引入核函數(shù)，進(jìn)而推廣到非線性分類問題問題滿足KKT條件，所以d*=p*得到關(guān)于a的優(yōu)化問題：SMO算法這里的形式的

3、有趣之處在于，對(duì)于新點(diǎn)x 的預(yù)測(cè)，只需要計(jì)算它與訓(xùn)練數(shù)據(jù)點(diǎn)的內(nèi)積即可（這里 , 表示向量?jī)?nèi)積）所有非 Supporting Vector 所對(duì)應(yīng)的系數(shù) 都是等于零的，因此對(duì)于新點(diǎn)的內(nèi)積計(jì)算實(shí)際上只要針對(duì)少量的“支持向量”而不是所有的訓(xùn)練數(shù)據(jù)即可。前面介紹了SVM處理線性可分的情況對(duì)于非線性情況： 選擇一個(gè)核函數(shù) ( , ) ，通過將數(shù)據(jù)映射到高維空間，來解決在原始空間中線性不可分的問題假設(shè)原始的數(shù)據(jù)是非線性的，我們通過一個(gè)映射 ?( ) 將其映射到一個(gè)高維空間中，數(shù)據(jù)變得線性可分了 維數(shù)呈爆炸性增長(zhǎng)，出現(xiàn)計(jì)算問題 其實(shí)只關(guān)心在高維空間中內(nèi)積的值核函數(shù)：接受兩個(gè)低維空間里的向量，能夠計(jì)算出經(jīng)過某

4、個(gè)變換后在高維空間里的向量?jī)?nèi)積值映射到高維空間之后還是線性不可分不是數(shù)據(jù)本身的非線性結(jié)構(gòu)，outliersSVM允許一些點(diǎn)到分類平面的距離不滿足原先的要求(軟間隔)其中 被稱為松弛變量目標(biāo)函數(shù)變?yōu)?其中C 是一個(gè)參數(shù)，用于控制目標(biāo)函數(shù)中兩項(xiàng)（“尋找 margin 最大的超平面”和“保證數(shù)據(jù)點(diǎn)偏差量最小”）之間的權(quán)重需要求解的優(yōu)化問題變?yōu)橹С窒蛄繖C(jī)就是使用了核函數(shù)的軟間隔線性分類法由Microsoft Research的John C. Platt在1998年提出，并成為最快的二次規(guī)劃優(yōu)化算法特別針對(duì)線性SVM和數(shù)據(jù)稀疏時(shí)性能更優(yōu)Sequential Minimal Optimization A Fast Al