SVM精簡版概括

1、SVM精簡版概括（一）相關(guān)概念：VC維對于一個指示函數(shù)（即只有0和1兩種取值的函數(shù)）集，如果存在h個樣 本能夠被函數(shù)集里的函數(shù)按照所有可能的種形式分開，則稱函數(shù)集能夠把h 個樣本打散，函數(shù)集的VC維就是能夠打散的最大樣本數(shù)目h。學習精度和推廣性推廣能力（或“泛化能力”）：學習機器對未來輸出進行正確預(yù)測的能力過學習:在某些情況下，訓(xùn)練誤差過小反而導(dǎo)致推廣能力的下降學習精度和推廣性之間似乎是一對不可調(diào)和的矛盾,采用復(fù)雜的學習機器 雖然容易使得學習誤差更小,卻往往喪失推廣性。推廣性的界根據(jù)統(tǒng)計學習理論（SLT）中關(guān)于函數(shù)集推廣性界的理論，對于指示函數(shù)集中 所有的函數(shù)，經(jīng)驗風險和實際風險，之間至少以

2、概率滿足關(guān)系 式其中，h是函數(shù)集的VC維,n是樣本數(shù)。結(jié)構(gòu)風險最小化（SRM）準則把函數(shù)集構(gòu)造為一個函數(shù)子集序列，使各個子集按照VC維的大小排列;在 每個子集中尋找最小經(jīng)驗風險,在子集間折衷考慮經(jīng)驗風險和置信范圍,取得實 際風險的最小。宣信范囹經(jīng)驗風險欠學習m學習a 醫(yī)險哀實鳳險的界函數(shù)巢予棠：，U&U5圖1SRM準則實現(xiàn)SRM原則的兩種思路1每個子集中求最小經(jīng)驗風險，然后選擇使最小經(jīng)驗風險和置信范圍之和 最小的子集。2設(shè)計函數(shù)集的某種結(jié)構(gòu)使每個子集中都能取得最小的經(jīng)驗風險，然后只 需選擇適當?shù)淖蛹怪眯欧秶钚?，則這個子集中使經(jīng)驗風險最小的函數(shù)就是 最優(yōu)函數(shù)。支持向量機方法實際上就是這種思路

3、的實現(xiàn). Support Vector MachineSVM的主要思想概括為一下兩點：1針對線性可分情況進行分析，對于線性不可分的情況，通過使用非線性映射算法將低維輸入空間線性不可分的樣本轉(zhuǎn)化為高維特征空間使其線性可分，從 而使得高維特征空間采用線性算法對樣本的非線性特征進行線性分析成為可能；2基于結(jié)構(gòu)風險最小化理論之上在特征空間中建構(gòu)最優(yōu)分割超平面，使得 學習器得到全局最優(yōu)化,并且在整個樣本空間的期望風險以某個概率滿足一定上 界。簡單地說，就是升維和線性化.升維，一般情況下會增加計算復(fù)雜度，甚 全引起“維數(shù)災(zāi)難”，SVM應(yīng)用核函數(shù)的展開定理，在高維特征空間中建立線性 學習機，幾乎不增加計算的

4、復(fù)雜性，從而在某種程度上避免了 維數(shù)災(zāi)難.選擇不同的核函數(shù)，可以生成不同的SVM，常用的核函數(shù)有以下4種：線性核函數(shù)K(x,y)=xy；多項式核函數(shù)K(x,y) = (xy) + 1d；徑向基函數(shù) K(x,y) = exp(-|x-y|A2/d2)二層神經(jīng)網(wǎng)絡(luò)核函數(shù)K(x,y)=tanh(ay) + b).其中K就是核函數(shù)，起作用在于將低維度線性不可分樣本向高緯線性可分 樣本作映射。X = K(w, X) + b;將低維度的X映射到了高緯度上的X(2)SVM的主要特征(1)基于結(jié)構(gòu)風險最小化(SRM,structuralriskminimization)原則，保證學習機器具有良 好的泛化能力；

5、(2)解決了算法復(fù)雜度與輸入向量密切相關(guān)的問題；(3 )通過引用核函數(shù)，將輸入空間中的非線性問題映射到高維特征空間中在高維空間 中構(gòu)造線性函數(shù)判別；（4）是以統(tǒng)計學理論為基礎(chǔ)的,與傳統(tǒng)統(tǒng)計學習理論不同。它主要是針對小樣本情況, 且最優(yōu)解是基于有限的樣本信息，而不是樣本數(shù)趨于無窮大時的最優(yōu)解；（5 ）算法可最終轉(zhuǎn)化為凸優(yōu)化問題，因而可保證算法的全局最優(yōu)性，避免了神經(jīng)網(wǎng)絡(luò)無 法解決的局部最小問題；（6）有嚴格的理論和數(shù)學基礎(chǔ)，避免了神經(jīng)網(wǎng)絡(luò)實現(xiàn)中的經(jīng)驗成分。（3）SVM的主要應(yīng)用領(lǐng)域 手寫數(shù)字識別、語音識別、人臉識別、文本分類 HYPERLINK /25-to-life/archive20ll/l

6、1/lZ2246430.html /25-to-life/archive20ll/l1/lZ2246430.html HYPERLINK /linglingbaby/article/details/5732310 /linglingbaby/article/details/5732310 HYPERLINK /v_july_v/article/details/7624837 /v july v/article/details/7624837支持向量機補充機器學習本質(zhì)上就是一種對問題真實模型的逼近，支持向量機是機器學習 的一個分支。支持向量機（Support Vector Machine）是 C

7、ortes 和 Vapnik于 1995 年 首先提出的，它在解決小樣本、非線性及高維模式識別中表現(xiàn)出許多特有的優(yōu)勢， 并能夠推廣應(yīng)用到函數(shù)擬合等其他機器學習問題中。小樣本，并不是說樣本的絕對數(shù)量少（實際上，對任何算法來說，更多的樣 本幾乎總是能帶來更好的效果），而是說與問題的復(fù)雜度比起來，SVM算法要 求的樣本數(shù)是相對比較少的。非線性，是指SVM擅長應(yīng)付樣本數(shù)據(jù)線性不可分的情況，主要通過松弛變 量（或懲罰變量）和核函數(shù)技術(shù)來實現(xiàn)。高維模式識別是指樣本維數(shù)很高，例如文本的向量表示，主要是因為SVM 產(chǎn)生的分類器很簡潔，用到的樣本信息很少,僅僅用到那些稱之為支持向量的 樣本，使得即使樣本維數(shù)很高

8、，也不會給存儲和計算帶來大麻煩。支持向量機方法是建立在統(tǒng)計學習理論的VC維理論和結(jié)構(gòu)風險最小原理 基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對特定訓(xùn)練樣本的學習精度） 和學習能力（即無錯誤地識別任意樣本的能力）之間尋求最佳折衷，以期獲得最 好的推廣能力（或稱泛化能力）。以前的機器學習方法都把經(jīng)驗風險最小化作為努力的目標，但后來發(fā)現(xiàn)很多 分類函數(shù)能夠在樣本集上輕易達到100%的正確率，在真實分類時卻一塌糊涂 （即所謂的推廣能力差，或泛化能力差）。此時的情況便是選擇了一個足夠復(fù)雜 的分類函數(shù)（它的VC維很高），能夠精確的記住每一個樣本，但對樣本之外的 數(shù)據(jù)一律分類錯誤。經(jīng)驗風險最小化原則，適用的大前提是經(jīng)驗風險要確實能夠 逼近真實風險才行。一般的，如果一個線性函數(shù)能夠?qū)颖就耆_的分開，就稱這些數(shù)據(jù)是線 性可分的，否則稱為非線性可分的。該線性函數(shù)也稱為超平面。參考文獻鏈接 HYPERLINK /zhenandaci/archive/200902/13254519.html /zhenandaci/archive/200902/13254519.html HYPERLINK /25-to-life/archive2011/11/1N2246430.html /25-to-life/archive2011/11/1N2246430.html HYPERLINK /linglin