支持向量機及其應(yīng)用

1、Page 1數(shù)學(xué)與計算機學(xué)院數(shù)學(xué)與計算機學(xué)院 彭宏彭宏支持向量機及其應(yīng)用支持向量機及其應(yīng)用Support Vector Machines and its Application智能算法講座（一）智能算法講座（一） Page 2目錄目錄u 線性可分的支持向量（分類）機線性可分的支持向量（分類）機u 線性支持向量（分類）機線性支持向量（分類）機u 支持向量（分類）機支持向量（分類）機u 最小二乘支持向量（分類）機最小二乘支持向量（分類）機u 硬硬 - -帶帶支持向量（回歸）機支持向量（回歸）機u 軟軟 - -帶帶支持向量（回歸）機支持向量（回歸）機u - -支持向量（回歸）機支持向量（回歸）機u

2、最小二乘支持向量（回歸）機最小二乘支持向量（回歸）機u 支持向量機應(yīng)用支持向量機應(yīng)用Page 3SVM的描述的描述u SVM是一種基于統(tǒng)計學(xué)習(xí)理論的模式識別方是一種基于統(tǒng)計學(xué)習(xí)理論的模式識別方法，它是由法，它是由Boser,Guyon,Vapnik在在COLT-92上上首次提出，從此迅速的發(fā)展起來，現(xiàn)在已經(jīng)首次提出，從此迅速的發(fā)展起來，現(xiàn)在已經(jīng)在許多領(lǐng)域（生物信息學(xué)，文本，圖像處理，在許多領(lǐng)域（生物信息學(xué)，文本，圖像處理，語言信號處理和手寫識別等）都取得了成功語言信號處理和手寫識別等）都取得了成功的應(yīng)用的應(yīng)用uCOLT(Computational Learning Theory)Page 4S

3、VM的描述的描述u目標(biāo)：目標(biāo)：找到一個超平面，使得它能夠盡可能多找到一個超平面，使得它能夠盡可能多的將兩類數(shù)據(jù)點正確的分開，同時使分開的兩的將兩類數(shù)據(jù)點正確的分開，同時使分開的兩類數(shù)據(jù)點距離分類面最遠。類數(shù)據(jù)點距離分類面最遠。u解決方法：解決方法：構(gòu)造一個在約束條件下的優(yōu)化問題，構(gòu)造一個在約束條件下的優(yōu)化問題，具體的說是一個約束二次規(guī)劃問題具體的說是一個約束二次規(guī)劃問題(constrained quadratic programing), ,求解該問題，得到分類器。求解該問題，得到分類器。Page 5模式識別問題的一般描述模式識別問題的一般描述u 已知：已知：n個觀測樣本，個觀測樣本，(x1,

4、y1), , (x2,y2) (xn,yn)u 求：最優(yōu)函數(shù)求：最優(yōu)函數(shù)y= f(x,w)u 滿足條件：期望風(fēng)險最小滿足條件：期望風(fēng)險最小u 損失函數(shù)損失函數(shù)),(),(,()(yxdFwxfyLwR),(1),(0),(,(wxfywxfywxfyLPage 6SVM的描述的描述u 期望風(fēng)險期望風(fēng)險R(w)要依賴聯(lián)合概率要依賴聯(lián)合概率F(x,y)的信息，的信息，實際問題中無法計算。實際問題中無法計算。u 一般用經(jīng)驗風(fēng)險一般用經(jīng)驗風(fēng)險Remp(w)代替期望風(fēng)險代替期望風(fēng)險R(w)nwxfyLnwRniiiemp錯分?jǐn)?shù)1),(,(1)(Page 7一般模式識別方法的問題一般模式識別方法的問題u

5、經(jīng)驗風(fēng)險最小不等于期望風(fēng)險最小，不能保證經(jīng)驗風(fēng)險最小不等于期望風(fēng)險最小，不能保證分類器的推廣能力分類器的推廣能力. .u 經(jīng)驗風(fēng)險只有在樣本數(shù)無窮大趨近于期望風(fēng)險，經(jīng)驗風(fēng)險只有在樣本數(shù)無窮大趨近于期望風(fēng)險，需要非常多的樣本才能保證分類器的性能。需要非常多的樣本才能保證分類器的性能。u 需要找到經(jīng)驗風(fēng)險最小和推廣能力最大的平衡需要找到經(jīng)驗風(fēng)險最小和推廣能力最大的平衡點。點。Page 8一、線性可分的支持向量(分類)機),( ,),(),(2211nnyxyxyxD，niyRXximi, 1,1, 1,0)(bxw首先考慮線性可分情況。設(shè)有如下兩類樣本的訓(xùn)練集：首先考慮線性可分情況。設(shè)有如下兩類樣

6、本的訓(xùn)練集：線性可分情況意味著存在線性可分情況意味著存在超平面超平面使訓(xùn)練點中的正類和使訓(xùn)練點中的正類和負類樣本分別位于該超平面的兩側(cè)。負類樣本分別位于該超平面的兩側(cè)。如果能確定這樣的參數(shù)對（如果能確定這樣的參數(shù)對（w,bw,b）的話的話, ,就可以構(gòu)造就可以構(gòu)造決策函數(shù)決策函數(shù)來進行來進行識別新樣本。識別新樣本。)sgn()(bxwxfPage 9線性可分的支持向量(分類)機nibxwytswiibw, 1, 1)(. .21min2,問題是問題是：這樣的參數(shù)對（：這樣的參數(shù)對（w,bw,b）有許多。）有許多。 解決的方法是采用最大間隔原則。解決的方法是采用最大間隔原則。最大間隔原則最大間隔

7、原則：選擇使得訓(xùn)練集：選擇使得訓(xùn)練集D D對于線性函數(shù)對于線性函數(shù)(wx)+b的幾何間隔取最大值的參數(shù)對的幾何間隔取最大值的參數(shù)對(w,b)(w,b)，并，并由此構(gòu)造決策函數(shù)。由此構(gòu)造決策函數(shù)。在規(guī)范化下，超平面的幾何間隔為在規(guī)范化下，超平面的幾何間隔為于是，找最大于是，找最大幾何間隔的超平面幾何間隔的超平面表述成如下的最優(yōu)化問題：表述成如下的最優(yōu)化問題：w1(1)(1)Page 10線性可分的支持向量(分類)機niiiibxwywbwL12) 1)(21),(nTnR),(210),(, 0),(bwLbwLwb 為求解問題為求解問題(1),(1),使用使用Lagrange乘子法乘子法將其轉(zhuǎn)

8、化為對偶問題。將其轉(zhuǎn)化為對偶問題。于是引入于是引入Lagrange函數(shù)函數(shù)：其中，其中， 稱為稱為Lagrange乘子。乘子。首先求首先求Lagrange函數(shù)關(guān)于函數(shù)關(guān)于w,bw,b的極小值。由的極小值。由極值條件有：極值條件有：niiiy10niiiixyw1得到：得到：(2)(2)(3)(3)(4)(4)Page 11線性可分的支持向量(分類)機niytsxxyyiniiininjjnjjijiji, 1, 0, 0. .)(21min1111niiiixyw1niiiixyw1*將將(3)(3)式代入式代入Lagrange函數(shù)，并利用函數(shù)，并利用(4)(4)式，則原始的優(yōu)化問題式，則原始

9、的優(yōu)化問題轉(zhuǎn)化為如下的轉(zhuǎn)化為如下的對偶問題對偶問題( (使用極小形式使用極小形式) )：這是一個凸二這是一個凸二次規(guī)劃問題次規(guī)劃問題有唯一的最優(yōu)有唯一的最優(yōu)解解(5)(5)求解問題求解問題(5)(5)，得，得 。則參數(shù)對。則參數(shù)對(w,b)(w,b)可由下式計算：可由下式計算：nyiniiiixwb1*1*2Page 12線性可分的支持向量(分類)機0) 1)(*bxwyiii支持向量：支持向量：稱訓(xùn)練集稱訓(xùn)練集D中的樣本中的樣本xi為支持向量，如為支持向量，如 果它對應(yīng)的果它對應(yīng)的i*0。根據(jù)原始最優(yōu)化問題的根據(jù)原始最優(yōu)化問題的KKTKKT條件，有條件，有于是，支持向量正好在間隔邊界上于是，

10、支持向量正好在間隔邊界上。于是，得到如下的決策函數(shù)：于是，得到如下的決策函數(shù)：niiiibxxyxf1*)(sgn)(Page 13目錄目錄u 線性可分的支持向量（分類）機線性可分的支持向量（分類）機u 線性支持向量（分類）機線性支持向量（分類）機u 支持向量（分類）機支持向量（分類）機u 最小二乘支持向量（分類）機最小二乘支持向量（分類）機u 硬硬 - -帶帶支持向量（回歸）機支持向量（回歸）機u 軟軟 - -帶帶支持向量（回歸）機支持向量（回歸）機u - -支持向量（回歸）機支持向量（回歸）機u 最小二乘支持向量（回歸）機最小二乘支持向量（回歸）機u 支持向量機應(yīng)用支持向量機應(yīng)用Page

11、14二、線性支持向量(分類)機1)(bxwyiinibxwyiii, 1,1)(現(xiàn)在考慮現(xiàn)在考慮線性不可分情況線性不可分情況。對于訓(xùn)練集。對于訓(xùn)練集D D，不存在這樣，不存在這樣的超平面，使訓(xùn)練集關(guān)于該超平面的幾何間隔取正值。的超平面，使訓(xùn)練集關(guān)于該超平面的幾何間隔取正值。如果要用超平面來劃分的話，必然有錯分的點。如果要用超平面來劃分的話，必然有錯分的點。但我們?nèi)蜗Ｍ褂贸矫孢M行分劃，這時應(yīng)但我們?nèi)蜗Ｍ褂贸矫孢M行分劃，這時應(yīng)“軟化軟化”對間隔的要求，即容許不滿足約束條件的樣本點存在。對間隔的要求，即容許不滿足約束條件的樣本點存在。為此，引入松弛變量為此，引入松弛變量并并“軟化軟化”約束條

12、件：約束條件：i0iPage 15線性支持向量(分類)機為了避免為了避免 i i取太大的值，需要在目標(biāo)函數(shù)中對它們進行取太大的值，需要在目標(biāo)函數(shù)中對它們進行懲罰。于是懲罰。于是原始優(yōu)化問題原始優(yōu)化問題變?yōu)椋鹤優(yōu)椋簄inibxwytsCwiiiiniibw, 1, 0, 1,1)(. .21min12,其中其中C0C0稱為稱為懲罰因子。懲罰因子。(6)(6)Page 16線性支持向量(分類)機niiiniiiiiniirbxwyCwrbwL1112)1)(21),(類似前面，通過引入如下的類似前面，通過引入如下的Lagrange函數(shù)：函數(shù)：得到如下的對偶問題：得到如下的對偶問題：niCytsxx

13、yyiniiininjjnjjijiji, 1,0, 0. .)(21min1111(7)(7)Page 17線性支持向量(分類)機求解對偶問題求解對偶問題(7),(7),可得如下決策函數(shù)：可得如下決策函數(shù)：niiiibxxyxf1*)(sgn)(支持向量有下列性質(zhì)：支持向量有下列性質(zhì)：(1)(1)界內(nèi)支持向量一定位于間隔邊界上界內(nèi)支持向量一定位于間隔邊界上 的正確劃分區(qū)；的正確劃分區(qū)；(2)(2)支持向量不會出現(xiàn)在間隔以外的支持向量不會出現(xiàn)在間隔以外的 正確劃分區(qū)；正確劃分區(qū)；(3)(3)非支持向量一定位于帶間隔的正確劃分區(qū)。非支持向量一定位于帶間隔的正確劃分區(qū)。Page 18目錄目錄u 線

14、性可分的支持向量（分類）機線性可分的支持向量（分類）機u 線性支持向量（分類）機線性支持向量（分類）機u 支持向量（分類）機支持向量（分類）機u 最小二乘支持向量（分類）機最小二乘支持向量（分類）機u 硬硬 - -帶帶支持向量（回歸）機支持向量（回歸）機u 軟軟 - -帶帶支持向量（回歸）機支持向量（回歸）機u - -支持向量（回歸）機支持向量（回歸）機u 最小二乘支持向量（回歸）機最小二乘支持向量（回歸）機u 支持向量機應(yīng)用支持向量機應(yīng)用Page 19三、支持向量(分類)機對于一般的對于一般的非線性可分情況非線性可分情況。對于訓(xùn)練集。對于訓(xùn)練集D D，無法尋找，無法尋找到來如前的超平面來劃分

15、。到來如前的超平面來劃分。Page 20支持向量(分類)機下面通過下面通過核技術(shù)核技術(shù)來處理。引入一個來處理。引入一個非線性映射非線性映射 把把輸入空間輸入空間映射到一個映射到一個( (高維的高維的) )Hilbert空間空間H, ,使數(shù)據(jù)在使數(shù)據(jù)在H中是線性可分中是線性可分或線性不可分：或線性不可分：)(:xzxHZRXm輸入空間輸入空間Xi Hilbert空間空間H線性線性可分可分線性線性不可分不可分Page 21在核映射下，在核映射下，D D對應(yīng)于對應(yīng)于Hilbert空間空間H的訓(xùn)練集為：的訓(xùn)練集為：支持向量(分類)機),( ,),),(),( ,),(1111nnnnyxyxyzyzD

16、于是在于是在Hilbert空間空間H中尋找使幾何間隔最大的超平中尋找使幾何間隔最大的超平面，其原始優(yōu)化問題面，其原始優(yōu)化問題為：為：ninibzwytsCwiiiiniibw, 1, 0, 1,1)(. .21min12,(8)(8)Page 22問題問題(8)(8)對應(yīng)的對偶問題為對應(yīng)的對偶問題為：支持向量(分類)機(9)(9)niCytsxxKyyiniiininjjnjjijiji, 1,0, 0. .)(21min1111求解對偶問題求解對偶問題(9),(9),可得如下決策函數(shù)：可得如下決策函數(shù)：niiiibxxKyxf1*)(sgn)(Page 23b*問的計算如下問的計算如下：支持

17、向量(分類)機選取選取的一個正分量的一個正分量0j*0或或j* 0來計算來計算b: :Page 40硬硬 - -帶帶支持向量（回歸）機支持向量（回歸）機bxwxfy)()(支持向量：支持向量：稱訓(xùn)練集稱訓(xùn)練集D中的樣本中的樣本xi為支持向量，為支持向量， 如果它對應(yīng)的如果它對應(yīng)的i*0或i0 。把把w的式子代入函數(shù)：的式子代入函數(shù)：于是，得到如下的回歸函數(shù)：于是，得到如下的回歸函數(shù)：niiiibxxxf1*)()(y=(w.x)+b+y=(w.x)+b-y=(w.x)+bPage 41目錄目錄u 線性可分的支持向量（分類）機線性可分的支持向量（分類）機u 線性支持向量（分類）機線性支持向量（分

18、類）機u 支持向量（分類）機支持向量（分類）機u 最小二乘支持向量（分類）機最小二乘支持向量（分類）機u 硬硬 - -帶帶支持向量（回歸）機支持向量（回歸）機u 軟軟 - -帶帶支持向量（回歸）機支持向量（回歸）機u - -支持向量（回歸）機支持向量（回歸）機u 最小二乘支持向量（回歸）機最小二乘支持向量（回歸）機u 支持向量機應(yīng)用支持向量機應(yīng)用Page 42軟軟 - -帶帶支持向量（回歸）機支持向量（回歸）機),( ,),(),(2211nnyxyxyxD，niRyRXximi, 1,考慮軟考慮軟 - -帶支持向量帶支持向量線性線性回歸回歸情況。設(shè)有如下兩類樣本的訓(xùn)練集情況。設(shè)有如下兩類樣本

19、的訓(xùn)練集：同樣希望使用一個線性函數(shù)來同樣希望使用一個線性函數(shù)來回歸回歸樣本點，且這種情況下，除了樣本點，且這種情況下，除了大量樣本點在大量樣本點在 - -帶內(nèi)，還有少量的樣本帶內(nèi)，還有少量的樣本落在落在 - -帶外。這時需要對帶外。這時需要對落在落在 - -帶外的樣本進行懲罰。于是帶外的樣本進行懲罰。于是原始優(yōu)化問題原始優(yōu)化問題為：為：ninibxwyniybxwtsnCwiiiiiiiniiibw, 1, 0, 1,)(, 1,)(. .)(121min(*)*1*2,(*)y=(w.x)+b+y=(w.x)+b-y=(w.x)+bPage 43軟軟 - -帶帶支持向量（回歸）機支持向量（回

20、歸）機niiiiniiiiniiiiiniiibxwybxwynCwbwL1*11*1*2)()()()(21),(0, 0(*)(*)0(*)(*)(*)iinCL 為求解上述原始優(yōu)化問題為求解上述原始優(yōu)化問題, ,使用使用Lagrange乘子法乘子法將其轉(zhuǎn)化為對將其轉(zhuǎn)化為對偶問題。于是引入偶問題。于是引入Lagrange函數(shù)函數(shù)：其中，其中， 稱為稱為Lagrange乘子。乘子。首先求首先求Lagrange函數(shù)關(guān)于函數(shù)關(guān)于w,b,w,b, ( (* *) )的極小值。由的極小值。由極值條件有：極值條件有：niiibL1*0)(0)(1*niiiiwxwLPage 44軟軟 - -帶帶支持向

21、量（回歸）機支持向量（回歸）機ninCtsyxxiiniiiniiiininiiinjjijjii, 1,0, 0)(. .)()()()(21min*1*1*11*1*）（niiiixw1*)(將上式代入將上式代入Lagrange函數(shù)，則原始的優(yōu)化問題轉(zhuǎn)化為如下的函數(shù)，則原始的優(yōu)化問題轉(zhuǎn)化為如下的對偶問題對偶問題( (使用極小形式使用極小形式) )：求解上述對偶問題，得求解上述對偶問題，得 ( (* *) )。則參數(shù)對。則參數(shù)對(w,b)(w,b)可由下式計算：可由下式計算：b的計算（略）。的計算（略）。Page 45軟軟 - -帶帶支持向量（回歸）機支持向量（回歸）機bxwxfy)()(支

22、持向量：支持向量：稱訓(xùn)練集稱訓(xùn)練集D中的樣本中的樣本xi為支持向量，為支持向量， 如果它對應(yīng)的如果它對應(yīng)的i*0或i0 。把把w的式子代入函數(shù)：的式子代入函數(shù)：于是，得到如下的回歸函數(shù)：于是，得到如下的回歸函數(shù)：niiiibxxxf1*)()(y=(w.x)+b+y=(w.x)+b-y=(w.x)+bPage 46目錄目錄u 線性可分的支持向量（分類）機線性可分的支持向量（分類）機u 線性支持向量（分類）機線性支持向量（分類）機u 支持向量（分類）機支持向量（分類）機u 最小二乘支持向量（分類）機最小二乘支持向量（分類）機u 硬硬 - -帶帶支持向量（回歸）機支持向量（回歸）機u 軟軟 - -

23、帶帶支持向量（回歸）機支持向量（回歸）機u - -支持向量（回歸）機支持向量（回歸）機u 最小二乘支持向量（回歸）機最小二乘支持向量（回歸）機u 支持向量機應(yīng)用支持向量機應(yīng)用Page 47 - -支持向量（回歸）機支持向量（回歸）機下面通過下面通過核技術(shù)核技術(shù)來處理。引入一個來處理。引入一個非線性映射非線性映射 把把輸入空間輸入空間映射到一個映射到一個( (高維的高維的) )Hilbert空間空間H, ,使在使在H中進行線性回歸中進行線性回歸（硬（硬 - -帶或軟帶或軟 - -帶）：帶）：)(:xzxHZRXm輸入空間輸入空間X Hilbert空間空間H硬硬 - -帶帶線性回歸線性回歸軟軟 -

24、 -帶帶線性回歸線性回歸Page 48在核映射下，在核映射下，D D對應(yīng)于對應(yīng)于Hilbert空間空間H的訓(xùn)練集為：的訓(xùn)練集為： - -支持向量（回歸）機支持向量（回歸）機),( ,),),(),( ,),(1111nnnnyxyxyzyzD于是在于是在Hilbert空間空間H中進行線性回歸，其原始優(yōu)化中進行線性回歸，其原始優(yōu)化問題問題為：為：ninibzwyniybzwtsnCwiiiiiiiniiibw, 1, 0, 1,)(, 1,)(. .)(121min(*)*1*2,(*)Page 49上述問題的對偶問題為上述問題的對偶問題為： - -支持向量（回歸）機支持向量（回歸）機求解對偶問

25、題求解對偶問題, ,可得如下回歸函數(shù)：可得如下回歸函數(shù)：ninCtsyxxKiiniiiniiiininiiinjjijjii, 1,0, 0)(. .)()()()(21min*1*1*11*1*）（niiiibxxKxf1*)()()(Page 50目錄目錄u 線性可分的支持向量（分類）機線性可分的支持向量（分類）機u 線性支持向量（分類）機線性支持向量（分類）機u 支持向量（分類）機支持向量（分類）機u 最小二乘支持向量（分類）機最小二乘支持向量（分類）機u 硬硬 - -帶帶支持向量（回歸）機支持向量（回歸）機u 軟軟 - -帶帶支持向量（回歸）機支持向量（回歸）機u - -支持向量（回

26、歸）機支持向量（回歸）機u 最小二乘支持向量（回歸）機最小二乘支持向量（回歸）機u 支持向量機應(yīng)用支持向量機應(yīng)用Page 51四、最小二乘支持向量(回歸)機 假定假定xXRd表示一個實值隨機輸入向量，表示一個實值隨機輸入向量，yYR表示一個實表示一個實值隨機輸出變量。記值隨機輸出變量。記RN表示一高維的特征空間，表示一高維的特征空間，為一非線性為一非線性映射映射: X，它映射隨機輸入向量到高維特征空間，它映射隨機輸入向量到高維特征空間。 支持向量方法的思想是在該高維特征空間支持向量方法的思想是在該高維特征空間中考慮如下線性中考慮如下線性函數(shù)集：函數(shù)集： RbRwXbxwxffFfnT,:;)(

27、)(: 我們考慮在函數(shù)表示式中含噪聲情形。給定一個由未知分我們考慮在函數(shù)表示式中含噪聲情形。給定一個由未知分布布FXY產(chǎn)生的、獨立同分布（產(chǎn)生的、獨立同分布（i.i.d.）的訓(xùn)練集：）的訓(xùn)練集： nkYyXxyxDkkkk, 1;,: ),(kkkexfy)(這里這里ekR假定為獨立同分布的隨機誤差，且假定為獨立同分布的隨機誤差，且E ek | X=xk = 0，Var ek = 2 ；m(x)F為一個未知的實值光滑函數(shù)，且為一個未知的實值光滑函數(shù)，且E yk | x=xk = f(xk)。 Page 52最小二乘支持向量(回歸)機 函數(shù)估計的目的是在約束函數(shù)估計的目的是在約束|w|a, aR

28、下通過最小化如下經(jīng)驗下通過最小化如下經(jīng)驗風(fēng)險來尋找風(fēng)險來尋找w和和b: : nkkkTempybxwn1bwR12)(),( 最小二乘支持向量回歸機最小二乘支持向量回歸機（LS-SVR）定義了與標(biāo)準(zhǔn)支持向定義了與標(biāo)準(zhǔn)支持向量機不同的代價函數(shù)，選用損失函數(shù)為誤差量機不同的代價函數(shù)，選用損失函數(shù)為誤差ek的二次項，并將的二次項，并將其不等式約束改為等式約束，因此尋找其不等式約束改為等式約束，因此尋找w和和b的優(yōu)化問題可以轉(zhuǎn)的優(yōu)化問題可以轉(zhuǎn)化為如下具有化為如下具有嶺回歸嶺回歸形式的優(yōu)化問題：形式的優(yōu)化問題： nkkTeb,w,e21wwe)J(w,min1221且?guī)в腥缦碌仁郊s束條件：且?guī)в腥缦碌仁?/p>

29、約束條件： nkebxwykkTk, 1,)(其中其中 bxxyeTiPage 53最小二乘支持向量(回歸)機 為了在對偶空間中求解上述優(yōu)化問題，定義如下的為了在對偶空間中求解上述優(yōu)化問題，定義如下的Lagrange泛函：泛函： nkkkkTkyebxw-e)J(w,)e,b,L(w,1)(其中其中kR為乘子（叫做支持向量）。為乘子（叫做支持向量）。 其優(yōu)化條件由下式給出：其優(yōu)化條件由下式給出： nkyebxwLnkeeLbLxwwLkkkTkkkknkknkkk, 1,)(0, 1,000)(011Page 54最小二乘支持向量(回歸)機上式能被直接表示為求解如下如下線性方程組：上式能被直接

30、表示為求解如下如下線性方程組： 其中其中y=(y1,yn)T, (x)=( (x1), (xn)T, 1n=(1,.,1)T, e=(e1,en)T, =(1, n)T。在上式中消去。在上式中消去w和和e后，得到如下后，得到如下線性方程組：線性方程組： yebwIxIIxInnTnnTn00001)(001000)(00ybInnTn01110其中其中kl=(xk)T(xl), k,l=1,.,n。 Page 55最小二乘支持向量(回歸)機根據(jù)根據(jù)Mercer定理，函數(shù)估計的最小二乘支持向量回歸模型為：定理，函數(shù)估計的最小二乘支持向量回歸模型為： 其中其中與與b通過求解上述方程組得到。通過求解

31、上述方程組得到。 nkkkbxxKxf1),()(Page 56目錄目錄u 線性可分的支持向量（分類）機線性可分的支持向量（分類）機u 線性支持向量（分類）機線性支持向量（分類）機u 支持向量（分類）機支持向量（分類）機u 最小二乘支持向量（分類）機最小二乘支持向量（分類）機u 硬硬 - -帶帶支持向量（回歸）機支持向量（回歸）機u 軟軟 - -帶帶支持向量（回歸）機支持向量（回歸）機u - -支持向量（回歸）機支持向量（回歸）機u 最小二乘支持向量（回歸）機最小二乘支持向量（回歸）機u 支持向量機應(yīng)用支持向量機應(yīng)用Page 57九、支持向量機應(yīng)用1 1、手寫體數(shù)字識別、手寫體數(shù)字識別。 SV

32、MSVM的第一個應(yīng)用是手寫字符識別問題。的第一個應(yīng)用是手寫字符識別問題。 VapnikVapnik、BurgesBurges、CortesCortes、ScholkopfScholkopf等研究了該問等研究了該問題。使用題。使用最大間隔最大間隔和和軟間隔軟間隔SVMSVM。使用。使用高斯核高斯核和和多項式多項式核核。 在兩個數(shù)據(jù)集在兩個數(shù)據(jù)集USPSUSPS( (美國郵政服務(wù)局美國郵政服務(wù)局) )和和NISTNIST( (國家標(biāo)國家標(biāo)準(zhǔn)技術(shù)局準(zhǔn)技術(shù)局) )。其中。其中USPSUSPS數(shù)據(jù)集包括數(shù)據(jù)集包括72917291個訓(xùn)練樣本，個訓(xùn)練樣本，20072007個測試樣本，用個測試樣本，用2562

33、56維的向量維的向量(16(161616矩陣矩陣) )表示，表示，每個點的灰度值每個點的灰度值0 0255255。 NISTNIST數(shù)據(jù)集包括數(shù)據(jù)集包括6000060000個訓(xùn)練樣本，個訓(xùn)練樣本，1000010000個測試樣本個測試樣本，圖像為，圖像為20202020矩陣表示。矩陣表示。 結(jié)果表明結(jié)果表明SVMSVM具有一定的優(yōu)勢。具有一定的優(yōu)勢。Page 58九、支持向量機應(yīng)用2 2、文本分類、文本分類。 根據(jù)文本的內(nèi)容自動地把它歸類。比如郵件過濾、根據(jù)文本的內(nèi)容自動地把它歸類。比如郵件過濾、網(wǎng)頁搜索、網(wǎng)頁搜索、WebWeb挖掘、信息檢索等。挖掘、信息檢索等。 JoachimsJoachim

34、s，DumaisDumais等人進行等人進行SVMSVM對文本分類的研究工對文本分類的研究工作。作。 使用的數(shù)據(jù)集為路透社使用的數(shù)據(jù)集為路透社(Reuters)(Reuters)第第2157821578號新聞數(shù)號新聞數(shù)據(jù)庫。該數(shù)據(jù)庫共有據(jù)庫。該數(shù)據(jù)庫共有1290212902個文本，包括個文本，包括96039603個訓(xùn)練的個訓(xùn)練的文本和文本和32993299個測試樣本。每個文本大約包含個測試樣本。每個文本大約包含200200個單詞個單詞，分屬于，分屬于118118類，如金融、運輸?shù)?。類，如金融、運輸?shù)取?主要使用線性核。主要使用線性核。 結(jié)果表明結(jié)果表明SVMSVM比其他的分類算法（如決策樹、比

35、其他的分類算法（如決策樹、K-K-近鄰近鄰算法等）具有良好的性能。算法等）具有良好的性能。Page 59九、支持向量機應(yīng)用3 3、圖像識別、圖像識別。(1)(1)視位無關(guān)的分類視位無關(guān)的分類 PontilPontil、VerriVerri研究了使用研究了使用SVMSVM于與視位無關(guān)的目標(biāo)于與視位無關(guān)的目標(biāo)識別。識別。Page 60九、支持向量機應(yīng)用(2)(2)基于顏色的分類基于顏色的分類 Oliver ChapelleOliver Chapelle及其合作者研究了僅使用顏色與及其合作者研究了僅使用顏色與光照信息下的光照信息下的SVMSVM目標(biāo)識別。目標(biāo)識別。Page 61九、支持向量機應(yīng)用(3

36、)(3)可視場景中的目標(biāo)檢測可視場景中的目標(biāo)檢測 人臉檢測人臉檢測：給定任意圖像作為輸入，檢測其中是否有人：給定任意圖像作為輸入，檢測其中是否有人臉存在，以及人臉的位置。臉存在，以及人臉的位置。 OsunaOsuna等人開發(fā)的系統(tǒng)，盡可能掃描像人臉的模式，等人開發(fā)的系統(tǒng)，盡可能掃描像人臉的模式，然后利用然后利用SVMSVM作為分類器，檢查一幅給定的圖像是否有作為分類器，檢查一幅給定的圖像是否有人臉。數(shù)據(jù)庫中包含臉與非臉的模式，圖像用人臉。數(shù)據(jù)庫中包含臉與非臉的模式，圖像用191919=36119=361個像素的向量表示，訓(xùn)練一個軟間隔分類器個像素的向量表示，訓(xùn)練一個軟間隔分類器，使用二階多項式核。，使用二階多項式核。汽車行進的可視場景中的行人檢測汽車行進的可視場景中的行人檢測： M.OrenM.Oren等人多項式核的等人多項式核的SVMSVM作為分類器，在之前端使作為分類器，在之前端使用小波作為特征提取的方法。用小波作為特征提取的方法。Page 62九、支持向量機應(yīng)