支持向量機(jī)與其應(yīng)用

目錄線性可分的支持向量（分類(lèi)）機(jī)線性支持向量（分類(lèi)）機(jī)支持向量（分類(lèi)）機(jī)最小二乘支持向量（分類(lèi)）機(jī)硬-帶支持向量（回歸）機(jī)軟-帶支持向量（回歸）機(jī)

-支持向量（回歸）機(jī)最小二乘支持向量（回歸）機(jī)支持向量機(jī)應(yīng)用第一頁(yè)，共65頁(yè)。SVM的描述SVM是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的模式識(shí)別方法，它是由Boser,Guyon,Vapnik在COLT-92上首次提出，從此迅速的發(fā)展起來(lái)，現(xiàn)在已經(jīng)在許多領(lǐng)域（生物信息學(xué)，文本，圖像處理，語(yǔ)言信號(hào)處理和手寫(xiě)識(shí)別等）都取得了成功的應(yīng)用

COLT(ComputationalLearningTheory)第二頁(yè)，共65頁(yè)。SVM的描述目標(biāo)：找到一個(gè)超平面，使得它能夠盡可能多的將兩類(lèi)數(shù)據(jù)點(diǎn)正確的分開(kāi)，同時(shí)使分開(kāi)的兩類(lèi)數(shù)據(jù)點(diǎn)距離分類(lèi)面最遠(yuǎn)。解決方法：構(gòu)造一個(gè)在約束條件下的優(yōu)化問(wèn)題，具體的說(shuō)是一個(gè)約束二次規(guī)劃問(wèn)題(constrainedquadraticprograming),求解該問(wèn)題，得到分類(lèi)器。第三頁(yè)，共65頁(yè)。模式識(shí)別問(wèn)題的一般描述

已知：n個(gè)觀測(cè)樣本，(x1,y1),(x2,y2)……(xn,yn)求：最優(yōu)函數(shù)y’=f(x,w)滿(mǎn)足條件：期望風(fēng)險(xiǎn)最小損失函數(shù)第四頁(yè)，共65頁(yè)。SVM的描述期望風(fēng)險(xiǎn)R(w)要依賴(lài)聯(lián)合概率F(x,y)的信息，實(shí)際問(wèn)題中無(wú)法計(jì)算。一般用經(jīng)驗(yàn)風(fēng)險(xiǎn)Remp(w)代替期望風(fēng)險(xiǎn)R(w)第五頁(yè)，共65頁(yè)。一般模式識(shí)別方法的問(wèn)題經(jīng)驗(yàn)風(fēng)險(xiǎn)最小不等于期望風(fēng)險(xiǎn)最小，不能保證分類(lèi)器的推廣能力.經(jīng)驗(yàn)風(fēng)險(xiǎn)只有在樣本數(shù)無(wú)窮大趨近于期望風(fēng)險(xiǎn)，需要非常多的樣本才能保證分類(lèi)器的性能。需要找到經(jīng)驗(yàn)風(fēng)險(xiǎn)最小和推廣能力最大的平衡點(diǎn)。第六頁(yè)，共65頁(yè)。一、線性可分的支持向量(分類(lèi))機(jī)首先考慮線性可分情況。設(shè)有如下兩類(lèi)樣本的訓(xùn)練集：線性可分情況意味著存在超平面使訓(xùn)練點(diǎn)中的正類(lèi)和負(fù)類(lèi)樣本分別位于該超平面的兩側(cè)。如果能確定這樣的參數(shù)對(duì)（w,b）的話,就可以構(gòu)造決策函數(shù)來(lái)進(jìn)行識(shí)別新樣本。第七頁(yè)，共65頁(yè)。線性可分的支持向量(分類(lèi))機(jī)問(wèn)題是：這樣的參數(shù)對(duì)（w,b）有許多。解決的方法是采用最大間隔原則。最大間隔原則：選擇使得訓(xùn)練集D對(duì)于線性函數(shù)(w·x)+b的幾何間隔取最大值的參數(shù)對(duì)(w,b)，并由此構(gòu)造決策函數(shù)。在規(guī)范化下，超平面的幾何間隔為于是，找最大幾何間隔的超平面表述成如下的最優(yōu)化問(wèn)題：(1)第八頁(yè)，共65頁(yè)。線性可分的支持向量(分類(lèi))機(jī)為求解問(wèn)題(1),使用Lagrange乘子法將其轉(zhuǎn)化為對(duì)偶問(wèn)題。于是引入Lagrange函數(shù)：其中，稱(chēng)為L(zhǎng)agrange乘子。首先求Lagrange函數(shù)關(guān)于w,b的極小值。由極值條件有：得到：(2)(3)(4)第九頁(yè)，共65頁(yè)。線性可分的支持向量(分類(lèi))機(jī)將(3)式代入Lagrange函數(shù)，并利用(4)式，則原始的優(yōu)化問(wèn)題轉(zhuǎn)化為如下的對(duì)偶問(wèn)題(使用極小形式)：這是一個(gè)凸二次規(guī)劃問(wèn)題有唯一的最優(yōu)解(5)求解問(wèn)題(5)，得。則參數(shù)對(duì)(w,b)可由下式計(jì)算：第十頁(yè)，共65頁(yè)。線性可分的支持向量(分類(lèi))機(jī)支持向量：稱(chēng)訓(xùn)練集D中的樣本xi為支持向量，如果它對(duì)應(yīng)的i*>0。根據(jù)原始最優(yōu)化問(wèn)題的KKT條件，有于是，支持向量正好在間隔邊界上。于是，得到如下的決策函數(shù)：第十一頁(yè)，共65頁(yè)。目錄線性可分的支持向量（分類(lèi)）機(jī)線性支持向量（分類(lèi)）機(jī)支持向量（分類(lèi)）機(jī)最小二乘支持向量（分類(lèi)）機(jī)硬-帶支持向量（回歸）機(jī)軟-帶支持向量（回歸）機(jī)

-支持向量（回歸）機(jī)最小二乘支持向量（回歸）機(jī)支持向量機(jī)應(yīng)用第十二頁(yè)，共65頁(yè)。二、線性支持向量(分類(lèi))機(jī)現(xiàn)在考慮線性不可分情況。對(duì)于訓(xùn)練集D，不存在這樣的超平面，使訓(xùn)練集關(guān)于該超平面的幾何間隔取正值。如果要用超平面來(lái)劃分的話，必然有錯(cuò)分的點(diǎn)。但我們?nèi)蜗Ｍ褂贸矫孢M(jìn)行分劃，這時(shí)應(yīng)“軟化”對(duì)間隔的要求，即容許不滿(mǎn)足約束條件的樣本點(diǎn)存在。為此，引入松弛變量并“軟化”約束條件：i第十三頁(yè)，共65頁(yè)。線性支持向量(分類(lèi))機(jī)為了避免i取太大的值，需要在目標(biāo)函數(shù)中對(duì)它們進(jìn)行懲罰。于是原始優(yōu)化問(wèn)題變?yōu)椋浩渲蠧>0稱(chēng)為懲罰因子。(6)第十四頁(yè)，共65頁(yè)。線性支持向量(分類(lèi))機(jī)類(lèi)似前面，通過(guò)引入如下的Lagrange函數(shù)：得到如下的對(duì)偶問(wèn)題：(7)第十五頁(yè)，共65頁(yè)。線性支持向量(分類(lèi))機(jī)求解對(duì)偶問(wèn)題(7),可得如下決策函數(shù)：支持向量有下列性質(zhì)：(1)界內(nèi)支持向量一定位于間隔邊界上的正確劃分區(qū)；(2)支持向量不會(huì)出現(xiàn)在間隔以外的正確劃分區(qū)；(3)非支持向量一定位于帶間隔的正確劃分區(qū)。第十六頁(yè)，共65頁(yè)。目錄線性可分的支持向量（分類(lèi)）機(jī)線性支持向量（分類(lèi)）機(jī)支持向量（分類(lèi)）機(jī)最小二乘支持向量（分類(lèi)）機(jī)硬-帶支持向量（回歸）機(jī)軟-帶支持向量（回歸）機(jī)

-支持向量（回歸）機(jī)最小二乘支持向量（回歸）機(jī)支持向量機(jī)應(yīng)用第十七頁(yè)，共65頁(yè)。三、支持向量(分類(lèi))機(jī)對(duì)于一般的非線性可分情況。對(duì)于訓(xùn)練集D，無(wú)法尋找到來(lái)如前的超平面來(lái)劃分。第十八頁(yè)，共65頁(yè)。支持向量(分類(lèi))機(jī)下面通過(guò)核技術(shù)來(lái)處理。引入一個(gè)非線性映射把輸入空間映射到一個(gè)(高維的)Hilbert空間H,使數(shù)據(jù)在H中是線性可分或線性不可分：輸入空間XiHilbert空間H線性可分線性不可分第十九頁(yè)，共65頁(yè)。在核映射下，D對(duì)應(yīng)于Hilbert空間H的訓(xùn)練集為：支持向量(分類(lèi))機(jī)于是在Hilbert空間H中尋找使幾何間隔最大的超平面，其原始優(yōu)化問(wèn)題為：(8)第二十頁(yè)，共65頁(yè)。問(wèn)題(8)對(duì)應(yīng)的對(duì)偶問(wèn)題為：支持向量(分類(lèi))機(jī)(9)求解對(duì)偶問(wèn)題(9),可得如下決策函數(shù)：第二十一頁(yè)，共65頁(yè)。b*問(wèn)的計(jì)算如下：支持向量(分類(lèi))機(jī)選取的一個(gè)正分量0<j*<C,計(jì)算第二十二頁(yè)，共65頁(yè)。在問(wèn)題(9)中K(x,x’)稱(chēng)為核函數(shù)。有：支持向量(分類(lèi))機(jī)核函數(shù)K(x,x’)僅依賴(lài)于的內(nèi)積，要求滿(mǎn)足Mercer條件。若K是正定核的話，問(wèn)題(9)是凸二次規(guī)劃，比有解。在支持向量機(jī)應(yīng)用中，核函數(shù)K(x,x’)一般先驗(yàn)性地選取。常見(jiàn)的核有：線性核、多項(xiàng)式核、高斯核、Sigmoid核、樣條核、小波核等等。第二十三頁(yè)，共65頁(yè)。線性核：支持向量(分類(lèi))機(jī)Sigmoid核:多項(xiàng)式核:高斯核:第二十四頁(yè)，共65頁(yè)。目錄線性可分的支持向量（分類(lèi)）機(jī)線性支持向量（分類(lèi)）機(jī)支持向量（分類(lèi)）機(jī)最小二乘支持向量（分類(lèi)）機(jī)硬-帶支持向量（回歸）機(jī)軟-帶支持向量（回歸）機(jī)

-支持向量（回歸）機(jī)最小二乘支持向量（回歸）機(jī)支持向量機(jī)應(yīng)用第二十五頁(yè)，共65頁(yè)。四、最小二乘支持向量(分類(lèi))機(jī)

Suykens等人在支持向量回歸機(jī)中引入如下的二次損失函數(shù)作為代價(jià)函數(shù)，并將其不等式約束改為等式約束：且?guī)в腥缦碌仁郊s束條件：其中

因此，把支持向量機(jī)的原始優(yōu)化問(wèn)題轉(zhuǎn)變?yōu)槿缦聦ふ襴和b的優(yōu)化問(wèn)題：

第二十六頁(yè)，共65頁(yè)。最小二乘支持向量(回歸)機(jī)為了在對(duì)偶空間中求解上述優(yōu)化問(wèn)題，定義如下的Lagrange泛函：其中kR為乘子（叫做支持向量）。

其優(yōu)化條件由下式給出：第二十七頁(yè)，共65頁(yè)。最小二乘支持向量(回歸)機(jī)上式能被直接表示為求解如下如下線性方程組：其中y=(y1,…,yn)T,(x)=((x1),…,(xn))T,1n=(1,...,1)T,e=(e1,…,en)T,=(1,…,n)T。在上式中消去w和e后，得到如下線性方程組：

其中kl=(xk)T(xl),k,l=1,...,n。

第二十八頁(yè)，共65頁(yè)。最小二乘支持向量(回歸)機(jī)根據(jù)Mercer定理，最小二乘支持向量分類(lèi)器為：其中與b通過(guò)求解上述方程組得到。第二十九頁(yè)，共65頁(yè)。例子：最小二乘支持向量(分類(lèi))機(jī)第三十頁(yè)，共65頁(yè)。目錄線性可分的支持向量（分類(lèi)）機(jī)線性支持向量（分類(lèi)）機(jī)支持向量（分類(lèi)）機(jī)最小二乘支持向量（分類(lèi)）機(jī)硬-帶支持向量（回歸）機(jī)軟-帶支持向量（回歸）機(jī)

-支持向量（回歸）機(jī)最小二乘支持向量（回歸）機(jī)支持向量機(jī)應(yīng)用第三十一頁(yè)，共65頁(yè)。五、硬-帶支持向量（回歸）機(jī)1、一個(gè)簡(jiǎn)單的回歸例子。

考慮兩個(gè)量x與y的關(guān)系。假設(shè)已測(cè)得若干個(gè)數(shù)據(jù)構(gòu)成的數(shù)據(jù)集D：第三十二頁(yè)，共65頁(yè)。硬-帶支持向量（回歸）機(jī)第三十三頁(yè)，共65頁(yè)。五、硬-帶支持向量（回歸）機(jī)2、不敏感損失函數(shù)

為了在回歸問(wèn)題中使用結(jié)構(gòu)風(fēng)險(xiǎn)代替經(jīng)驗(yàn)風(fēng)險(xiǎn)來(lái)作為期望風(fēng)險(xiǎn)，以及保持在支持向量分類(lèi)機(jī)的稀疏性質(zhì)，Vapnik引入了如下的不敏感損失函數(shù)：其中：第三十四頁(yè)，共65頁(yè)。硬-帶支持向量（回歸）機(jī)第三十五頁(yè)，共65頁(yè)。硬-帶支持向量（回歸）機(jī)首先考慮硬-帶支持向量線性回歸情況。設(shè)有如下兩類(lèi)樣本的訓(xùn)練集：即使用一個(gè)線性函數(shù)來(lái)回歸（擬合、逼近）樣本點(diǎn)，且這種情況下，沒(méi)有樣本點(diǎn)落在-帶外。表示為如下的原始優(yōu)化問(wèn)題：y=(w.x)+b+y=(w.x)+b-y=(w.x)+b第三十六頁(yè)，共65頁(yè)。硬-帶支持向量（回歸）機(jī)為求解上述原始優(yōu)化問(wèn)題,使用Lagrange乘子法將其轉(zhuǎn)化為對(duì)偶問(wèn)題。于是引入Lagrange函數(shù)：其中，稱(chēng)為L(zhǎng)agrange乘子。首先求Lagrange函數(shù)關(guān)于w,b的極小值。由極值條件有：得到：第三十七頁(yè)，共65頁(yè)。硬-帶支持向量（回歸）機(jī)將上式代入Lagrange函數(shù)，則原始的優(yōu)化問(wèn)題轉(zhuǎn)化為如下的對(duì)偶問(wèn)題(使用極小形式)：求解上述對(duì)偶問(wèn)題，得(*)。則參數(shù)對(duì)(w,b)可由下式計(jì)算：選擇某個(gè)j>0或j*>0來(lái)計(jì)算b:第三十八頁(yè)，共65頁(yè)。硬-帶支持向量（回歸）機(jī)支持向量：稱(chēng)訓(xùn)練集D中的樣本xi為支持向量，如果它對(duì)應(yīng)的i*>0或i>0

。把w的式子代入函數(shù)：于是，得到如下的回歸函數(shù)：y=(w.x)+b+y=(w.x)+b-y=(w.x)+b第三十九頁(yè)，共65頁(yè)。目錄線性可分的支持向量（分類(lèi)）機(jī)線性支持向量（分類(lèi)）機(jī)支持向量（分類(lèi)）機(jī)最小二乘支持向量（分類(lèi)）機(jī)硬-帶支持向量（回歸）機(jī)軟-帶支持向量（回歸）機(jī)

-支持向量（回歸）機(jī)最小二乘支持向量（回歸）機(jī)支持向量機(jī)應(yīng)用第四十頁(yè)，共65頁(yè)。軟-帶支持向量（回歸）機(jī)考慮軟-帶支持向量線性回歸情況。設(shè)有如下兩類(lèi)樣本的訓(xùn)練集：同樣希望使用一個(gè)線性函數(shù)來(lái)回歸樣本點(diǎn)，且這種情況下，除了大量樣本點(diǎn)在-帶內(nèi)，還有少量的樣本落在-帶外。這時(shí)需要對(duì)落在-帶外的樣本進(jìn)行懲罰。于是原始優(yōu)化問(wèn)題為：y=(w.x)+b+y=(w.x)+b-y=(w.x)+b第四十一頁(yè)，共65頁(yè)。軟-帶支持向量（回歸）機(jī)為求解上述原始優(yōu)化問(wèn)題,使用Lagrange乘子法將其轉(zhuǎn)化為對(duì)偶問(wèn)題。于是引入Lagrange函數(shù)：其中，稱(chēng)為L(zhǎng)agrange乘子。首先求Lagrange函數(shù)關(guān)于w,b,(*)的極小值。由極值條件有：第四十二頁(yè)，共65頁(yè)。軟-帶支持向量（回歸）機(jī)將上式代入Lagrange函數(shù)，則原始的優(yōu)化問(wèn)題轉(zhuǎn)化為如下的對(duì)偶問(wèn)題(使用極小形式)：求解上述對(duì)偶問(wèn)題，得(*)。則參數(shù)對(duì)(w,b)可由下式計(jì)算：b的計(jì)算（略）。第四十三頁(yè)，共65頁(yè)。軟-帶支持向量（回歸）機(jī)支持向量：稱(chēng)訓(xùn)練集D中的樣本xi為支持向量，如果它對(duì)應(yīng)的i*>0或i>0

。把w的式子代入函數(shù)：于是，得到如下的回歸函數(shù)：y=(w.x)+b+y=(w.x)+b-y=(w.x)+b第四十四頁(yè)，共65頁(yè)。目錄線性可分的支持向量（分類(lèi)）機(jī)線性支持向量（分類(lèi)）機(jī)支持向量（分類(lèi)）機(jī)最小二乘支持向量（分類(lèi)）機(jī)硬-帶支持向量（回歸）機(jī)軟-帶支持向量（回歸）機(jī)

-支持向量（回歸）機(jī)最小二乘支持向量（回歸）機(jī)支持向量機(jī)應(yīng)用第四十五頁(yè)，共65頁(yè)。-支持向量（回歸）機(jī)下面通過(guò)核技術(shù)來(lái)處理。引入一個(gè)非線性映射把輸入空間映射到一個(gè)(高維的)Hilbert空間H,使在H中進(jìn)行線性回歸（硬-帶或軟-帶）：輸入空間XHilbert空間H硬-帶線性回歸軟-帶線性回歸第四十六頁(yè)，共65頁(yè)。在核映射下，D對(duì)應(yīng)于Hilbert空間H的訓(xùn)練集為：-支持向量（回歸）機(jī)于是在Hilbert空間H中進(jìn)行線性回歸，其原始優(yōu)化問(wèn)題為：第四十七頁(yè)，共65頁(yè)。上述問(wèn)題的對(duì)偶問(wèn)題為：-支持向量（回歸）機(jī)求解對(duì)偶問(wèn)題,可得如下回歸函數(shù)：第四十八頁(yè)，共65頁(yè)。目錄線性可分的支持向量（分類(lèi)）機(jī)線性支持向量（分類(lèi)）機(jī)支持向量（分類(lèi)）機(jī)最小二乘支持向量（分類(lèi)）機(jī)硬-帶支持向量（回歸）機(jī)軟-帶支持向量（回歸）機(jī)

-支持向量（回歸）機(jī)最小二乘支持向量（回歸）機(jī)支持向量機(jī)應(yīng)用第四十九頁(yè)，共65頁(yè)。四、最小二乘支持向量(回歸)機(jī)假定xXRd表示一個(gè)實(shí)值隨機(jī)輸入向量，yYR表示一個(gè)實(shí)值隨機(jī)輸出變量。記RN表示一高維的特征空間，為一非線性映射:X，它映射隨機(jī)輸入向量到高維特征空間。

支持向量方法的思想是在該高維特征空間中考慮如下線性函數(shù)集：我們考慮在函數(shù)表示式中含噪聲情形。給定一個(gè)由未知分布FXY產(chǎn)生的、獨(dú)立同分布（i.i.d.）的訓(xùn)練集：這里ekR假定為獨(dú)立同分布的隨機(jī)誤差，且E[ek

|X=xk]=0，Var[ek]=2<；m(x)F為一個(gè)未知的實(shí)值光滑函數(shù)，且E[yk

|x=xk]=f(xk)。第五十頁(yè)，共65頁(yè)。最小二乘支持向量(回歸)機(jī)函數(shù)估計(jì)的目的是在約束||w||a,aR下通過(guò)最小化如下經(jīng)驗(yàn)風(fēng)險(xiǎn)來(lái)尋找w和b:

最小二乘支持向量回歸機(jī)（LS-SVR）定義了與標(biāo)準(zhǔn)支持向量機(jī)不同的代價(jià)函數(shù)，選用損失函數(shù)為誤差ek的二次項(xiàng)，并將其不等式約束改為等式約束，因此尋找w和b的優(yōu)化問(wèn)題可以轉(zhuǎn)化為如下具有嶺回歸形式的優(yōu)化問(wèn)題：且?guī)в腥缦碌仁郊s束條件：其中

第五十一頁(yè)，共65頁(yè)。最小二乘支持向量(回歸)機(jī)為了在對(duì)偶空間中求解上述優(yōu)化問(wèn)題，定義如下的Lagrange泛函：其中kR為乘子（叫做支持向量）。

其優(yōu)化條件由下式給出：第五十二頁(yè)，共65頁(yè)。最小二乘支持向量(回歸)機(jī)上式能被直接表示為求解如下如下線性方程組：其中y=(y1,…,yn)T,(x)=((x1),…,(xn))T,1n=(1,...,1)T,e=(e1,…,en)T,=(1,…,n)T。在上式中消去w和e后，得到如下線性方程組：

其中kl=(xk)T(xl),k,l=1,...,n。

第五十三頁(yè)，共65頁(yè)。最小二乘支持向量(回歸)機(jī)根據(jù)Mercer定理，函數(shù)估計(jì)的最小二乘支持向量回歸模型為：其中與b通過(guò)求解上述方程組得到。第五十四頁(yè)，共65頁(yè)。目錄線性可分的支持向量（分類(lèi)）機(jī)線性支持向量（分類(lèi)）機(jī)支持向量（分類(lèi)）機(jī)最小二乘支持向量（分類(lèi)）機(jī)硬-帶支持向量（回歸）機(jī)軟-帶支持向量（回歸）機(jī)

-支持向量（回歸）機(jī)最小二乘支持向量（回歸）機(jī)支持向量機(jī)應(yīng)用第五十五頁(yè)，共65頁(yè)。九、支持向量機(jī)應(yīng)用1、手寫(xiě)體數(shù)字識(shí)別。SVM的第一個(gè)應(yīng)用是手寫(xiě)字符識(shí)別問(wèn)題。Vapnik、Burges、Cortes、Scholkopf等研究了該問(wèn)題。使用最大間隔和軟間隔SVM。使用高斯核和多項(xiàng)式核。在兩個(gè)數(shù)據(jù)集USPS(美國(guó)郵政服務(wù)局)和NIST(國(guó)家標(biāo)準(zhǔn)技術(shù)局)。其中USPS數(shù)據(jù)集包括7291個(gè)訓(xùn)練樣本，2007個(gè)測(cè)試樣本，用256維的向量(16×16矩陣)表示，每個(gè)點(diǎn)的灰度值0～255。

NIST數(shù)據(jù)集包括60000個(gè)訓(xùn)練樣本，10000個(gè)測(cè)試樣本，圖像為20×20矩陣表示。結(jié)果表明SVM具有一定的優(yōu)勢(shì)。第五十六頁(yè)，共65頁(yè)。九、支持向量機(jī)應(yīng)用2、文本分類(lèi)。根據(jù)文本的內(nèi)容自動(dòng)地把它歸類(lèi)。比如郵件過(guò)濾、網(wǎng)頁(yè)搜索、Web挖掘、信息檢索等。Joachims，Dumais等人進(jìn)行SVM對(duì)文本分類(lèi)的研究工作。使用的數(shù)據(jù)集為路透社(Reuters)第21578號(hào)新聞數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)共有12902個(gè)文本，包括9603個(gè)訓(xùn)練的文本和3299個(gè)測(cè)試樣本。每個(gè)文本大約包含200個(gè)單詞，分屬于118類(lèi)，如金融、運(yùn)輸?shù)?。主要使用線性核。結(jié)果表明SVM比其他的分類(lèi)算法（如決策樹(shù)、K-近鄰算法等）具有良好的性能。第五十七頁(yè)，共65頁(yè)。九、支持向量機(jī)應(yīng)用3、圖像識(shí)別。(1)視位無(wú)關(guān)的分類(lèi)

Pontil、Verri研究了使用SVM于與視位無(wú)關(guān)的目標(biāo)識(shí)別。第五十八頁(yè)，共65頁(yè)。九、支持向量機(jī)應(yīng)用(2)基于顏色的分類(lèi)

OliverChapelle及其合作者研究了僅使用顏色與光照信息下的SVM目標(biāo)識(shí)別。第五十九頁(yè)，共65頁(yè)。九、支持向量機(jī)應(yīng)用(3)可視場(chǎng)景中的目標(biāo)檢測(cè)

人臉檢測(cè)：給定任意圖像作為輸入，檢測(cè)其中是否有人臉存在，以及人臉的位置。Osuna等人開(kāi)發(fā)的系統(tǒng)，盡可能掃描像人臉的模式，然后利用SVM作為分類(lèi)器，檢查一幅給定的圖像是否有人臉。數(shù)據(jù)庫(kù)中包含臉與非臉的模式，圖像用19×19=361個(gè)像素的向量表示，訓(xùn)練一個(gè)軟間隔分類(lèi)器，使用二階多項(xiàng)式核。汽車(chē)行進(jìn)的可視場(chǎng)景中的行人檢測(cè)：M.Oren等人多項(xiàng)式核的SVM作為分類(lèi)器，在之前端使用小波作為特征提取的方法。第六十頁(yè)，共65頁(yè)。九、支持向量機(jī)應(yīng)用4、語(yǔ)音信號(hào)處理。(1)說(shuō)話人識(shí)別

(2)語(yǔ)音情感識(shí)別(3)……第六十一頁(yè)，共65頁(yè)。九、支持向量機(jī)應(yīng)用5、信息安全領(lǐng)域。(1)入侵檢測(cè)

(2)病毒檢測(cè)(3)數(shù)字水印技術(shù)(4)……第六十二頁(yè)，共65頁(yè)。九、支持向量機(jī)應(yīng)用6、時(shí)間序列。(1)經(jīng)濟(jì)預(yù)警

(