最新支持向量機(jī)及應(yīng)用簡(jiǎn)介

1、支持向量機(jī)介紹n統(tǒng)計(jì)學(xué)習(xí)理論是小樣本統(tǒng)計(jì)估計(jì)和預(yù)測(cè)學(xué)習(xí)的最佳理論。n假設(shè)輸出變量y與輸入變量x之間存在某種對(duì)應(yīng)的依賴關(guān)系,即一未知概率分布p(x,y)反映了某種知識(shí)。學(xué)習(xí)問題可以概括為:根據(jù) 個(gè)獨(dú)立同分布( independently drawn and identically distributed )的觀測(cè)樣本 支持向量機(jī)（svm）支持向量機(jī)（support vector machine，svm）是由boser,guyon和vapnik發(fā)明，并首次在計(jì)算學(xué)習(xí)理論（colt）1992年年會(huì)論文中提出。它是繼人工神經(jīng)網(wǎng)絡(luò)后，智能計(jì)算領(lǐng)域發(fā)展的又一里程碑。支持向量機(jī)以嚴(yán)格證明的統(tǒng)計(jì)學(xué)習(xí)理論為基礎(chǔ)

2、，使用核函數(shù)把數(shù)據(jù)從樣本空間映射到高維特征空間，將非線性問題轉(zhuǎn)化為線性可分問題，獲得最優(yōu)解，是一重大的理論創(chuàng)新。支持向量機(jī)有嚴(yán)密的數(shù)學(xué)基礎(chǔ)，訓(xùn)練結(jié)果只與支持向量有關(guān)，且泛化性強(qiáng)，成為了解決非線性問題的重要工具，因此，受到智能計(jì)算領(lǐng)域?qū)W者的廣泛關(guān)注，在模式分類和回歸領(lǐng)域得到了廣泛的應(yīng)用。機(jī)器學(xué)習(xí)的基本問題和方法從給定的函數(shù)集中選擇出能夠最好地逼近系統(tǒng)響應(yīng)的函數(shù)系統(tǒng)（s）學(xué)習(xí)機(jī)器（lm）輸入x輸出y( , )f x y( , ),f x 有指導(dǎo)機(jī)器學(xué)習(xí)的目的是根據(jù)給定的訓(xùn)練樣本，求出對(duì)某系統(tǒng)輸入輸出之間依賴關(guān)系的估計(jì)，使它能夠?qū)ξ粗斎胱鞒霰M可能準(zhǔn)確的預(yù)測(cè)?？梢砸话愕乇硎緸椋鹤兞縴與x存在一定的未

3、知依賴關(guān)系，即遵循某一未知的聯(lián)合概率f(x,y)（x 和y 之間的確定性關(guān)系可以看作是其特例），有指導(dǎo)機(jī)器學(xué)習(xí)問題就是根據(jù)n個(gè)獨(dú)立同分布觀測(cè)樣本在一組函數(shù)f (x,w)中求一個(gè)最優(yōu)的函數(shù) f (x,w0)對(duì)依賴關(guān)系進(jìn)行估計(jì)，使期望風(fēng)險(xiǎn)最小),( ,),(),(2211nnyxyxyx),(),(,()(yxdfwxfylwr期望風(fēng)險(xiǎn) 學(xué)習(xí)到一個(gè)假設(shè)作為預(yù)測(cè)函數(shù),其中w是廣義參數(shù).它對(duì)的期望風(fēng)險(xiǎn)是(即統(tǒng)計(jì)學(xué)習(xí)的實(shí)際風(fēng)險(xiǎn))： 其中，稱作預(yù)測(cè)函數(shù)集，為函數(shù)的廣義參數(shù)?？梢员硎救魏魏瘮?shù)集。為由于用對(duì) 進(jìn)行預(yù)測(cè)而造成的損失。不同類型的學(xué)習(xí)問題有不同形式的損失函數(shù)。 ),(),(,()(yxdfwxfyl

4、wr 而對(duì)train set上產(chǎn)生的風(fēng)險(xiǎn)remp(w)被稱為經(jīng)驗(yàn)風(fēng)險(xiǎn)(學(xué)習(xí)的訓(xùn)練誤差): 首先remp(w)和r(w)都是w的函數(shù)，傳統(tǒng)概率論中的定理只說明了(在一定條件下)當(dāng)樣本趨于無窮多時(shí)remp(w)將在概率意義上趨近于r(w)，卻沒有保證使remp(w)最小的點(diǎn)也能夠使r(w) 最小(同步最小)。liiiempaxfyllar10),(,(1)(經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則n因?yàn)槭怯捎?xùn)練樣本(即經(jīng)驗(yàn)數(shù)據(jù))定義的，因此稱之為經(jīng)驗(yàn)風(fēng)險(xiǎn)。用求經(jīng)驗(yàn)風(fēng)險(xiǎn)的最小值代替求期望風(fēng)險(xiǎn)r (a)的最小值，就是所謂的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化(erm)準(zhǔn)則從期望風(fēng)險(xiǎn)最小化到經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化的理論依據(jù)是大數(shù)定理，只有當(dāng)訓(xùn)練樣本趨近于

5、無窮大的時(shí)候，經(jīng)驗(yàn)風(fēng)險(xiǎn)才趨近于期望風(fēng)險(xiǎn)。即：n )()(limararemplproblem: how rich class of classifications q(x;) to use.underfittingoverfittinggood fitproblem of generalization: a small emprical risk remp does not imply small true expected risk r.存在的問題n由于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化代替期望風(fēng)險(xiǎn)最小化的理論依據(jù)是大數(shù)定理，實(shí)際的機(jī)器學(xué)習(xí)不能滿足訓(xùn)練樣本趨近于無窮大這一苛刻的要求，致使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則算法復(fù)

6、雜性大與泛化能力差。n例如：基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則人工神經(jīng)網(wǎng)絡(luò)研究中，廣大學(xué)者總是把注意力集中在如何使更小，但很快便發(fā)現(xiàn)，一味追求訓(xùn)練誤差小并不是總能達(dá)到好的預(yù)測(cè)效果。原因n從理論上看，之所以出現(xiàn)過學(xué)習(xí)現(xiàn)象，n一是因?yàn)橛?xùn)練樣本不充分，n二是機(jī)器學(xué)習(xí)的風(fēng)險(xiǎn)準(zhǔn)則不合理。n出現(xiàn)這種現(xiàn)象的原因，就是試圖用一個(gè)復(fù)雜的模型去擬合有限的樣本，結(jié)果導(dǎo)致喪失了推廣能力。在神經(jīng)網(wǎng)絡(luò)中，如果對(duì)于有限的訓(xùn)練樣本來說網(wǎng)絡(luò)的學(xué)習(xí)能力過強(qiáng)，足以記住每一個(gè)訓(xùn)練樣本，此時(shí)經(jīng)驗(yàn)風(fēng)險(xiǎn)很快就可以收斂到很小甚至零，但學(xué)習(xí)機(jī)器卻根本無法保證它對(duì)未來新的樣本能夠得到好的預(yù)測(cè)。這就是有限樣本下學(xué)習(xí)機(jī)器的復(fù)雜性與推廣性之間的矛盾。因此，關(guān)于學(xué)

7、習(xí)機(jī)器復(fù)雜性和推廣能力，得到以下的結(jié)論,結(jié)論n經(jīng)驗(yàn)風(fēng)險(xiǎn)最小并不一定意味著期望風(fēng)險(xiǎn)最小;n學(xué)習(xí)機(jī)器的復(fù)雜性不但與所研究的系統(tǒng)有關(guān)，而且要和有限的學(xué)習(xí)樣本相適應(yīng)。vc維反映了函數(shù)集的學(xué)習(xí)能力，vc維越大則學(xué)習(xí)機(jī)器越復(fù)雜(容量越大)。 vcvc維維(vapnik-chervonenkis dimension)(vapnik-chervonenkis dimension)。模式識(shí)別方法。模式識(shí)別方法中中vcvc維的直觀定義是：對(duì)一個(gè)指示函數(shù)集，如果存在維的直觀定義是：對(duì)一個(gè)指示函數(shù)集，如果存在h h個(gè)個(gè)樣本能夠被函數(shù)集里的函數(shù)按照所有可能的樣本能夠被函數(shù)集里的函數(shù)按照所有可能的2h2h種形式分開，種形

8、式分開，則稱函數(shù)集能夠把則稱函數(shù)集能夠把h h個(gè)樣本打散。函數(shù)集的個(gè)樣本打散。函數(shù)集的vcvc維就是它能維就是它能打散的最大樣本數(shù)目打散的最大樣本數(shù)目h h。經(jīng)驗(yàn)風(fēng)險(xiǎn)與vc維關(guān)系經(jīng)驗(yàn)風(fēng)險(xiǎn)remp(a)和實(shí)際風(fēng)險(xiǎn)r(a)之間至少以不下于1-(01)的概率存在這樣的關(guān)系:),(,()()(lemplemplarhlarar風(fēng)險(xiǎn)h v c維 真 實(shí) 風(fēng) 險(xiǎn)上界置 信 范圍經(jīng) 驗(yàn) 風(fēng)險(xiǎn) (srm) sn s*經(jīng)驗(yàn)風(fēng)險(xiǎn)經(jīng)驗(yàn)風(fēng)險(xiǎn)empirical riskh1h*hnhs1s*sn置信范圍置信范圍confidence interval風(fēng)險(xiǎn)界限風(fēng)險(xiǎn)界限bound on the risk實(shí)現(xiàn)方法n設(shè)計(jì)具有某種

9、結(jié)構(gòu)的函數(shù)集，使每個(gè)子集中都能取得最小的經(jīng)驗(yàn)風(fēng)險(xiǎn)(如使訓(xùn)練誤差為0)，然后只需選擇適當(dāng)?shù)淖蛹怪眯欧秶钚?，則這個(gè)子集中使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的函數(shù)就是最優(yōu)函數(shù)。支持向量機(jī)就是使用這一思想，實(shí)現(xiàn)統(tǒng)計(jì)學(xué)習(xí)理論結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則的典型方法。支持向量回歸(regression)回歸問題線性回歸:給定訓(xùn)練集( , ),找個(gè)線性函數(shù)( )=+ 來擬合數(shù)據(jù)最小二乘法(least square)其中 為回歸誤差.記 ,則目標(biāo)函數(shù)可寫為解為niitibxwybwl12)(),(miniitiybxwnttiittxxxxxbww) 1 ,(,),(1) () () (wxywxywltwxxyxwltt22yxxxwtt1)(最小二乘解的不足:數(shù)值穩(wěn)定性問題,增加新數(shù)據(jù)對(duì)解都有影響,為使模型盡量簡(jiǎn)單需進(jìn)行假設(shè)檢驗(yàn).長(zhǎng)度為長(zhǎng)度為 間隔間隔=w.wy=w.x+bn引