支持向量回歸機(jī)講義學(xué)習(xí)教案

1、會(huì)計(jì)學(xué)1支持向量回歸支持向量回歸(hugu)機(jī)講義機(jī)講義第一頁(yè)，共23頁(yè)。支持向量(xingling)機(jī)與支持向量(xingling)回歸機(jī)支持向量機(jī)支持向量機(jī)(SVM) 是建立在統(tǒng)計(jì)學(xué)習(xí)理論的是建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上維理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對(duì)特定訓(xùn)練樣本的學(xué)習(xí)精度）和學(xué)的，根據(jù)有限的樣本信息在模型的復(fù)雜性（即對(duì)特定訓(xùn)練樣本的學(xué)習(xí)精度）和學(xué)習(xí)能力（即無(wú)錯(cuò)誤地識(shí)別任意樣本的能力）之間尋求最佳習(xí)能力（即無(wú)錯(cuò)誤地識(shí)別任意樣本的能力）之間尋求最佳(zu ji)折衷，以期獲得折衷，以期獲得最好的推廣能力（或稱泛化能力）。最好的

2、推廣能力（或稱泛化能力）。VC維理論(lln)經(jīng)驗(yàn)風(fēng)險(xiǎn)置信風(fēng)險(xiǎn)020301可以簡(jiǎn)單的理解為問(wèn)題的復(fù)雜程度，VC維越高，問(wèn)題就越復(fù)雜.經(jīng)驗(yàn)風(fēng)險(xiǎn)代表了分類器在給定樣本上的誤差.代表了我們?cè)诙啻蟪潭壬峡梢孕湃畏诸惼髟谖粗谋旧戏诸惖慕Y(jié)果.第2頁(yè)/共23頁(yè)第二頁(yè)，共23頁(yè)。并不是說(shuō)樣本(yngbn)的絕對(duì)數(shù)量少，而是說(shuō)與問(wèn)題的復(fù)雜度比起來(lái)，SVM算法要求的樣本(yngbn)數(shù)是相對(duì)比較少的。小樣本(yngbn)非線性SVM擅長(zhǎng)應(yīng)付樣本數(shù)據(jù)線性不可(bk)分的情況，主要通過(guò)松弛變量（也有人叫懲罰變量）和核函數(shù)技術(shù)來(lái)實(shí)現(xiàn)，這一部分是SVM的精髓。高維模式識(shí)別指樣本維數(shù)很高，SVM可以處理高維向量，因?yàn)镾V

3、M 產(chǎn)生的分類器很簡(jiǎn)潔，用到的樣本信息很少（僅僅用到那些稱之為“支持向量”的樣本）。SVM特點(diǎn)支持向量機(jī)與支持向量回歸機(jī)第3頁(yè)/共23頁(yè)第三頁(yè)，共23頁(yè)。支持(zhch)向量機(jī)與支持(zhch)向量回歸機(jī)SVMSVR* 支持向量機(jī)是分類問(wèn)題(wnt)，尋求的是一個(gè)最優(yōu)超平面（函數(shù)g(x) ）將兩類樣本點(diǎn)分的最開(kāi)，最大間隔準(zhǔn)則（H1和H2之間間隔最大）是支持向量機(jī)最佳準(zhǔn)則。HH1H2* 支持向量(xingling)回歸機(jī)尋求的是一個(gè)線性回歸方程（函數(shù)y=g(x)）去擬合所有的樣本點(diǎn)，它尋求的最優(yōu)超平面不是將兩類分得最開(kāi)，而是使樣本點(diǎn)離超平面總方差最小。都要通過(guò)訓(xùn)練樣本找到一個(gè)函數(shù)g(x)第4頁(yè)/

4、共23頁(yè)第四頁(yè)，共23頁(yè)。支持向量(xingling)機(jī)與支持向量(xingling)回歸機(jī)* 回歸問(wèn)題就是給定一個(gè)新的模式，根據(jù)訓(xùn)練集推斷它所對(duì)應(yīng)的輸出y（實(shí)數(shù)）是多少。也就是使用y=g(x)來(lái)推斷任一輸入x所對(duì)應(yīng)的輸出值。分類(fn li)問(wèn)題是給定一個(gè)新的模式，根據(jù)訓(xùn)練集推斷它所對(duì)應(yīng)的類別（如：+1，-1）。也就是使用y=sign(g(x)來(lái)推斷任一輸入x所對(duì)應(yīng)的類別。第5頁(yè)/共23頁(yè)第五頁(yè)，共23頁(yè)。支持(zhch)向量回歸機(jī)模型Tyw x b 支 持向量回歸機(jī)實(shí)在研究二分類問(wèn)題的基礎(chǔ)上提出的。假定在線性可分訓(xùn)練集中，存在一超平面：實(shí)現(xiàn)擬合，那么它就將訓(xùn)練樣本分為兩類： 的訓(xùn)練樣本和

5、的訓(xùn)練樣本。若上述的超平面是實(shí)現(xiàn)這兩類訓(xùn)練樣本的最大間隔建立的平面，該超平面就可用于解決回歸問(wèn)題，它也就是要尋找的支持向量回歸機(jī)?？梢詫⑵浜?jiǎn)化為最小化一個(gè)帶線性不等式約束(yush)的二次函數(shù)凸規(guī)劃問(wèn)題： 設(shè)存在如下一個(gè)訓(xùn)練樣本集，且線性可分： 可以轉(zhuǎn)化為求解下列優(yōu)化問(wèn)題： ()yw xb(w )0iiyxb (w)0iiyxb 11(,),(y ,)nnSyxxL線性可分第6頁(yè)/共23頁(yè)第六頁(yè)，共23頁(yè)。支持向量回歸(hugu)機(jī)模型min ()1/ 2(). . ()0()01,2,iiiiR ww ws tw xbyyw xbinL引入拉格朗日乘子 至上述(shngsh)優(yōu)化問(wèn)題中，可得

6、到拉格朗日函數(shù)： *(0)iia a *1( , , )1/2()()()b)niiiiiL w b aw waayw x原問(wèn)題(wnt)對(duì)偶問(wèn)題m ax(). .0as t a*11( )inf 1/2()() b)() b)|nniiiiiiiiaw wa yw xaw xyw D根據(jù)帶有不等式約束的極值問(wèn)題的KKT條件：*1*1( , , )()0( , , )()0niiiiniiiL w b awaaxwL w b aaab( )R ww可看做是樣本向量的線性組合第7頁(yè)/共23頁(yè)第七頁(yè)，共23頁(yè)。支持(zhch)向量回歸機(jī)模型*,11*,1*1,11( )()()()()2()()(

7、)1()()()()2nniijjijiiii jiniijjiji jnniiiiijjijii jaaaaaxxaayaaaaxxaayaaaaxx對(duì)偶(du u)問(wèn)題*1,1*1*1max ( )()()()()2.t.()0,0nniiiiijjijii jniiiiiaaayaaaax xsaaa a對(duì)上式規(guī)劃問(wèn)題進(jìn)行求解，解得 不同時(shí)為0時(shí)對(duì)應(yīng)的向量(xingling)為支持向量(xingling)，從而得到線性可分訓(xùn)練樣本的SVR模型：*,iiaa*1()()niiiiyaaxxb*1()()njiiijibyaaxx第8頁(yè)/共23頁(yè)第八頁(yè)，共23頁(yè)。支持(zhch)向量回歸機(jī)模

8、型線性不可(bk)分 對(duì)于低維輸入空間中非線性可分訓(xùn)練樣本，是通過(guò)(tnggu)核函數(shù)將其映射到高維空間中使其線性可分：引入核函數(shù) 接受低維度輸入值，產(chǎn)生高維度內(nèi)積值( ,)( ( )()ijijK x xxx*1,1*1*1max( )()()()(,)2.t.()0,0,1,2,nniiiiijjijii jniiiiiaaayaaaaK x xsaaa ainL第9頁(yè)/共23頁(yè)第九頁(yè)，共23頁(yè)。支持向量回歸(hugu)機(jī)模型對(duì)該問(wèn)題進(jìn)行求解，解得 不同時(shí)為 0 時(shí)對(duì)應(yīng)的向量為支持向量，從而(cng r)得到非線性可分訓(xùn)練樣本的SVR模型：*,iiaa*1()(, )kiiiiyaaK x

9、 xb*1()( ,)njiiijibyaa K x x常用(chn yn)核函數(shù)k代表支持向量的個(gè)數(shù)常用的支持向量回歸機(jī)算法包括 硬 、 、 . SVRCSVRVSVR第10頁(yè)/共23頁(yè)第十頁(yè)，共23頁(yè)。支持向量(xingling)回歸機(jī)算法 SVR線性硬在回歸問(wèn)題中，理想狀態(tài) ： 事實(shí)上幾乎不可能存在一個(gè)描述黑箱的函數(shù) 能夠在理想情況下實(shí)現(xiàn)(shxin)，通常，允許存在一個(gè)小的正數(shù) ，使 ，則認(rèn)為回歸是無(wú)損的。 ( )0iiyf x( )f x()iiyf xm in()1 / 2(). .()()1, 2,iiiiR wwws twxbyywxbilL*1,11*1*1max ( )()

10、()()()()2.t. ()0,0, 1llliiiiijjijiiii jiliiiiiaaa yaaaax xaasaaa ailL對(duì)偶(du u)求解對(duì)偶問(wèn)題 ， 或 對(duì)應(yīng)的向量為支持向量。 *,iiaa0ia *0ia第11頁(yè)/共23頁(yè)第十一頁(yè)，共23頁(yè)。給定(i dn)樣本集選擇(xunz)合適的精度求解(qi ji)對(duì)偶化最優(yōu)問(wèn)題 計(jì)算w選擇 ，計(jì)算0ia ()jjbyw x 構(gòu)造線性硬 超平面SVR支持向量回歸機(jī)算法 第12頁(yè)/共23頁(yè)第十二頁(yè)，共23頁(yè)。CSVR引入松弛變量(binling) 和懲罰參數(shù)C，將硬 軟化。 *11( ,)ll LSVR*1*min ( ) 1/2

11、() C().()(),0,1,2,lliiiiiiiiiiiR ww wstw xbyyw xbi L*1,1*1*1*1max ( )()()()()2().t.()00,C,1lliiiiijjijii jliiiliiiiiaaayaaaax xaasaaa ailL原問(wèn)題(wnt)對(duì)偶(du u)問(wèn)題支持向量回歸機(jī)算法 第13頁(yè)/共23頁(yè)第十三頁(yè)，共23頁(yè)。*11*111/ 2()C()()()()lliiiiiiiilliiiiiiiiiiLw wayf xayf x *1*1*()0()000liiiiliiiiiiiiiLwaaxwLaabLCaLCa*( )0( )00,0i

12、iiiiiiii iiiayf xayf x *0iia a*(-)0(-)0iiiiC aC a構(gòu)造(guzo)Lagrange函數(shù)由帶有不等式約束極值(j zh)問(wèn)題的KKT條件（必要條件），可知：由上式可知 ，且不同時(shí)(tngsh)為 0 ，且可得到下列式子：支持向量回歸機(jī)算法 第14頁(yè)/共23頁(yè)第十四頁(yè)，共23頁(yè)。支持向量(xingling)回歸機(jī)算法 I. 當(dāng) ， 或 ，即 II.對(duì)應(yīng)(duyng) 為邊界支持向量（BSV），管道外的向量。 *iiaCoraC( )0iiiyf x ( )iiyf xixII.當(dāng) ，可知 ， 或 ，即III. ， 對(duì)應(yīng) 為標(biāo)準(zhǔn)支持向量(xinglin

13、g)（NSV），管道上的向量(xingling)。 *(0,C)iiaora *0ii ( )0iiyf x ( )0iiyf x*( )0iiiyf x ( )iiyf xixIII. 當(dāng) ，可知 ， 或 即 ，對(duì)應(yīng) 為非支持向量，管道內(nèi)的向量。 *00iiaanda*0ii ( ) 0iiiyf x *( )0iiiyf x( )iiyf xix第15頁(yè)/共23頁(yè)第十五頁(yè)，共23頁(yè)。支持向量回歸(hugu)機(jī)算法 非線性情形(qng xing)下，可引入核函數(shù)，進(jìn)而對(duì)偶問(wèn)題可化為：*1,1*1*1*1max( )()()()(,)2().t.()00,C,1lliiiiijjijii jl

14、iiiliiiiiaaayaaaaK x xaasaaa ailL求解(qi ji)得 ，對(duì)于 或 對(duì)應(yīng)的向量為支持向量。*,iia a0ia *0ia 第16頁(yè)/共23頁(yè)第十六頁(yè)，共23頁(yè)。支持向量回歸(hugu)機(jī)算法 給定(i dn)樣本集選擇合適(hsh)的精度 、C、求解對(duì)偶化最優(yōu)問(wèn)題0ia ()jjbyw x 構(gòu)造線性硬 超平面CSVR( ,)ijK x x選擇 ，計(jì)算第17頁(yè)/共23頁(yè)第十七頁(yè)，共23頁(yè)。支持向量回歸(hugu)機(jī)算法 在硬 ， 中，需要(xyo)事先確定參數(shù) ，在某些情況下，選擇合適的 是困難的，引入自動(dòng)計(jì)算 的 ，在 原問(wèn)題的基礎(chǔ)上引入?yún)?shù) ，得 原始問(wèn)題：

15、SVRCSVRVSVRVSVRCSVRvVSVR*1*min( )1/ 2()C(). .()(),0,1,2,liiiiiiiiiiiR ww wvs tw xbyyw xbil L*1,1*1*1*1max ( )()()() ( ,)2.t.()0()0,C,1lliiiiijjijii jliiiliiiiiaaa yaaaa K x xsaaaaCva ailL對(duì)偶(du u)并引入核函數(shù)第18頁(yè)/共23頁(yè)第十八頁(yè)，共23頁(yè)?？偨Y(jié)(zngji)SVRCSVRSVMSVR總結(jié)(zngji)核函數(shù)(hnsh)VSVR第19頁(yè)/共23頁(yè)第十九頁(yè)，共23頁(yè)。參考文獻(xiàn)1 曾紹華. 支持向量回歸

16、機(jī)算法理論研究與應(yīng)用(yngyng). 控制理論與控制工程專業(yè)優(yōu)秀論文.2 賈云峰. 基于支持向量回歸的全局優(yōu)化仿真優(yōu)化算法. 碩士學(xué)位論文. 2011.3 冼廣銘, 曾碧卿. -支持向量回歸機(jī)算法及其應(yīng)用(yngyng). 計(jì)算工程與應(yīng)用(yngyng), 2008, 44(17):40-42. 4 Gunn, S. R. Support vector machines for classification and regression R. Southampton: Image Speech and Intelligent Systems Research Group, University of Southampton, 1997.5 Zeng, S., Wei, Y., Duan, T., et al. Research on an algorithm of support vector stepwise regressionC. Innovative Computing, Information and Control, 2006. ICICIC06. First International Conference on. IEEE, 2006, 3: 452-458.第20頁(yè)/