經(jīng)濟(jì)學(xué)cqj-支持向量機(jī)課件

SupportVectorMachine

支持向量機(jī)提綱1.SVM的有關(guān)概念介紹2.SVM問題的數(shù)學(xué)表示和推導(dǎo)簡(jiǎn)單的最優(yōu)分類面SVM廣義最優(yōu)分類面SVM非線性最優(yōu)分類面SVM3.支持向量機(jī)工具箱

SVM的描述支持向量機(jī)是在統(tǒng)計(jì)學(xué)習(xí)理論的基礎(chǔ)上發(fā)展出來的一種新的機(jī)器學(xué)習(xí)方法，它是統(tǒng)計(jì)學(xué)習(xí)理論中最年輕的部分，也是最實(shí)用的部分。Vapnik等人在20世紀(jì)60年代開始研究有限樣本下的機(jī)器學(xué)習(xí)問題，隨著理論研究的逐步成熟，在90年代中期，他們提出了一個(gè)較完善的基于有限樣本的理論體系，即統(tǒng)計(jì)學(xué)習(xí)理論(StatisticalLearningTheory，SLT),與傳統(tǒng)統(tǒng)計(jì)學(xué)理論相比，統(tǒng)計(jì)學(xué)習(xí)理論是一門專門研究小樣本情況下，機(jī)器學(xué)習(xí)規(guī)律的理論，其核心問題是尋找一種歸納原則以實(shí)現(xiàn)最小化風(fēng)險(xiǎn)泛函，使其具有最佳的推廣能力。

傳統(tǒng)的統(tǒng)計(jì)模式識(shí)別方法只有在樣本趨向無窮大時(shí)，其性能才有理論的保證。統(tǒng)計(jì)學(xué)習(xí)理論（STL）研究有限樣本情況下的機(jī)器學(xué)習(xí)問題。SVM的理論基礎(chǔ)就是統(tǒng)計(jì)學(xué)習(xí)理論。傳統(tǒng)的統(tǒng)計(jì)模式識(shí)別方法在進(jìn)行機(jī)器學(xué)習(xí)時(shí)，強(qiáng)調(diào)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化。而單純的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化會(huì)產(chǎn)生“過學(xué)習(xí)問題”，其推廣能力較差。推廣能力是指:將學(xué)習(xí)機(jī)器(即預(yù)測(cè)函數(shù),或稱學(xué)習(xí)函數(shù)、學(xué)習(xí)模型)對(duì)未來輸出進(jìn)行正確預(yù)測(cè)的能力?！斑^學(xué)習(xí)問題”：某些情況下，當(dāng)訓(xùn)練誤差過小反而會(huì)導(dǎo)致推廣能力的下降。例如：對(duì)一組訓(xùn)練樣本(x,y),x分布在實(shí)數(shù)范圍內(nèi)，y取值在[0，1]之間。無論這些樣本是由什么模型產(chǎn)生的，我們總可以用y=sin(w*x)去擬合，使得訓(xùn)練誤差為0統(tǒng)計(jì)學(xué)習(xí)理論是小樣本統(tǒng)計(jì)估計(jì)和預(yù)測(cè)學(xué)習(xí)的最佳理論。模式識(shí)別問題的一般描述已知：n個(gè)觀測(cè)樣本trainset，(x1,y1),(x2,y2)……(xn,yn),學(xué)習(xí)到一個(gè)假設(shè)H=f(x,w)作為預(yù)測(cè)函數(shù),其中w是廣義參數(shù).滿足條件：期望風(fēng)險(xiǎn)最小損失函數(shù)期望風(fēng)險(xiǎn)R(w)要依賴聯(lián)合概率F(x,y)的信息，實(shí)際問題中無法計(jì)算。一般用經(jīng)驗(yàn)風(fēng)險(xiǎn)Remp(w)代替期望風(fēng)險(xiǎn)R(w)一般模式識(shí)別方法的問題經(jīng)驗(yàn)風(fēng)險(xiǎn)最小不等于期望風(fēng)險(xiǎn)最小，不能保證分類器的推廣能力;經(jīng)驗(yàn)風(fēng)險(xiǎn)只有在樣本數(shù)無窮大趨近于期望風(fēng)險(xiǎn)，需要非常多的樣本才能保證分類器的性能;需要找到經(jīng)驗(yàn)風(fēng)險(xiǎn)最小和推廣能力最大的平衡點(diǎn)。SVM的理論基礎(chǔ)根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論，學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)由經(jīng)驗(yàn)風(fēng)險(xiǎn)值和置信范圍值兩部分組成。而基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則的學(xué)習(xí)方法只強(qiáng)調(diào)了訓(xùn)練樣本的經(jīng)驗(yàn)風(fēng)險(xiǎn)最小誤差，沒有最小化置信范圍值，因此其推廣能力較差。Vapnik

與1995年提出的支持向量機(jī)（SupportVectorMachine,SVM）以訓(xùn)練誤差作為優(yōu)化問題的約束條件，以置信范圍值最小化作為優(yōu)化目標(biāo)，即SVM是一種基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則的學(xué)習(xí)方法，其推廣能力明顯優(yōu)于一些傳統(tǒng)的學(xué)習(xí)方法。支持向量機(jī)最早是運(yùn)用于兩類分類問題，且大多數(shù)情況是非線性的。其基本思想是：首先通過一個(gè)非線性變換將輸入空間中的向量映射到一個(gè)高維的特征空間，然后再在這個(gè)高維特征空間中求解最優(yōu)分類超平面，而這種非線性變換是通過定義適當(dāng)?shù)膬?nèi)積（核）函數(shù)來實(shí)現(xiàn)的，也就是說，將高維特征空間中的特征向量和特征空間中向量的內(nèi)積化為原空間中的核函數(shù)計(jì)算。目標(biāo)：找到一個(gè)超平面，使得它能夠盡可能多的將兩類數(shù)據(jù)點(diǎn)正確的分開，同時(shí)使分開的兩類數(shù)據(jù)點(diǎn)距離分類面最遠(yuǎn)。解決方法：構(gòu)造一個(gè)在約束條件下的優(yōu)化問題，具體的說是一個(gè)受限二次規(guī)劃問題,求解該問題，得到分類器。線性判別函數(shù)和判別面一個(gè)線性判別函數(shù)(discriminantfunction)是指由x的各個(gè)分量的線性組合而成的函數(shù)

兩類情況:對(duì)于兩類問題的決策規(guī)則為如果g(x)>=0，則判定x屬于C1如果g(x)<0，則判定x屬于C2方程g(x)=0定義了一個(gè)判定面，它把歸類于C1的點(diǎn)與歸類于C2的點(diǎn)分開來。當(dāng)g(x)是線性函數(shù)時(shí)，這個(gè)平面被稱為“超平面”(hyperplane)。當(dāng)x1和x2都在判定面上時(shí)，這表明w和超平面上任意向量正交，并稱w為超平面的法向量。超平面廣義線性判別函數(shù)

在一維空間中，沒有任何一個(gè)線性函數(shù)能解決下述劃分問題（黑紅各代表一類數(shù)據(jù)），可見線性判別函數(shù)有一定的局限性。如果建立一個(gè)二次判別函數(shù)g(x)=(x-a)(x-b)，則可以很好的解決上述分類問題。決策規(guī)則仍是：如果g(x)>=0，則判定x屬于C1，如果g(x)<0，則判定x屬于C2。線性可分分類器的選擇最優(yōu)分類面SVM是從線性可分情況下的最優(yōu)分類面發(fā)展而來的,基本思想可用下圖的兩維情況說明.

所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開(訓(xùn)練錯(cuò)誤率為0),而且使分類間隔最大.推廣到高維空間，最優(yōu)分類線就變?yōu)樽顑?yōu)分類面。

最優(yōu)分類面簡(jiǎn)單情況：在線性可分的情況下的最優(yōu)分類面設(shè)線性可分的樣本集:D維空間中的線性判別函數(shù):

最優(yōu)分類面這樣分類間隔就等于,因此要求分類間隔最大,就要求最大.而要求分類面對(duì)所有樣本正確分類,就是要求滿足求最優(yōu)分類面(最大間隔法)已知：求解：目標(biāo)：最優(yōu)分類面

這是一個(gè)二次凸規(guī)劃問題，由于目標(biāo)函數(shù)和約束條件都是凸的，根據(jù)最優(yōu)化理論，這一問題存在唯一全局最小解．分類面方程滿足條件對(duì)(xi,yi)分類面方程g(x)=wx+b應(yīng)滿足即首先建立Lagrange函數(shù)

最終可得到求解廣義最優(yōu)分類面分類面條件放寬增加一個(gè)松弛項(xiàng)

經(jīng)驗(yàn)風(fēng)險(xiǎn)最小空白最大（不變）線性不可分情形數(shù)學(xué)表示已知：n個(gè)觀測(cè)樣本，(x1,y1),(x2,y2)……(xn,yn)求解：目標(biāo)：最優(yōu)分類面

wx+b=0折衷考慮最少錯(cuò)分樣本和最大分類間隔，就得到廣義最優(yōu)分類面，其中，C>0是一個(gè)常數(shù)，它控制對(duì)錯(cuò)分樣本懲罰的程度。問題求解將上述問題表示成拉格朗日乘子式Kuhn-Tucker條件得到只要確定，便可解出w,b將上述條件代入L中新的優(yōu)化問題已知：n個(gè)觀測(cè)樣本，(x1,y1),(x2,y2)……(xn,yn)求解根據(jù)，求得w,b，得到最優(yōu)分類面非線性分類面非線性可分的數(shù)據(jù)樣本在高維空間有可能轉(zhuǎn)化為線性可分。在訓(xùn)練問題中，涉及到訓(xùn)練樣本的數(shù)據(jù)計(jì)算只有兩個(gè)樣本向量點(diǎn)乘的形式使用函數(shù)

,將所有樣本點(diǎn)映射到高為空間，則新的樣本集為設(shè)函數(shù)

SVM的一般表示已知：n個(gè)觀測(cè)樣本，(x1,y1),(x2,y2)……(xn,yn)求解最優(yōu)非線性分類面為支持向量機(jī)上節(jié)所得到的最優(yōu)分類函數(shù)為：該式只包含待分類樣本與訓(xùn)練樣本中的支持向量的內(nèi)積運(yùn)算，可見,要解決一個(gè)特征空間中的最優(yōu)線性分類問題,我們只需要知道這個(gè)空間中的內(nèi)積運(yùn)算即可。

對(duì)非線性問題,可以通過非線性變換轉(zhuǎn)化為某個(gè)高維空間中的線性問題,在變換空間求最優(yōu)分類面.這種變換可能比較復(fù)雜,因此這種思路在一般情況下不易實(shí)現(xiàn).SVM本質(zhì)上是兩類分類器.常用的SVM多值分類器構(gòu)造方法有:

支持向量機(jī)核:通常的內(nèi)核函數(shù)線性內(nèi)核徑向基函數(shù)內(nèi)核RBF多項(xiàng)式內(nèi)核S形內(nèi)核支持向量機(jī)作為一種在統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)上發(fā)展起來的機(jī)器學(xué)習(xí)方法是目前運(yùn)用于數(shù)據(jù)挖掘和模式識(shí)別的一個(gè)非常強(qiáng)大的工具。具有以下優(yōu)點(diǎn)：1.模型結(jié)構(gòu)簡(jiǎn)單，參數(shù)較少；2.建模所需要的樣本較少，專門針對(duì)小樣本情況；3.具有較好的泛化能力，對(duì)新樣本往往能顯示出較好的推廣能力；4.能夠較好的處理非線性和高維數(shù)的問題；5.有多種核函數(shù)可供選擇，建立不同的分類曲面，解決不同類型數(shù)據(jù)的問題；6.從理論上，算法得到的是全局最優(yōu)，解決了神經(jīng)網(wǎng)絡(luò)方法無法避免的局部最優(yōu)問題。常用的模型評(píng)價(jià)方法

1.旁置法（holdoutmethod）：將全部數(shù)據(jù)集劃分為相互獨(dú)立的訓(xùn)練集、驗(yàn)證集和測(cè)試集。第一階段，對(duì)訓(xùn)練集進(jìn)行訓(xùn)練，以一種或多種學(xué)習(xí)算法創(chuàng)建分類器，構(gòu)建模型的基本結(jié)構(gòu)；第二階段，將訓(xùn)練好的分類器用于驗(yàn)證集，根據(jù)最好的測(cè)試成績(jī)，優(yōu)化參數(shù)或者選擇最優(yōu)參數(shù)；第三階段，將經(jīng)過優(yōu)化的分類器用于測(cè)試集，計(jì)算模型預(yù)測(cè)的誤差。有時(shí)為了減少旁置法在取樣時(shí)不均勻造成的偏差，可以重復(fù)整個(gè)過程，每次取不同的隨機(jī)樣本進(jìn)行訓(xùn)練和測(cè)試，將多次得到的誤差取平均得到一個(gè)綜合誤差率，即重復(fù)旁置法。常用的模型評(píng)價(jià)方法

2.交叉驗(yàn)證(cross-validation)：首先將數(shù)據(jù)集大致均分為n個(gè)子集，比如n=5,10，20等。每次將其中一個(gè)子集旁置作為測(cè)試集，其它的n-1個(gè)子集合并作為訓(xùn)練集，輪流進(jìn)行。每個(gè)樣本都將有一次作為測(cè)試對(duì)象，而n-1次參加某個(gè)學(xué)習(xí)方案的訓(xùn)練，即n折交叉驗(yàn)證。最后將每次的誤差估計(jì)值平均而得到一個(gè)綜合誤差估計(jì)。其中10折交叉驗(yàn)證在實(shí)踐中被認(rèn)為是標(biāo)準(zhǔn)方法，而5折或20折也經(jīng)常用到，其效果相差不大。為了得到更加可靠的誤差估計(jì)，可以采用相同的學(xué)習(xí)方案在相同的數(shù)據(jù)集上重復(fù)10次不同的10折交叉驗(yàn)證（即每次對(duì)數(shù)據(jù)集的劃分不同），然后取其均值。3.留一法(leave-one-out)：留一法可以理解為特殊的交叉驗(yàn)證：即m折（m為數(shù)據(jù)集的樣本總數(shù)）交叉驗(yàn)證。每次將數(shù)據(jù)集中的一個(gè)樣本作為測(cè)試集，而其它全部作為訓(xùn)練集。最后將m個(gè)誤差結(jié)果取均值。留一法的優(yōu)點(diǎn)時(shí)，每次讓盡可能多的樣本參與訓(xùn)練。它的試驗(yàn)結(jié)果具有確定性，因?yàn)槊總€(gè)樣本均有一次單獨(dú)作為測(cè)試集，不存在隨機(jī)取樣。

4.自引導(dǎo)法(bootstrap)：基于統(tǒng)計(jì)學(xué)中的有放回重復(fù)抽樣產(chǎn)生訓(xùn)練集。設(shè)數(shù)據(jù)集的樣本總數(shù)為m，用又放回的方式在數(shù)據(jù)集中隨機(jī)抽取m個(gè)樣本作為訓(xùn)練集。不可避免的，在訓(xùn)練集中會(huì)有一些重復(fù)的樣本，而原來的數(shù)據(jù)集中也會(huì)有一些樣本沒有被抽取到，將這些未被抽到的樣本作為測(cè)試集。用訓(xùn)練集訓(xùn)練一個(gè)學(xué)習(xí)系統(tǒng)，并用測(cè)試集計(jì)算誤差率。由于訓(xùn)練集可能含有較多的重復(fù)樣本，所以得到的結(jié)果一般較為悲觀。所以將測(cè)試集誤差率e1和訓(xùn)練集數(shù)據(jù)計(jì)算的重新代入誤差率e2（即訓(xùn)練集自測(cè)試誤差率）進(jìn)行組合，得到最終的誤差率估計(jì)值e=0.632*e1+0.368*e2.然后將整個(gè)自引導(dǎo)過程重復(fù)進(jìn)行幾次，取得不同的又放回重復(fù)抽樣的樣本作為訓(xùn)練集，測(cè)試結(jié)果誤差率取平均值。值得一提的是，在隨機(jī)抽取訓(xùn)練集時(shí)，我們可以采用分層技術(shù)。確保在訓(xùn)練集和測(cè)試集中每個(gè)類別或者數(shù)據(jù)段的比例相當(dāng)。這種做法是非常有必要的，可以防止訓(xùn)練集和測(cè)試集數(shù)據(jù)的樣本代表性不一致而產(chǎn)生的偏差。對(duì)應(yīng)分層技術(shù)，有分層旁置、分層n折交叉驗(yàn)證，而留一法和自引導(dǎo)法則不能采用分層。常用的分類模型評(píng)價(jià)指標(biāo)

1.真陽性(TP):陽性數(shù)據(jù)中被預(yù)測(cè)為陽性的數(shù)據(jù)2.假陽性(FP):陰性數(shù)據(jù)中被預(yù)測(cè)為陽性的數(shù)據(jù)3.真陰性(TN):陰性數(shù)據(jù)中被預(yù)測(cè)為陰性的數(shù)據(jù)4.假陰性(FN):陽性數(shù)據(jù)中被預(yù)測(cè)為陰性的數(shù)據(jù)真陽性(TP),假陽性(FP),真陰性(TN),假陰性(FN)靈敏度(Sensitivity,Sn):

對(duì)于陽性的數(shù)據(jù)，能夠預(yù)測(cè)成“真”的比例特異性(Specificity,Sp):

對(duì)于陰性的數(shù)據(jù)，能夠預(yù)測(cè)成“假”的比例

準(zhǔn)確性(Accuracy,Ac):對(duì)于整個(gè)數(shù)據(jù)集預(yù)測(cè)正確的比例4.馬修相關(guān)系數(shù)(Mathewcorrelationcoefficient,MCC):

當(dāng)陽性數(shù)據(jù)的數(shù)量與陰性數(shù)據(jù)的數(shù)量差別較大時(shí)，能夠更為公平的反映預(yù)測(cè)能力，值域[-1,1]5.ROC曲線

是用真陽性率和假陽性率作圖得出的曲線，它可表示靈敏度和特異度之間的關(guān)系。（底下面積越大越好，永不會(huì)是1，只能接近1）

ROC曲線也可用來比較兩種和兩種以上診斷試驗(yàn)的診斷價(jià)值，從而幫助臨床醫(yī)師作出最佳選擇。

ROC曲線是一種全面、準(zhǔn)確評(píng)價(jià)診斷試驗(yàn)非常有效的方法，并可以比較兩種或多種診斷試驗(yàn)的診斷價(jià)值，除了直觀方法比較外，還可以計(jì)算ROC曲線下的面積，來比較幾種診斷試驗(yàn)的診斷效率。ROC曲線下的面積越大，越接近1.0，其診斷的真實(shí)度越高，越接近0.5，其診斷的真實(shí)度越差。回歸模型評(píng)價(jià)指標(biāo)

皮爾遜相關(guān)系數(shù)r的值介于-1到1之間，用來度量實(shí)驗(yàn)值和預(yù)測(cè)值之間的線性相關(guān)性。若相關(guān)系數(shù)r=0,則表示二者之間沒有線性相關(guān)關(guān)系；若r>0，則說明二者之間成正相關(guān)；反之，若r<0，則是負(fù)相關(guān)。也就是說r的值越大越好，當(dāng)r值接近1時(shí)，則說明預(yù)測(cè)效果相當(dāng)好交叉驗(yàn)證相關(guān)系數(shù)

q2系數(shù)可能為正也可能為負(fù)，其值越大說明模型的預(yù)測(cè)效果越好，特別是當(dāng)q2=1時(shí)，則表示模型取得了最理想的預(yù)測(cè)效果。

平均平方誤差標(biāo)準(zhǔn)誤差支持向量機(jī)工具箱海軍工程大學(xué)陸振波1、LS_SVMlab

(多類分類/函數(shù)擬合)（最小2乘支持向量機(jī)）2、OSU_SVM3.00(多類分類)3、stprtool\svm(多類分類)4、SVM_SteveGunn(二類分類/函數(shù)擬合)臺(tái)灣大學(xué)林智仁團(tuán)隊(duì)

LIBSVM

分類問題（包括C-SVC、n-SVC）

回歸問題（包括e-SVR、n-SVR）

分布估計(jì)（one-class-SVM）目前最先進(jìn)??！LIBSVM回歸操作步驟

一、libsvm回歸的一般步驟：

1.按照libsvm要求的格式準(zhǔn)備數(shù)據(jù),每行一個(gè)樣本

；+11:0.7082:13:14:-0.3205:-0.1056:-18:1.21（+1表示一類標(biāo)簽，只有+1或-1之說；1：——表示1維，2：2維···）

2.對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單的縮放；

3.考慮選用RBF核函數(shù)；

4.采用交叉驗(yàn)證選擇最優(yōu)參數(shù)cgp；5.運(yùn)用最優(yōu)參數(shù)值對(duì)訓(xùn)練集進(jìn)行訓(xùn)練，獲得支持向量機(jī)模型；

6.利用獲得的模型對(duì)測(cè)試集進(jìn)行預(yù)測(cè)。二、實(shí)現(xiàn)方法（我在DOS下做的）：1．只要修改一個(gè)文件（gridregression.py）中的兩行就可以了，修改的地方是svmtrain_exe=和gnuplot_exe的兩行路徑，寫成實(shí)際路徑就可以了。例如改成：

svmtrain_exe=”F:\libsvm-2.88\windows\svm-train.exe”

gnuplot_exe=”F:\gnuplot\bin\pgnuplot.exe”2.歸一化處理svm-scale-sscale_rulechentraindata.txt>traindata.txt完整的命令格式為:svm-scale–lxlower-uxupper-yylower

yupper-sscale_ruleyuandata.txt>resultdata.txtsvm-scale-rscale_rulechentestdata.txt>testdata.txt3.現(xiàn)在是通過gridregression.py函數(shù)進(jìn)行參數(shù)尋優(yōu)。Python.exeF:\libsvm-2.88\python\gridregression.py-svmtrainF:\libsvm-2.88\windows\svm-train.exe-gnuplotF:\gnuplot\bin\pgnuplot.exe-log2c-10,10,1-log2g-10,10,1-log2p-10,10,1-v10-s3-t2F:\libsvm-2.88\windows\chentraindata.txt>F:\python26\gridregression_data.parameter.txt回車到F:\Python26中會(huì)有一個(gè)gridregression_data.parameter出現(xiàn)，打開看結(jié)果.最后一行分別為c,g,p,mse。其中mse沒有多大用，當(dāng)然小點(diǎn)更好。上圖是我的結(jié)果：c=8.0g=2.0p=0.25mse=0.387105.參考：有人做的data訓(xùn)練時(shí)c=256.0,g=0.25,p=2.0,mse=88.1545，而test測(cè)試時(shí)mse=401.938也用了.

5.用最