神經(jīng)網(wǎng)絡(luò) SVM的學(xué)習(xí)教案

神經(jīng)網(wǎng)絡(luò)SVM的學(xué)習(xí)教案第1頁(yè)/共23頁(yè)最優(yōu)線性分界面（二分類(lèi)問(wèn)題）對(duì)線性可分集，總能找到使樣本正確劃分的分界面，而且有無(wú)窮多個(gè)，哪個(gè)是最優(yōu)的？一種最優(yōu)的分界準(zhǔn)則（從對(duì)樣本及參數(shù)的魯棒性看）是使兩類(lèi)模式向量分開(kāi)的間隔最大。支持向量機(jī)第2頁(yè)/共23頁(yè)最優(yōu)線性分界面的確定兩分類(lèi)的線性判別函數(shù)的一般表達(dá)式為：。方程定義了一個(gè)超平面H，它把兩類(lèi)訓(xùn)練樣本完全分開(kāi)。設(shè)Ｎ個(gè)樣本為：，， ，則有分類(lèi)規(guī)則：，，由于訓(xùn)練集線性可分，改變權(quán)向量的摸，總可改寫(xiě)分類(lèi)規(guī)則為：，，進(jìn)一步合并有緊湊式：同樣還有：支持向量機(jī)第3頁(yè)/共23頁(yè)最優(yōu)線性分界面的確定（續(xù)）

g(x)可以看成是從x到超平面的距離的一種度量，見(jiàn)圖。把x表示成：，其中r是x到Ｈ的垂直距離，則有：，即：支持向量機(jī)第4頁(yè)/共23頁(yè)最優(yōu)線性分界面的確定（續(xù)）間隔：離分界面H最近的樣本點(diǎn)(即使的樣本點(diǎn))與分界面的距離，它是。這樣，兩類(lèi)模式間隔的距離為。最優(yōu)分界面：為使兩類(lèi)間隔最大，應(yīng)使最小，等價(jià)于使最小。所以，最優(yōu)分界面應(yīng)滿足：和

支持向量：距離最優(yōu)分界面最近的位于間隔邊界上的那些樣本向量，也就是使得等號(hào)或成立的那些樣本向量。支持向量機(jī)第5頁(yè)/共23頁(yè)最優(yōu)分界面的求解用Lagrange乘子法最小化代價(jià)函數(shù)：。

?構(gòu)造Lagrange函數(shù)： 其中為L(zhǎng)agrange乘子，達(dá)到極值的必要條件為：必要條件1：即： 必要條件2：即： ?從最優(yōu)化理論的KTT條件得出解必須滿足：

?從必要條件1看到，只有 的樣本對(duì)權(quán)起作用，而此 時(shí)必有，即相應(yīng)的樣本是支持向量。 故解向量w是由支持向量構(gòu)建的，它們決定分類(lèi)結(jié)果。支持向量機(jī)第6頁(yè)/共23頁(yè)最優(yōu)分界面的求解（續(xù)）根據(jù)Lagrange優(yōu)化方法，用對(duì)偶定理求乘子最優(yōu)解。

?展開(kāi)Lagrange函數(shù)有： ?將和代入上式，則有：

?求上式的最大值，可得最優(yōu)解，則最優(yōu)權(quán)向量為：（是支持向量的個(gè)數(shù)） ?最優(yōu)偏置可選用一個(gè)支持向量樣本求得：。最優(yōu)分界面是：支持向量機(jī)第7頁(yè)/共23頁(yè)線性不可分問(wèn)題向高維空間（特征空間）映射模式可分性的Cover定理

將復(fù)雜的模式分類(lèi)問(wèn)題非線性地投射到高維空間將比投射到低維 空間更可能是線性可分的?；驹? 通過(guò)某種非線性映射將樣 本映射到一個(gè)高維空間（特征空間），在這個(gè)高維空間中構(gòu)造最 優(yōu)分類(lèi)超平面：

在特征空間用線性可分的結(jié)果，即代入上式得 這樣在映射到高維空間也只須進(jìn)行內(nèi)積運(yùn)算，這是可以用原空間 的函數(shù)實(shí)現(xiàn)的。根據(jù)泛函理論，只要核函數(shù) 滿足Mercer條件，它就對(duì)應(yīng)某個(gè)變換空間中的內(nèi)積。支持向量機(jī)第8頁(yè)/共23頁(yè)線性不可分問(wèn)題（續(xù)）向高維空間（特征空間）映射只要找到適當(dāng)?shù)暮撕瘮?shù)就可實(shí)現(xiàn)某個(gè)非線性變換后的線性分類(lèi)，類(lèi)似線性可分情形有：對(duì)求以下函數(shù)的極大值滿足約束條件和。

設(shè)最優(yōu)解為，則最優(yōu)分界面可寫(xiě)為：支持向量機(jī)第9頁(yè)/共23頁(yè)線性不可分問(wèn)題（續(xù)）向高維空間（特征空間）映射不同的核函數(shù)將形成不同的算法，常用的有： 多項(xiàng)式核函數(shù)： 徑向基函數(shù)：支持向量機(jī)的結(jié)構(gòu)圖支持向量機(jī)sgn()y第10頁(yè)/共23頁(yè)線性不可分問(wèn)題（續(xù)）（映射后也不能保證線性可分）增加松弛項(xiàng)，使分界面在訓(xùn)練集上平均分類(lèi)誤差最小。原問(wèn)題為：

尋找權(quán)向和偏置的最優(yōu)值，使得它們們滿足約束條件和， 其中松弛變量時(shí)，是支持向量松弛變量，落入間隔區(qū)，在分界面的正確一側(cè)松弛變量時(shí)，落入分界面的錯(cuò)誤一側(cè)

此時(shí)，使得權(quán)向量和松弛變量最小化代價(jià)函數(shù)為

其中是個(gè)常數(shù)，由使用者選定控制對(duì)錯(cuò)分樣本的懲罰程度支持向量機(jī)第11頁(yè)/共23頁(yè)對(duì)偶問(wèn)題為： 尋找Lagrange乘子最大化目標(biāo)函數(shù)

滿足約束條件和（此項(xiàng)與前面線性可分情況結(jié)果不同）支持向量機(jī)第12頁(yè)/共23頁(yè)支持向量機(jī)的設(shè)計(jì)算法在能夠進(jìn)行變換的情況下：（1）在約束條件和（或）下求函數(shù)極大值點(diǎn)；（2）計(jì)算最優(yōu)權(quán)值和偏置值：，；（3）支持向量機(jī)的最優(yōu)分界面為：。在選擇核函數(shù)避免進(jìn)行變換情況下，不同處有：（1）求函數(shù)極大值點(diǎn)；（2）計(jì)算最優(yōu)權(quán)值：，其中是隱層輸出；（3）支持向量機(jī)的最優(yōu)分界面為：支持向量機(jī)第13頁(yè)/共23頁(yè)支持向量機(jī)的特點(diǎn)適合對(duì)小樣本數(shù)據(jù)的學(xué)習(xí)，注重樣本自身信息，而非產(chǎn)生樣本的規(guī)律（概率及條件概率等）。網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，只有一個(gè)隱層，隱層的節(jié)點(diǎn)數(shù)由所求得的支持向量個(gè)數(shù)自動(dòng)決定?？梢愿鶕?jù)核函數(shù)的選擇自動(dòng)計(jì)算重要的網(wǎng)絡(luò)參數(shù)。在解決模式分類(lèi)問(wèn)題方面，能提供較好的泛化性能。有些參數(shù)（如控制對(duì)錯(cuò)分樣本懲罰程度的C）不易確定。雖然可以不需知道非線性映射的具體形式，但非線性映射的核函數(shù)不易得。判定一個(gè)給定的核函數(shù)是否滿足Mercer定理?xiàng)l件是一件困難事。在待分類(lèi)的模式為線性不可分時(shí)，怎樣控制支持向量的選擇是一個(gè)困難的問(wèn)題。支持向量機(jī)第14頁(yè)/共23頁(yè)支持向量機(jī)類(lèi)型的RBF網(wǎng)絡(luò)和MLP網(wǎng)絡(luò)RBF網(wǎng)絡(luò)Gauss核函數(shù)；對(duì)所有核相同，由設(shè)計(jì)者預(yù)先指定；隱層節(jié)點(diǎn)的數(shù)量由支持向量的個(gè)數(shù)自動(dòng)決定；中心由支持向量的值自動(dòng)決定。單隱層MLP網(wǎng)絡(luò)Sigmoid核函數(shù)，其中只有一些特定的

，值滿足Mercer定理；隱層節(jié)點(diǎn)的個(gè)數(shù)由支持向量的個(gè)數(shù)自動(dòng)決定；隱節(jié)點(diǎn)的權(quán)值由支持向量的值自動(dòng)決定。支持向量機(jī)第15頁(yè)/共23頁(yè)支持向量機(jī)設(shè)計(jì)舉例—XOR問(wèn)題訓(xùn)練樣本：方法一：選擇非線性映射函數(shù)：將

二維輸入樣本映射到一個(gè)六維特征空間。 （1）求極值 滿足約束條件：

(即必要條件2:)支持向量機(jī)第16頁(yè)/共23頁(yè)支持向量機(jī)設(shè)計(jì)舉例—XOR問(wèn)題（續(xù)）方法一（續(xù)）： 對(duì)求導(dǎo)并令導(dǎo)數(shù)為零，得到下列聯(lián)立方程組：

解得極值點(diǎn)為，。 可見(jiàn)4個(gè)樣本都是支持向量。 （2）計(jì)算最優(yōu)權(quán)值和偏置值：

支持向量機(jī)第17頁(yè)/共23頁(yè)支持向量機(jī)設(shè)計(jì)舉例—XOR問(wèn)題（續(xù)）方法一（續(xù)）：

（3）支持向量機(jī)的最優(yōu)分界面為：支持向量機(jī)第18頁(yè)/共23頁(yè)支持向量機(jī)設(shè)計(jì)舉例—XOR問(wèn)題（續(xù)）方法二：選擇核函數(shù)為：將和代入上式，核函數(shù)可表為：將各訓(xùn)練樣本代入，可計(jì)算出4*4對(duì)稱(chēng)矩陣為：

9111K==191111911119（1