模糊支持向量機(jī)【精制材料】

1、模糊支持向量機(jī)的分類研究,華東師范大學(xué)地理系,支持向量機(jī)概述 支持向量機(jī)理論基礎(chǔ) 支持向量機(jī) 模糊支持向量機(jī) 應(yīng)用研究,主要內(nèi)容,2,行業(yè)相關(guān),支持向量機(jī)(Support Vector Machine，簡(jiǎn)稱SVM)是一種基于統(tǒng)計(jì)學(xué)習(xí)理論的模式識(shí)別方法，它是由Boser,Guyon,Vapnik在COLT-92上首次提出。 COLT(Computational Learning Theory),支持向量機(jī)概述,3,行業(yè)相關(guān),支持向量機(jī)是九十年代中期發(fā)展起來的一類新型機(jī)器學(xué)習(xí)方法。 它在很多領(lǐng)域都得到了成功的應(yīng)用，如人臉檢測(cè)、手寫體數(shù)字識(shí)別、文本自動(dòng)分類等。 它結(jié)構(gòu)簡(jiǎn)單，且具有全局最優(yōu)性和較好的泛

2、化能力，支持向量機(jī)方法是求解模式識(shí)別和分類問題的有效工具。,支持向量機(jī)概述,4,行業(yè)相關(guān),近年來SVM 方法已經(jīng)在圖像識(shí)別、信號(hào)處理和基因圖譜識(shí)別等方面得到了成功的應(yīng)用,顯示了它的優(yōu)勢(shì)。 SVM 通過核函數(shù)實(shí)現(xiàn)到高維空間的非線性映射,所以適合于解決本質(zhì)上非線性的分類、回歸和密度函數(shù)估計(jì)等問題。 支持向量方法也為樣本分析、因子篩選、信息壓縮、知識(shí)挖掘和數(shù)據(jù)修復(fù)等提供了新工具。,支持向量機(jī)概述,5,行業(yè)相關(guān),SVM正在成為繼神經(jīng)網(wǎng)絡(luò)研究之后新的研究熱點(diǎn)，并將有力地推動(dòng)機(jī)器學(xué)習(xí)理論和技術(shù)的發(fā)展，是一項(xiàng)很有發(fā)展前途的技術(shù)。 目前，國際上支持向量機(jī)在理論研究和實(shí)際應(yīng)用兩方面都正處于飛速發(fā)展階段，而我國國

3、內(nèi)在此領(lǐng)域的研究尚未成熟，因此我們需要及時(shí)學(xué)習(xí)掌握有關(guān)理論，開展有效的研究工作，使我們?cè)谶@一有著重要意義的領(lǐng)域中能夠盡快趕上國際先進(jìn)水平。,支持向量機(jī)概述,6,行業(yè)相關(guān),線性判別函數(shù)和判別面,一個(gè)線性判別函數(shù)(discriminant function)是指由x的各個(gè)分量的線性組合而成的函數(shù) 兩類情況:對(duì)于兩類問題的決策規(guī)則為 如果g(x)0，則判定x屬于C1， 如果g(x)0，則判定x屬于C2， 如果g(x)=0，則可以將x任意 分到某一類或者拒絕判定。,支持向量機(jī)理論基礎(chǔ),7,行業(yè)相關(guān),線性判別函數(shù),下圖表示一個(gè)簡(jiǎn)單的線性分類器，具有d個(gè)輸入的單元，每個(gè)對(duì)應(yīng)一個(gè)輸入向量在各維上的分量值。該

4、圖類似于一個(gè)神經(jīng)元。,支持向量機(jī)理論基礎(chǔ),8,行業(yè)相關(guān),超平面,方程g(x)=0定義了一個(gè)判定面，它把歸類于C1的點(diǎn)與歸類于C2的點(diǎn)分開來。 當(dāng)g(x)是線性函數(shù)時(shí)，這個(gè)平面被稱為“超平面”(hyperplane)。 當(dāng)x1和x2都在判定面上時(shí)， 這表明w和超平面上任意向量正交， 并稱w為超平面的法向量。 注意到：x1-x2表示 超平面上的一個(gè)向量,支持向量機(jī)理論基礎(chǔ),9,行業(yè)相關(guān),總之： 線性判別函數(shù)利用一個(gè)超平面把特征空間分隔成兩個(gè)區(qū)域。 超平面的方向由法向量w確定，它的位置由閾值w0確定。 判別函數(shù)g(x)正比于x點(diǎn)到超平面的代數(shù)距離（帶正負(fù)號(hào)）。當(dāng)x點(diǎn)在超平面的正側(cè)時(shí)，g(x)0；當(dāng)x

5、點(diǎn)在超平面的負(fù)側(cè)時(shí)，g(x)0,支持向量機(jī)理論基礎(chǔ),10,行業(yè)相關(guān),多類的情況,利用線性判別函數(shù)設(shè)計(jì)多類分類器有多種方法。例如： 可以把k類問題轉(zhuǎn)化為k個(gè)兩類問題，其中第i 個(gè)問題是用線性判別函數(shù)把屬于Ci類與不屬于Ci類的點(diǎn)分開； 更復(fù)雜一點(diǎn)的方法是用k(k-1)/2個(gè)線性判別函數(shù)，把樣本分為k個(gè)類別，每個(gè)線性判別函數(shù)只對(duì)其中的兩個(gè)類別分類。,支持向量機(jī)理論基礎(chǔ),11,行業(yè)相關(guān),廣義線性判別函數(shù)：,在一維空間中，沒有任何一個(gè)線性函數(shù)能解決下述劃分問題（黑紅各代表一類數(shù)據(jù)），可見線性判別函數(shù)有一定的局限性。,支持向量機(jī)理論基礎(chǔ),12,行業(yè)相關(guān),如果建立一個(gè)二次判別函數(shù)g(x)=(x-a)(x-

6、b)，則可以很好地解決上述分類問題。 決策規(guī)則仍是：如果g(x)0，則判定x屬于C1，如果g(x)0，則判定x屬于C2，如果g(x)=0，則可以將x任意分到某一類或者拒絕判定。,廣義線性判別函數(shù),支持向量機(jī)理論基礎(chǔ),13,行業(yè)相關(guān),廣義線性判別函數(shù),支持向量機(jī)理論基礎(chǔ),14,行業(yè)相關(guān),廣義線性判別函數(shù),支持向量機(jī)理論基礎(chǔ),15,行業(yè)相關(guān),設(shè)計(jì)線性分類器,支持向量機(jī)理論基礎(chǔ),16,行業(yè)相關(guān),核函數(shù)的選擇,支持向量機(jī),17,行業(yè)相關(guān),最優(yōu)分類面,SVM 是從線性可分情況下的最優(yōu)分類面發(fā)展而來的, 基本思想可用圖2的兩維情況說明。,圖中, 方形點(diǎn)和圓形點(diǎn)代表兩類樣本, H 為分類線,H1, H2分別

7、為過各類中離分類線最近的樣本且平行于分類線的直線, 它們之間的距離叫做分類間隔(margin)。 所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開(訓(xùn)練錯(cuò)誤率為0),而且使分類間隔最大. 推廣到高維空間，最優(yōu)分類線就變?yōu)樽顑?yōu)分類面。,支持向量機(jī)理論基礎(chǔ),18,行業(yè)相關(guān),支持向量機(jī),小結(jié)： SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來。 最優(yōu)分類面就是要求分類線不但能將兩類正確分開(訓(xùn)練錯(cuò)誤率為0),且使分類間隔最大。 SVM考慮尋找一個(gè)滿足分類要求的超平面,并且使訓(xùn)練集中的點(diǎn)距離分類面盡可能的遠(yuǎn),也就是尋找一個(gè)分類面使它兩側(cè)的空白區(qū)域(margin)最大。 過兩類樣本中離分類面最近的點(diǎn)且平行于最

8、優(yōu)分類面的超平面上H1,H2的訓(xùn)練樣本就叫做支持向量。,19,行業(yè)相關(guān),SVM方法的特點(diǎn),非線性映射是SVM方法的理論基礎(chǔ),SVM利用內(nèi)積核函數(shù)代替向高維空間的非線性映射； 對(duì)特征空間劃分的最優(yōu)超平面是SVM的目標(biāo),最大化分類邊際的思想是SVM方法的核心； 支持向量是SVM的訓(xùn)練結(jié)果,在SVM分類決策中起決定作用的是支持向量。 SVM 是一種有堅(jiān)實(shí)理論基礎(chǔ)的新穎的小樣本學(xué)習(xí)方法。它基本上不涉及概率測(cè)度及大數(shù)定律等,因此不同于現(xiàn)有的統(tǒng)計(jì)方法。從本質(zhì)上看,它避開了從歸納到演繹的傳統(tǒng)過程,實(shí)現(xiàn)了高效的從訓(xùn)練樣本到預(yù)報(bào)樣本的“轉(zhuǎn)導(dǎo)推理”(transductive inference) ,大大簡(jiǎn)化了通常

9、的分類和回歸等問題。,支持向量機(jī),20,行業(yè)相關(guān),SVM 的最終決策函數(shù)只由少數(shù)的支持向量所確定,計(jì)算的復(fù)雜性取決于支持向量的數(shù)目,而不是樣本空間的維數(shù),這在某種意義上避免了“維數(shù)災(zāi)難”。 少數(shù)支持向量決定了最終結(jié)果,這不但可以幫助我們抓住關(guān)鍵樣本、“剔除”大量冗余樣本,而且注定了該方法不但算法簡(jiǎn)單,而且具有較好的“魯棒”性。這種“魯棒”性主要體現(xiàn)在: 增、刪非支持向量樣本對(duì)模型沒有影響; 支持向量樣本集具有一定的魯棒性; 有些成功的應(yīng)用中,SVM 方法對(duì)核的選取不敏感。,SVM方法的特點(diǎn),支持向量機(jī),21,行業(yè)相關(guān),模糊支持向量機(jī),2002年，LIN Chun-fu 等人提出了Fuzzy S

10、VM（FSVM）算法。針對(duì)支持向量機(jī)推廣到多類分類時(shí)存在的一些混分和漏分樣本的問題，模糊支持向量機(jī)引入模糊因子以提高分類精度； 即給每個(gè)樣本都賦一個(gè)模糊隸屬度值，這樣不同的樣本對(duì)決策函數(shù)的學(xué)習(xí)有不同的貢獻(xiàn)，以減小外部的影響。,22,行業(yè)相關(guān),我們稱訓(xùn)練集S=(x1,y1,a1),(x2,y2,a2),(xt,yt,at) (其中xjRn,yj為模糊數(shù),aj為隸屬度,0aj 1,j=1,2,t)為模糊訓(xùn)練集，稱訓(xùn)練點(diǎn)(xj,yj),j=1,2,t 為模糊訓(xùn)練點(diǎn)。 由于模糊訓(xùn)練點(diǎn)(xj,yj)中的輸出yj模糊，可導(dǎo)致最優(yōu)超平面 x + b = 0中的和b模糊，記作 , ， x + = 0稱為模糊最

11、優(yōu)超平面。,模糊支持向量機(jī),23,行業(yè)相關(guān),選擇適當(dāng)?shù)碾`屬度函數(shù)很重要。首先，隸屬度的下界要被定義，其次，挑選數(shù)據(jù)集的特性和數(shù)據(jù)的特性之間的聯(lián)系來構(gòu)造隸屬度函數(shù)。 基于距離的隸屬度函數(shù)主要考慮樣本點(diǎn)到相應(yīng)類中心的距離，以減少噪聲點(diǎn)對(duì)分類的影響。,模糊支持向量機(jī),24,行業(yè)相關(guān),根據(jù)模糊訓(xùn)練集構(gòu)造帶有模糊決策的機(jī)會(huì)約束規(guī)劃 利用基于模糊模擬的遺傳算法近似求解帶有模糊決策的機(jī)會(huì)約束規(guī)劃，得模糊最優(yōu)解( , ) 構(gòu)造模糊（分類）決策函數(shù) (x)=( x ) +,模糊支持向量機(jī),25,行業(yè)相關(guān),確定評(píng)價(jià)指標(biāo) 選擇訓(xùn)練數(shù)據(jù) 確定模糊訓(xùn)練集 訓(xùn)練模糊訓(xùn)練點(diǎn)，構(gòu)造最優(yōu)分類函數(shù)以及最優(yōu)分類函數(shù)隸屬函數(shù) 測(cè)試

12、測(cè)試結(jié)果評(píng)價(jià),模糊支持向量機(jī),26,行業(yè)相關(guān),FSVM與區(qū)域增長結(jié)合的圖像分割 作為一種全局處理方法，模糊支持向量機(jī)圖像分割方法不能完成對(duì)圖像進(jìn)行精細(xì)分割，其分割結(jié)果需要其他分割方法進(jìn)一步處理。一種結(jié)合模糊支持向量機(jī)和區(qū)域生長的交互式分割方法，不僅可有效剔除與感興趣區(qū)域特征類似的非目標(biāo)區(qū)域，而且把為FSVM選擇訓(xùn)練樣本和為區(qū)域生長選擇種子點(diǎn)兩個(gè)步驟合二為一，從而提高了圖像分割質(zhì)量和交互式分割方法的自動(dòng)分割能力。,模糊支持向量機(jī),27,行業(yè)相關(guān),FSVM與小波分析在人臉識(shí)別中的結(jié)合 由于小波能量特征具有表現(xiàn)表情紋路的能力，與人臉表情識(shí)別的要求正好相符，把小波能量特征加入到原始圖像中，用Fishe

13、r線性判別法（FLD）進(jìn)行特征提取，然后采用FSVM進(jìn)行識(shí)別。它不僅能獲得高的表情識(shí)別率，而且過程簡(jiǎn)單，易于實(shí)現(xiàn)。,模糊支持向量機(jī),28,行業(yè)相關(guān),FSVM與主成份分析結(jié)合的圖像多目標(biāo)分割 邊界復(fù)雜且不規(guī)則圖像的分割，對(duì)傳統(tǒng)的分割算法提出嚴(yán)峻的挑戰(zhàn)。主成份分析(PCA)可達(dá)到降維和消除冗余信息的目的，使模糊支持向量機(jī)準(zhǔn)備的樣本空間更為緊湊、合理。便于對(duì)圖像進(jìn)行多目標(biāo)分割，成功提取不規(guī)則邊界。理論和實(shí)驗(yàn)表明，基于PCA和FSVM相結(jié)合的分割性能優(yōu)于僅采用FSVM的分割性能 。,模糊支持向量機(jī),29,行業(yè)相關(guān),FSVM與K均值結(jié)合的圖像分類 遙感圖像分類方法通常采用監(jiān)督算法，它需要人工選取訓(xùn)練樣本

14、，較繁瑣；而非監(jiān)督算法的分類精度不高。針對(duì)這些缺陷，可以使K均值與模糊支持向量機(jī)結(jié)合來對(duì)遙感圖像全自動(dòng)分類。首先使用K均值聚類算法對(duì)樣本進(jìn)行初始聚類，根據(jù)每類中樣本數(shù)及其稀疏程度選取一些點(diǎn)作為標(biāo)記的學(xué)習(xí)樣本訓(xùn)練FSVM分類器，然后用FSVM對(duì)原始數(shù)據(jù)重新分類。,模糊支持向量機(jī),30,行業(yè)相關(guān),圖像復(fù)原（程序image_svm） SVM用于線性分類 基于matlab的SVM模式分類（程序演示） 模糊支持向量機(jī)用于冠心病診斷研究,應(yīng)用研究,31,行業(yè)相關(guān),SVM用于圖像復(fù)原,應(yīng)用研究,32,行業(yè)相關(guān),SVM用于線性分類,應(yīng)用研究,加載數(shù)據(jù),33,行業(yè)相關(guān),SVM用于線性分類,應(yīng)用研究,分類結(jié)果,3

15、4,行業(yè)相關(guān),基于matlab的SVM模式分類,應(yīng)用研究,數(shù)據(jù)分類仿真實(shí)驗(yàn)?zāi)K界面,35,行業(yè)相關(guān),基于matlab的SVM模式分類,應(yīng)用研究,創(chuàng)建數(shù)據(jù)模塊,36,行業(yè)相關(guān),基于matlab的SVM模式分類,應(yīng)用研究,數(shù)據(jù)分類實(shí)驗(yàn),37,行業(yè)相關(guān),基于matlab的SVM模式分類,應(yīng)用研究,線性核函數(shù)下的訓(xùn)練結(jié)果,38,行業(yè)相關(guān),基于matlab的SVM模式分類,應(yīng)用研究,rbf-1核函數(shù)下的訓(xùn)練結(jié)果,39,行業(yè)相關(guān),基于matlab的SVM模式分類,應(yīng)用研究,rbf-8核函數(shù)的訓(xùn)練結(jié)果,40,行業(yè)相關(guān),基于matlab的SVM模式分類,應(yīng)用研究,rbf-36核函數(shù)下的訓(xùn)練結(jié)果,41,行業(yè)相關(guān)

16、,基于matlab的SVM模式分類,應(yīng)用研究,由實(shí)驗(yàn)結(jié)果可以看出（1）：選取不同的核函數(shù)，分類的效果和訓(xùn)練時(shí)間會(huì)有所不同。比如，RBF-8的訓(xùn)練時(shí)間比較長，而RBF-1的支持向量個(gè)數(shù)不同于其它，可見還是根據(jù)實(shí)際情況選取合適的核函數(shù)及其參數(shù)才能進(jìn)行最佳的分類。 由實(shí)驗(yàn)結(jié)果可以看出（2）：隨著訓(xùn)練數(shù)據(jù)個(gè)數(shù)的增加，支持向量的個(gè)數(shù)和訓(xùn)練時(shí)間也隨之增多。而且支持向量只是總訓(xùn)練樣本種的很少一部分。要使支持向量機(jī)標(biāo)準(zhǔn)算法達(dá)到最佳效果，應(yīng)該選取合適的訓(xùn)練個(gè)數(shù)，使得分類的訓(xùn)練時(shí)間達(dá)到最佳效果，并提高分類的正確率。,42,行業(yè)相關(guān),冠心病診斷實(shí)例,下面，我們將應(yīng)用模糊支持向量機(jī)的理論于冠心病的鑒別診斷。我們收集了34名患者的資料，以24名患者的資料作為訓(xùn)練樣本，其中一半為正常人，表示為 =1，另一半為冠心病患者，表示為 = -1，數(shù)據(jù)見表1，其中 舒張期血壓， 表示血漿膽固醇含量，且 和 為三角形模糊數(shù)。,應(yīng)用研究,43,行業(yè)相關(guān),表1：冠心病人和正常人舒張期血壓和血漿膽固醇含量數(shù)據(jù),應(yīng)