聚類分析和支持向量機(jī)基本理論

聚類分析和支持向量機(jī)基本理論苜組奴特征映射網(wǎng)絡(luò)(Self-OrganizingfeatureMap)也：稱Kuhuncn網(wǎng)銘,是山荷池學(xué)肴畑曲KuhunenJ;19S1年提出的.該網(wǎng)路是一牛山全璉接的神經(jīng)元陣列組戍的無(wú)教師-口紐織、白學(xué)習(xí)網(wǎng)塔-Kuhunun戌対?坯于空何中不卜:垃域的神經(jīng)7L仃著不同啊分I】，當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)搖受外界輸入模式時(shí)，將會(huì)分対不同的8應(yīng)區(qū)域.抖區(qū)堿柑怖入蟆式具仃不同的麗應(yīng)竹性-在SOM網(wǎng)第中?競(jìng)爭(zhēng)層中的神經(jīng)冗會(huì)嘗試訕別輸人空何鄰近誼神經(jīng)兀洞部處①就是說(shuō).SQM神經(jīng)網(wǎng)谿既,JLJ.學(xué)習(xí)訓(xùn)練故聊輸入向鼠的療布巧征.Li'J以學(xué)習(xí)訓(xùn)隊(duì)教據(jù)輸入向雖的拓?fù)涞跇?gòu)口與SOM拓?fù)渑判蛴嘘P(guān)的重要特點(diǎn)是毎個(gè)神經(jīng)元|」其鄰近神經(jīng)兀12是乜是相關(guān)聯(lián)的°在祕(mì)值更新過(guò)程中.不僅茯勝神經(jīng)兀笳杈怔向屋得到更fh其鄰近神經(jīng)兀的杈也向屋吃損贈(zèng)題傘“近鄰國(guó)丁更新.這樣在幵蛤時(shí)移動(dòng)屋恨大.杖值叩呈大致H按他們的擢終住置來(lái)排序.誠(chéng)廠?只移動(dòng)單個(gè)楓值向量｛啟調(diào)匚這樣就匝戍了1種巧珠的分類法“權(quán).恒向凰按惋這樣一種方式變?nèi)素晷?即它們?cè)诠矀阍u(píng)性網(wǎng)塔上代表若輸入向量.如果網(wǎng)搐的冥個(gè)位置仃變化，那久迢種喪化盯溺響到此神規(guī)兀的近瓠但是離該神經(jīng)兀越述?這種騒響越小-囲此.在競(jìng)爭(zhēng)層個(gè)神經(jīng)兀位置涓變fl勺過(guò)稅中.毎個(gè)區(qū)域代表一類輸A|hJ量=3.1.1.1SOM神經(jīng)網(wǎng)增路構(gòu)典型的泣神經(jīng)網(wǎng)塔站枚如圖二1所示.IJ輸入層$1競(jìng)爭(zhēng)層｛吃祈：映肘層)組成-輸入層神經(jīng)元牛數(shù)対小競(jìng)爭(zhēng)層山瀘b個(gè)神經(jīng)元組成的二雉平麗陣列.輸入層S競(jìng)爭(zhēng)層外神經(jīng)兀上何實(shí)現(xiàn)全鍛援-訊｝M神經(jīng)網(wǎng)曙的一個(gè)典型竹顯就是M段在一紙戎者二堆的處理瑯兀陣列二比戍輸入信號(hào)的時(shí)征山拓?fù)浞植?因此SOM網(wǎng)路具仃肚欣輸入信號(hào)模式持征的能力。SOM網(wǎng)絡(luò)一般只包含有一維陣列和二維陣列,但也可以推廣到多維處理單元陣列中去。SOM模型自以卞四部分組成；處理單元陣列。用于接受事件輸入，并形成對(duì)這些伯號(hào)的“判別函數(shù)”。比較選擇機(jī)制-用于比較“判別憾數(shù)"，井選擇一個(gè)具有晟大兇數(shù)輸出值的處理單元。局部互連機(jī)制。用于同時(shí)激勵(lì)被選抒的處理單元及其鄰近的處理單元。門(mén)適應(yīng)過(guò)程。用于修正彼激勵(lì)的處理單尤的參數(shù)，以増加其対應(yīng)于特定輸入的“判別函數(shù)”的輸出值。圖3-1二維陣列SOM神經(jīng)網(wǎng)絡(luò)模型Fig.3-1Modeloftwo-dimensional^LiaySOMneuralnetwork3.I.1.2SOM神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法Kohonenfl組織特征映射算法能夠H動(dòng)找岀愉入數(shù)據(jù)Z間的類似度，將相似的輸入在網(wǎng)絡(luò)上就近配置。其學(xué)習(xí)算法步驟歸納如卞1?網(wǎng)絡(luò)初給化用隨機(jī)數(shù)設(shè)定輸入層和映射層之間權(quán)值的初始值。若設(shè)輸出神經(jīng)元j的44鄰接神經(jīng)元”fl-J集合為?則Sg示時(shí)刻的神經(jīng)元j的”鄰接神經(jīng)7U”的集合,丿表示時(shí)刻/的“鄰接神經(jīng)元”的集合.區(qū)域躋〃隨著時(shí)間的增加而不斷縮小。輸入向呈的輸入把輸入向呈X=(X］搭2,…,Xm)「輸入給輸入層。計(jì)算映射層的權(quán)值向量和輸入向雖的距離在映射層，計(jì)算*神經(jīng)元的權(quán)值向量和輸入向雖的歐式趴離。映射層的第/個(gè)神經(jīng)元和輸入向量的距離.如式1所示。(3-1)(3-1)式中?憐為輸入層的第，個(gè)神經(jīng)元和映射層的第/個(gè)神經(jīng)元Z間的鏈接杈值。通過(guò)計(jì)算得到一個(gè)具有最小距離的神經(jīng)元，將其稱為獲勝神經(jīng)元，記為/,即確定某個(gè)輸出單元厶是的對(duì)于任意j都佇乙=mimQn并給出其鄰接神經(jīng)元集/合。4一權(quán)值的學(xué)習(xí)按式3?2修正輸出神經(jīng)元/及其“鄰接神經(jīng)元”的權(quán)值。3“=憐(/十1)3“=憐(/十1)一 ⑺一“2"))<3-2>式中.。為一個(gè)大于o小于1的常數(shù).隨看時(shí)何的變化逐漸卜?降到0。呦#或W20?彳一血;5■計(jì)算輸5■計(jì)算輸HIo上約=/gin|W—昭|)<3-3>式中，f(*>一股為07窗數(shù)或者其他非線性窗數(shù)。6一是否達(dá)到預(yù)先設(shè)定的要求，如果達(dá)到要求則算法結(jié)束.否則返回步驟2,進(jìn)入卞一輪學(xué)習(xí)。SOM網(wǎng)絡(luò)的結(jié)構(gòu)和映射算法研究表明，腦皮層的殆息具有M個(gè)明顯的特點(diǎn):其一，折撲映射結(jié)構(gòu)不是通過(guò)神經(jīng)兀的運(yùn)動(dòng)重新組織實(shí)現(xiàn)的?Ifu是由備個(gè)神經(jīng)兀在不同的興奮狀態(tài)下構(gòu)成一個(gè)整體，所形成的一個(gè)拓?fù)浣Y(jié)構(gòu);其二,這種拓?fù)溆持饨Y(jié)構(gòu)的形成具有n組織的特征。3.1.1.3S0M神經(jīng)網(wǎng)絡(luò)的優(yōu)缺點(diǎn)SOM神經(jīng)網(wǎng)絡(luò)是一個(gè)無(wú)監(jiān)怦的學(xué)習(xí)模式.它能夠?qū)?shù)據(jù)從高維空何映射到低維空f(shuō)nJ上，通過(guò)降維尋找到多維數(shù)據(jù)的.L耍統(tǒng)計(jì)特征，并根據(jù)數(shù)抑:何的相似性口動(dòng)將數(shù)據(jù)分為不同的類別,從而達(dá)到增強(qiáng)顧客有用怕息、降低噪聲的目的卩叭rI組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)仍存在一些問(wèn)題。第一個(gè)問(wèn)題就是學(xué)習(xí)速度的選抒便其不得不在學(xué)習(xí)速度和最終儀值向呈的穩(wěn)定性z何進(jìn)行折中：第二個(gè)問(wèn)題是有時(shí)一個(gè)神經(jīng)元的初始權(quán)值向雖里愉入向雖:太遠(yuǎn)以至于它從未在競(jìng)爭(zhēng)中獲勝"因血從未得到學(xué)習(xí)，這將形成毫無(wú)用處的死神經(jīng)元。另外，SOM神經(jīng)網(wǎng)絡(luò)不能提供粘確的聚類怙息,這也是SOM最為重要的缺陷,訓(xùn)練結(jié)束后，網(wǎng)絡(luò)中的權(quán)值何接記錄了輸入模式的聚類倍息，但具佇很夫的模糊性，在進(jìn)行聚類時(shí).佇些模式會(huì)與一些灰色的杈值節(jié)點(diǎn)相匹配，這時(shí)區(qū)分它的所屈聚類將是個(gè)很夫的困難。正因?yàn)槿绱撕芏嘌芯咳魧OM與其他的一些算怯相結(jié)合.如PS。"、K-MEANS網(wǎng)。3.1.2K-MEANS聚類算法K-MEANS算法是JB.MacQueen于1967年提出的,是一種極有影響的聚類算法技術(shù).K?means算法是很典型的基于葩離的聚類算怯，采用距離作為相似性的評(píng)價(jià)指標(biāo)，即認(rèn)為兩個(gè)對(duì)象的距離越近■其相似度就越大。該算法認(rèn)為簇是由距離靠近的對(duì)線組成的,因此把得到緊湊且獨(dú)立的簇作為最終目標(biāo)。常采用誤差平方和準(zhǔn)則函數(shù)作為聚類準(zhǔn)則窗數(shù)，誤差平方和淮則窗數(shù)定義為3工"廠"，)’ <3-4)K個(gè)初始類聚類中心點(diǎn)的選取對(duì)聚類結(jié)果具仃校大的影響，因?yàn)樵谠撍惴ǖ谝徊街惺请S機(jī)的選取任意k個(gè)対彖作為初始聚類的中心.初始地代表一個(gè)簇。該算法在毎次迭代中對(duì)數(shù)Wi集中剩余的每個(gè)対彖"幄據(jù)其與備個(gè)簇中心的距離將毎個(gè)對(duì)猱重新賦給加近的簇。當(dāng)考察完所仔數(shù)據(jù)對(duì)猱后.一次迭代運(yùn)算完成，新的聚類中心被計(jì)算出來(lái)。如果在一次迭代前后,J的值沒(méi)有發(fā)生變化,說(shuō)明算法已經(jīng)收欽aK-MEANS由于理論簡(jiǎn)單易懂、計(jì)算速度快，而披廣泛應(yīng)用聚類分析中。但它存在不少缺陷：1K均值算法屮聚類個(gè)數(shù)K需婆預(yù)先給定.而在實(shí)際上，很多時(shí)候我們并不知道對(duì)彖的類別數(shù)目.K-MEANS算法首先根據(jù)初始聚類中心來(lái)確定一個(gè)初始劃分，級(jí)后對(duì)初始劃分進(jìn)行優(yōu)化，這個(gè)初始聚類中心的選擇對(duì)聚類結(jié)果有較大的購(gòu)響X-MEANS算迖需要不斷地?zé)鯓幽具M(jìn)tj分類調(diào)整，不斯地計(jì)算調(diào)整后的新的聚類中心,因此數(shù)據(jù)fit非常大時(shí).算法的時(shí)間開(kāi)銷非常大。3.1.3基于SOM和K-MEANS聚類組合算法木文針對(duì)SOM算法和K-MEANS算法各廣I的優(yōu)缺點(diǎn)，提出一種SOM與K-MEANS相結(jié)合的方法進(jìn)行聚類，収長(zhǎng)補(bǔ)短，大大提高了聚類算法的效率。SOM網(wǎng)絡(luò)可以在無(wú)監(jiān)幣的情況卜進(jìn)行聚類，但算法收欽時(shí)何長(zhǎng)，當(dāng)網(wǎng)恪不收斂是只能得到和略的聚類結(jié)果，1伯K-MEANS算法不同的初始聚類中心會(huì)產(chǎn)生不同的聚類結(jié)果.但在已知聚類中心和聚栄數(shù)II時(shí)有較髙的梢度。因此首先用SOM進(jìn)行初聚類,得到舉類中心和聚類個(gè)數(shù),再便用K-MEANS算法對(duì)已經(jīng)初步分類的樣木進(jìn)彳亍二決聚類，便聚類借息細(xì)化。該聚類組合算法的過(guò)程如卞：第一階段SOM網(wǎng)絡(luò)初聚類,得到聚類中心和聚類個(gè)數(shù)。該階段的算法流程已在2J.L2章節(jié)中給出。第二階段以SO吋初聚類的結(jié)果作為K-MEANS的初始愉入，進(jìn)行迭代：L保存SOM初聚類的K個(gè)輸出節(jié)點(diǎn)的權(quán)值，并以此作為K-MEANS聚類的初始聚類中心N=｛Z",爲(wèi)(/)Zx(h｝，F(xiàn)=J」，…,兒｝為樣本經(jīng)SOM衆(zhòng)類后的愉岀，￡=[*#?｝表示第j個(gè)聚類中心的樣不集合，設(shè)定迭代停止閥值宀2.樣本劃分。對(duì)所百的輸入樣木向足，Y心八如果K-乙(刑v儀-Z"||J=1,2 Z,2/則?代表第i類的聚類集合。3-計(jì)算新的聚類中心：用在第二步中重新劃分的聚類集合，重新計(jì)算每類的中心位置，使類別中的每個(gè)樣木到聚類中心的距離之和0雖小。D產(chǎn)刃匕-勺/+卯,/=12-" (3?乙(/+1)為第/+1次迭代后聚類i的中心.該只可以通過(guò)卜式求得：乙(/41)=￡莎 <3-6)4一檢査收斂。如果滿足||乙(/+1)-乙“II"，則算達(dá)停止.否則轉(zhuǎn)到步驟2繼續(xù)迭代。該算法流程如圖3?2所示:〈［開(kāi)始?樣本輸入神經(jīng)網(wǎng)紹訓(xùn)球輸出初聚類輸入K-MEANS聚類器二次聚類.求赭>03-2SOM和K-MEANS組令聚類耳法浣棧圖Fig.3-2FlowchartofSOM^ndK-MEANS-algorithm3.2支持向量機(jī)的統(tǒng)計(jì)學(xué)習(xí)理論基礎(chǔ)統(tǒng)it學(xué)習(xí)理論(StatisticalLearningTheory,SL1')是Vapnik.等人在20世紀(jì)70年代末提出的?并與90邙代逐漸完善。而同時(shí)像神經(jīng)網(wǎng)絡(luò)等其他學(xué)習(xí)方法缺乏，理論上的實(shí)質(zhì)性進(jìn)展，使得統(tǒng)計(jì)學(xué)習(xí)理論受到越來(lái)與廠泛的關(guān)注。統(tǒng)汁學(xué)習(xí)理論的主要內(nèi)容包括以下四方面:.經(jīng)驗(yàn)風(fēng)険城小化原則卜統(tǒng)計(jì)學(xué)習(xí)一致性的條件?統(tǒng)計(jì)學(xué)習(xí)方法推廣性的界n勺結(jié)論結(jié)構(gòu)風(fēng)険址小化歸納原則4?實(shí)現(xiàn)新的學(xué)習(xí)準(zhǔn)則的算法其中故有指導(dǎo)性的理論成果是推廣性的界,與此相關(guān)的一個(gè)核心概念是*C維。統(tǒng)計(jì)學(xué)習(xí)理論為建立何限樣木學(xué)習(xí)問(wèn)題提供了一個(gè)統(tǒng)一的框架，在此基礎(chǔ)上發(fā)展出一種新的機(jī)器學(xué)習(xí)方法一一支持向量機(jī)。與傳統(tǒng)的概率論和統(tǒng)計(jì)理論相比，統(tǒng)計(jì)學(xué)習(xí)理論基木不涉及概率測(cè)度的定義及大數(shù)定律。它避免了人匸神經(jīng)網(wǎng)絡(luò)等方法的網(wǎng)格結(jié)構(gòu)選擇、過(guò)學(xué)習(xí)和欠學(xué)習(xí)以及同部極小等問(wèn)題。3.2.1統(tǒng)計(jì)學(xué)習(xí)一致性的條件所謂學(xué)習(xí)的一致性就是指當(dāng)訓(xùn)練樣木數(shù)11趨F無(wú)窮大時(shí)，經(jīng)驗(yàn)風(fēng)險(xiǎn)的」及優(yōu)值能夠收斂到期與風(fēng)險(xiǎn)的雖優(yōu)值。只侑滿足一致性條件才能保證在經(jīng)驗(yàn)風(fēng)険雖小化原則卜?得到的垠優(yōu)結(jié)果，與樣木無(wú)窮大時(shí)星小化期璽風(fēng)険聽(tīng)得到的垠優(yōu)結(jié)果一致。記J\X.w）為n個(gè)獨(dú)立同分布樣本（占,片）,（.口，丁2），…°（五,丿「）卞在函數(shù)中便經(jīng)驗(yàn)風(fēng)險(xiǎn)去城小的預(yù)測(cè)煥數(shù).由它帯來(lái)的損矢函數(shù)為￡（F,/（*,“'”））?相向的M小經(jīng)驗(yàn)風(fēng)險(xiǎn)值為心』曰〃）o記祇訃）為在%必/（?！懊{）F的期璽風(fēng)險(xiǎn)用“）=jK.）',/（.1；u^\iiF{x,y} （3-7）所収得的真是風(fēng)險(xiǎn)。半式（3?7）成立時(shí)這個(gè)經(jīng)驗(yàn)風(fēng)険雖小化學(xué)習(xí)過(guò)程是一致的:

彳（”|〃）…》用％）其中尺叫）=inl、&明為實(shí)際可能的敲小風(fēng)險(xiǎn)，及式（2-7F確界或垠小值。在統(tǒng)計(jì)學(xué)習(xí)理論中,有如下關(guān)鍵定理:對(duì)于有界的損失函數(shù)?經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化學(xué)習(xí)一致的充分必要條件是經(jīng)驗(yàn)風(fēng)險(xiǎn)在如卞意:義上一致地收斂于期璽風(fēng)險(xiǎn)：lim R\kf）—R陽(yáng)））>g]=0,Dw>0 （3-8）2**其中p表示概年?化a和用汕分別表示在訓(xùn)練樣木經(jīng)驗(yàn)風(fēng)險(xiǎn)和真丈風(fēng)險(xiǎn)。在機(jī)器學(xué)習(xí)屮，經(jīng)驗(yàn)風(fēng)險(xiǎn)和直實(shí)風(fēng)險(xiǎn)椰是預(yù)測(cè)函數(shù)的慚數(shù)（泛嵋）.統(tǒng)訟學(xué)習(xí)理論通過(guò)求使經(jīng)駿風(fēng)險(xiǎn)蝕小化的函數(shù)來(lái)逼近能使真是風(fēng)險(xiǎn)域小化的函數(shù)。3.2.2VC維理論與推廣性的界為了研究學(xué)習(xí)過(guò)程一致收斂的速度和推廣性，統(tǒng)訃學(xué)習(xí)理論定義了一系列有關(guān)函數(shù)集學(xué)習(xí)性能的抬標(biāo)■其中址巫的是VC纟隹（VapnikChcrvoncnkisDimcnsionjo在VC維的基礎(chǔ)上可以得到構(gòu)造性的與分布無(wú)關(guān)的界，即用函數(shù)集的經(jīng)驗(yàn)風(fēng)險(xiǎn).WC維以及樣本數(shù)來(lái)表示實(shí)際風(fēng)險(xiǎn)的上界，控制學(xué)習(xí)機(jī)器的推廣能力。模式識(shí)別中VC維的直觀定義是：對(duì)一個(gè)播示僧?dāng)?shù)集，如果存在h個(gè)樣本能夠破怖數(shù)集中的函數(shù)按所有可能的2*1種形式分開(kāi).則稱函數(shù)集能夠把h個(gè)樣本盯散，函數(shù)集的VC維就是它能打散的最大樣本數(shù)口h.若對(duì)任意數(shù)目的樣本都有函數(shù)能將它們打散，則慚數(shù)集的VC維是無(wú)窮大。何界丈旳數(shù)的VC維可以通過(guò)用一定的閥值將它轉(zhuǎn)化成指于函數(shù)來(lái)定義。VC維是度址函數(shù)集容呈的值.反映了函數(shù)集的學(xué)習(xí)能力，VC維越大學(xué)習(xí)機(jī)器越巫朵（容雖:越大）?？谇斑€沒(méi)仃通用的關(guān)于任意函數(shù)集VC維計(jì)算的理論，僅知道一些特殊烘數(shù)的VC維。比如在n維實(shí)數(shù)空何中線性分類器和線性實(shí)函數(shù)的VC維是卄1?Ifu/（.i；/f）=sin（j.n的VC維是無(wú)窮大.一些比較巫雜的學(xué)習(xí)機(jī)器，如神經(jīng)網(wǎng)絡(luò)，其VC維不僅與曲數(shù)集有關(guān)還受學(xué)習(xí)算法等的影響.更加増加了確定其VC維的難度.VapnikChcrvoncnkis早在1971年就指出經(jīng)驗(yàn)風(fēng)險(xiǎn)的雖小值未必收斂于期與風(fēng)險(xiǎn)的最小值（呵。推廣性的界給出了統(tǒng)計(jì)學(xué)習(xí)理論中關(guān)于經(jīng)驗(yàn)風(fēng)險(xiǎn)和實(shí)際鳳險(xiǎn)Z何的關(guān)系：對(duì)于指示函數(shù)集中的聽(tīng)有甫數(shù)（包括便經(jīng)驗(yàn)風(fēng)險(xiǎn)棗小的函數(shù)），經(jīng)驗(yàn)風(fēng)險(xiǎn)J閒和實(shí)際風(fēng)險(xiǎn)用汕Z何至少W!-/;（（＞＜/;＜］）的概率滿足如卜關(guān)系：W"、飛處牛3凹 （邛）其中力是兇數(shù)集的YC維，/是樣本數(shù)°這一結(jié)論說(shuō)明了.學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)有兩部分組成；一是經(jīng)驗(yàn)風(fēng)險(xiǎn)〈訓(xùn)練樣木誤差，上式右邊笫一部分），収決于函數(shù)集中能夠取得攝小經(jīng)驗(yàn)風(fēng)險(xiǎn)的函數(shù);另一部分稱作置苗范圍＜也稱VC置仿，上式右邊第二部分》，它和學(xué)習(xí)機(jī)器的VC維和訓(xùn)練樣木數(shù)付關(guān)，収決于窗數(shù)集的VC維。也就是說(shuō),在有限訓(xùn)練樣木下,學(xué)習(xí)機(jī)器的VC維越高（復(fù)雜性越裔）置佇范雨越大，導(dǎo)致真，實(shí)風(fēng)險(xiǎn)與經(jīng)驗(yàn)鳳險(xiǎn)之間的差別越大。這就是人們?cè)谠缙诘纳窠?jīng)網(wǎng)絡(luò)研究中較小的訓(xùn)練誤差并不能達(dá)到很好的預(yù)測(cè)效采的原因。某些情況卜?，訓(xùn)練誤差過(guò)小逍成過(guò)學(xué)習(xí)反|巾會(huì)導(dǎo)致推廣能力卜降。機(jī)器學(xué)習(xí)不但要便經(jīng)驗(yàn)風(fēng)險(xiǎn)最小,還要使VC維盡量小以縮小置信范圍,取得較小的實(shí)際風(fēng)險(xiǎn)，即對(duì)未來(lái)樣本有較好的推廣性。3.2.3結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則在倚限樣本條件卜是不合理的，為址小化實(shí)際風(fēng)險(xiǎn)VapnikChcrvoncnkis于1974年提出了結(jié)構(gòu)風(fēng)險(xiǎn)垠小化號(hào)則，同時(shí)星小化經(jīng)驗(yàn)風(fēng)險(xiǎn)和置仃范幗?在獲得學(xué)習(xí)模型經(jīng)驗(yàn)鳳險(xiǎn)Jti小的同時(shí)，取彳耳學(xué)習(xí)模型盡可能大的推廣能力.即置信鳳險(xiǎn)較小。在傳統(tǒng)方法中，選擇學(xué)習(xí)模型和第法的過(guò)程就是調(diào)整置依范用的過(guò)程,若模型比較適合現(xiàn)命的訓(xùn)練樣本（即M的值合理），就可以収得比較好的預(yù)測(cè)結(jié)果。但岡為缺乏理論抬導(dǎo)，這種選抒只能依載先驗(yàn)如識(shí)和經(jīng)驗(yàn)，邀成了神經(jīng)網(wǎng)絡(luò)等方法對(duì)便用考技巧的過(guò)分依賴a統(tǒng)計(jì)學(xué)習(xí)理論來(lái)用一種新的策咯來(lái)同時(shí)星小化經(jīng)驗(yàn)風(fēng)驗(yàn)和迓佇范憫，具體思剋是：設(shè)恤數(shù)_/U,初的集合S具符一定的結(jié)構(gòu),這一結(jié)構(gòu)是由一系列嵌套的慚數(shù)子集為={/（"訓(xùn)g憶}組成的，它們滿足：①uu“.u乞u…相應(yīng)的函數(shù)集的VC維満足：<...這樣在同一個(gè)子集中置殆區(qū)何相同，在每個(gè)子集中尋找星小經(jīng)驗(yàn)風(fēng)險(xiǎn).選擇雖小化經(jīng)驗(yàn)風(fēng)險(xiǎn)與置信區(qū)何Z和瑕小的子集，就可以達(dá)到期里風(fēng)險(xiǎn)皿小.這個(gè)子集中使經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的函數(shù)就是所求的垠優(yōu)函數(shù)。如圖3-3所示.SRM原則實(shí)現(xiàn)了在給定數(shù)踞逼近的梢度和過(guò)近函數(shù)的更雜性Z何的一種折屮=齟著結(jié)構(gòu)元索序號(hào)的增加,經(jīng)鑒鳳險(xiǎn)將減小，置佇范幗將增加。綜合考慮經(jīng)驗(yàn)風(fēng)險(xiǎn)和置佶范隅可収的域小的風(fēng)險(xiǎn)邊界。3.2.4支持向量機(jī)回歸算法支持向呈算法建立在統(tǒng)計(jì)學(xué)習(xí)理論的VC維和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則基礎(chǔ)上。它是專門(mén)針對(duì)有限樣本情況的.其M標(biāo)是得到現(xiàn)仔們息K的城優(yōu)解而不是當(dāng)樣本數(shù)目趨于無(wú)窮大時(shí)的最優(yōu)解。支持向量機(jī)有較好的推廣能力，同時(shí)巧妙解決了運(yùn)算成術(shù)隨著維數(shù)的增加而大幡提髙的問(wèn)題，即維數(shù)滅難問(wèn)題，因?yàn)槠渌惴◤?fù)雜度與樣木維數(shù)無(wú)關(guān)。支持向量機(jī)算法將域優(yōu)怖數(shù)的求解雖終轉(zhuǎn)化為一個(gè)對(duì)偶尋優(yōu)問(wèn)迦，從理論上說(shuō).得到的將是全禺垠優(yōu)解?解決了神經(jīng)網(wǎng)路中無(wú)法避免的局部極值問(wèn)題。卞面以線性可分模式為例進(jìn)行錄優(yōu)超平血的推導(dǎo).考慮訓(xùn)練樣木*；飛疋，其屮矚是訓(xùn)練集的第i個(gè)樣木，X￡（-!，+!），代表兩分類問(wèn)題的標(biāo)簽。設(shè)用于分離的超平而是”兒.「十〃=0 （3-10）H中w是超平Kii的法向雖:，也是=稱可調(diào)的儀值向雖:，h超平而的常奴項(xiàng)。用圖頭4的二維悄況進(jìn)行說(shuō)明。圖中實(shí)心點(diǎn)和空心點(diǎn)代表兩類樣本.H為分類線，H］和H?分別為備類中離分婁線域近的樣木且平行于分類線的直線，它們之間的距離叫做分類何隔。所謂堆優(yōu)分類線不但能將丙類正確分開(kāi)（訓(xùn)練錯(cuò)誤率為0）,而且便分類間隔彊大。Fig.3-4Theoptimizingcategoriz.inigsurface稱滿足卜?而備件的特殊數(shù)州點(diǎn)為(巧,”)為支持向址；w-.1；+b=-1,J7=-1w-.號(hào)+力=1,另.=4-1支持向量是那些最靠近決策而的數(shù)掘點(diǎn).這樣的數(shù)掘點(diǎn)是址難分類的.因此它們和址優(yōu)決策而的位置直接相關(guān).F面的目的就是尋找最優(yōu)的分類超平面.即尋找最優(yōu)的iv和b,設(shè)最優(yōu)的也和b為叫和2,則最優(yōu)的分類超平面為:”d力=0 <3-11)求得上面的最優(yōu)分類超平lili，戯可以用其對(duì)測(cè)試集進(jìn)疔預(yù)測(cè)。式(3-11)得到的堆倚分類超平而即為分類的決策丙數(shù)。設(shè)測(cè)試集合為｛皿,即測(cè)試集臺(tái)中共有M個(gè)樣木，對(duì)毎個(gè)樣機(jī)便用錄優(yōu)分類超平而進(jìn)行預(yù)測(cè)的標(biāo)簽為：sgn(h;?厶十勿 (3-12)SVM的主要思想是建立這樣一個(gè)超平面作為決策囪面，使得正例和反例之間的隔離邊緣被城大化。也就是說(shuō)玻優(yōu)分穽超平面等價(jià)于分類間隔城大。設(shè)斯蟲(chóng)分別為Hi,設(shè)斯蟲(chóng)分別為Hi,出上的一點(diǎn)己知?jiǎng)tHi,腸何隔為如命估-巧）,又護(hù)爲(wèi)+b=\W 7所以分類間隔〃‘"『丁蟲(chóng)一兀2同「使分類間隔址大等價(jià)于同呆小，為

了避免做幵方運(yùn)算進(jìn)一步將其等價(jià)為求上廠報(bào)小，加終會(huì)以￥-為H標(biāo)函數(shù)進(jìn)行?二次規(guī)劃求解。對(duì)于任意的（.0刀）何：即■力）21(3-13)Jw-.!>+b<-1,即■力）21(3-13)Hr-.r;.+Zz>l,>；=+1閔此尋求錄優(yōu)分類超平而即正反例何隔晝大化問(wèn)題最終可以歸結(jié)為以卜?二次規(guī)劃問(wèn)題,記為原問(wèn)題：sf.丿：(”??》;十〃)21, V/=12,…，/V為了方便將城優(yōu)分先Ifll在非線性分類中推r?并簡(jiǎn)化求解參數(shù)，弓I入Lagrange將原問(wèn)題轉(zhuǎn)化為對(duì)偶問(wèn)題進(jìn)行求解。首先建立如FLagrange聞數(shù):(3-14)x(3-14)AM；A/7)=-/皿一工^[J7<"易+勿一1]/-■其中〃/稱溝Lagrange乘子，對(duì)w和b分別求偏導(dǎo)并置零冇:dwJo(3-15)

dwJo(3-15)Al(3-16)Al將上述網(wǎng)式（3?15）（3-16）代入式（3-14）城終得到原問(wèn)題的対偶問(wèn)題;片 I"片(3-17)max=/(h；Az/)=為7-〒工》〃4加兒€巧(3-17)LAlf^\対偶問(wèn)題完仝是由訓(xùn)練數(shù)據(jù)來(lái)表達(dá)fl9>ifij且函數(shù)Q（a）的址人化僅依賴于輸入模式點(diǎn)積的集合{0?卩o對(duì)偶問(wèn)題的求解可以采用傳統(tǒng)的標(biāo)Hh二次熨優(yōu)化技術(shù).但傳統(tǒng)的優(yōu)化技術(shù)對(duì)于大數(shù)撫量問(wèn)趣會(huì)產(chǎn)生速度問(wèn)題?在數(shù)據(jù)規(guī)模較大時(shí)可釆用序列城小加優(yōu)化算液。対村他問(wèn)題進(jìn)行求解可以求得城優(yōu)fl{JLagrange子“門(mén)設(shè)為“;.則此時(shí)原問(wèn)題的彊優(yōu)解為:(3-18)(3?19)以上兩式中的（巧丿）為訓(xùn)練集中樣本,（『叭嚴(yán)）為訓(xùn)練集中的任意一組支持向?o這樣我們就得到了原問(wèn)題的解.錄終的分類決策函數(shù)為：Nsgn（》“；兒*;丁+化） （3-20）其中兀為測(cè)試集中的樣本.圖3-5SVM圖3-5SVM處煙非線性問(wèn)題分