（系統(tǒng)工程專業(yè)論文）基于SVM的柴油機(jī)機(jī)械故障診斷研究.pdf

基于s v m 的柴油機(jī)機(jī)械故障診斷研究 摘要 統(tǒng)計(jì)學(xué)習(xí)理論是在傳統(tǒng)統(tǒng)計(jì)學(xué)基礎(chǔ)上發(fā)展起來的一種具有堅(jiān)實(shí)理論基礎(chǔ)的 機(jī)器學(xué)習(xí)方法，自2 0 世紀(jì)9 0 年代以來，自身形成了一個較完善的理論體系統(tǒng) 計(jì)學(xué)習(xí)理論，提出了新的模式識別方法一支持向量機(jī)( s ) 。支持向量機(jī)作為 機(jī)器學(xué)習(xí)領(lǐng)域若干標(biāo)準(zhǔn)技術(shù)的集大成者，它在解決小樣本、非線性和高維的機(jī)器 學(xué)習(xí)問題中表現(xiàn)出了許多特有的優(yōu)勢。 隨著現(xiàn)代工業(yè)及科學(xué)技術(shù)的迅速發(fā)展，現(xiàn)代設(shè)備的結(jié)構(gòu)越來越復(fù)雜，功能 越來越完善，自動化程度越來越高，不僅同一設(shè)備的不同部分有互相關(guān)聯(lián)，不同 設(shè)備之間也存在著緊密的關(guān)系，設(shè)備維護(hù)和監(jiān)測診斷的難度相應(yīng)增加。更重要的 是，有些情況下人難以到達(dá)現(xiàn)場，如航空，航天，深水作業(yè)等，這些都對工程診 斷的智能化提出了迫切的要求。電子技術(shù)，尤其是計(jì)算機(jī)技術(shù)的發(fā)展，為智能診 斷提供了必要的技術(shù)基礎(chǔ)。智能診斷己成為工程診斷的一個重要的研究方向和必 然趨勢。 論文在介紹支持向量機(jī)的原理基礎(chǔ)上，分析了s v m 中核函數(shù)、核參數(shù)及懲罰 參數(shù)c 的影響，介紹了三種s v m 參數(shù)選擇方法，并討論了其優(yōu)點(diǎn)和不足：論文總結(jié) 了現(xiàn)有主要的支持向量機(jī)多類分類算法，系統(tǒng)地比較了各類算法的訓(xùn)練速度、分 類速度和推廣能力，并分析它們的不足和有待解決的問題。在此基礎(chǔ)上，研究了 多類支持向量機(jī)在柴油機(jī)多故障分類中的應(yīng)用。試驗(yàn)結(jié)果證明支持向量機(jī)具有很 強(qiáng)的分類能力。 關(guān)鍵詞：統(tǒng)計(jì)學(xué)習(xí)理論；支持向量機(jī)；故障診斷 基于s v m 的柴油機(jī)機(jī)械故障診斷研究 a b s t r a c t s t a t i s t i c sl e a m i n gt h e o r y ( s e t ) i sam a c h i n el e a r n i n gm e t h o db a s e do ns o l i d t h e o r y , w h i c hi sd e v e l o p e df r o mt r a d i t i o n a ls t a t i s t i c sa n dt u r n st ob es o p h i s t i c a t e d s y s t e mi n t o - s t a t i s t i c sl e a r n i n gt h e o r ys i n c e9 0 si n2 0c c n t u l o g s l tp r o v i d e sa n e wp a t t e mr e c o g n i z i n gm e t h o d - s u p p o nv e c t o rm a c h i n e ( s v m ) s v mi sa p r o m i s i n gd i r e c t i o ni nt h ef i e l do fm a c h i n el e a r n i n g ，w h i c hi n t e g r a t e do t h e rc r i t e r i o n t e c h n o l o g i e so fm a c h i n el e a r n i n ga n di so fu n i q u ea d v a n t a g e i ts h o w se x c e l l e n t p e r f o r m a n c ei ns i t u a t i o n sw h e r et h es a m p l es i z e sa l es m a l l t h es a m p l ed i m e n s i o n sa l l i g ha n dt h ep r o b l e m sa r en o n l i n e a r w i t ht h ef a s td e v e l o p m e n to fi n d u s t r ya n dt e c h n o l o g y , t h ec o n s t r u c to ft h e m o d e m e q u i p m e n tb e c o m em o r ea n dm o r ec o m p l e x t h e r ea l ec l o s er e l a t i o n sa m o n g d i f f e r e n t e q u i p m e n t s i tb r i n ge x i g e n tr e q u e s t t o e n g i n e e r i n gd i a g n o s i s t h e d e v e l o p m e n to fe l e c t r o nt e c h n o l o g y , e s p e c i a l l yo ft h ec o m p u t e rt e c h n o l o g y , o f f e r s e s s e n t i a lt e c h n i q u ef o u n d a t i o nt oi n t e l f i g e n td i a g n o s i s i n t e l l i g e n td i a g n o s i sb e c o m ea i m p o r t a n ta s p e c to fe n g i n e e r i n gd i a g n o s i s t h ep a p e rr e v i e w st h ep r i n c i p l e so fs v m ，a n ds t u d yt h ei n f l u e n c e so ft h ek e r n e l p a r a m e t e r sa n d e r r o rp e n a l t yp a r a m e t e ro ns v m g e n e r a l i z a t i o na b i l i t y t h e nt h ep a l e r i n t r o d u c et h r e ek i n do f m e t h o df o rs e l e c t i n gt h ep a r a m e t e r so f s v m ，a n dd i s c u s s e st h e a d v a n t a g e sa n ds h o r t c o m i n g s t h ep a p e rp r e s e n t sag e n e r a lo v e r v i e wo fe x i s t i n g r e p r e s e n t a t i v em e t h o d sf o rm u l t i - c a t e g o r ys u p p o r tm a c h i n e sa n ds y s t e m a t i c a l l y c o m p a r e st h e i rp e r f o r m a n c e s ，i n c l u d i n gt r a i n i n gs p e e d , c l a s s i f i c a t i o ns p e e d a n d g e n e r a l i z a t i o na b i l i t y t h ed i s a d v a n t a g ea n du n s o l v e dp r o b l e mo ft h e s em e t h o d sa r e a l s og i v e n a tl a s t ，t h ep a p e rs t u d i e st h ea p p l i c a t i o no fm u l t i c a t e g o r ys u p p o r t m a c h i n e si nt h ef a u l td i a g n o s i so fd i e s e le n g i n e t h er e s u l to fe x p e r i m e n ts h o w st h a t t h es v mm e t h o dh a sg o o dc l a s s i f i c a t i o na b i l i t ya n dh i 曲e f f i c i e n c yf o rm u l t i - f a u l t c l a s s i f i c a t i o ni nm e c h a n i c a ls y s t e m s k e yw o r d s ：s t a t i s t i c sl e a r n i n gt h e o r y ；s u p p o r tv e c t o rm a c h i n e ；f a u l t d i a g n o s i s 4 第一章緒論 1 1 統(tǒng)計(jì)機(jī)器學(xué)習(xí)的發(fā)展 第一章緒論 機(jī)器學(xué)習(xí)是人工智能研究的最早的也是最前沿的研究課題之一，一個不具 備學(xué)習(xí)功能的系統(tǒng)不能被認(rèn)為是有智能的系統(tǒng)。通常大家認(rèn)為，機(jī)器學(xué)習(xí)可以分 成兩種類型：基于符號的機(jī)器學(xué)習(xí)和基于連接的機(jī)器學(xué)習(xí)。前者如a q l l 、i d 3 等，近期研究比較多的是r o u g hs e t s 。后者如b p 網(wǎng)絡(luò)、h o p f i d d 網(wǎng)絡(luò)等，近期 研究較多的是統(tǒng)計(jì)學(xué)習(xí)理論和s v m 。 在1 9 9 5 年，v a p n i k 在其著作中將統(tǒng)計(jì)機(jī)器學(xué)習(xí)的研究歷史劃分成四個階段 【l 】，即：r o s e n b a l l t t 的感知機(jī)階段，學(xué)習(xí)理論的創(chuàng)立階段，神經(jīng)網(wǎng)絡(luò)階段，返回 感知機(jī)階段。 下面，我們先來回顧一下每個階段發(fā)生的重大事件： ( 1 ) 6 0 年代( r o s e n b l a t t 的感知機(jī)) 。這是學(xué)習(xí)機(jī)器的第一個模型，也標(biāo)志 著對學(xué)習(xí)過程的數(shù)學(xué)分析從此真正開始了。從概念上來看，感知機(jī)并不是一個新 的概念，在神經(jīng)生理學(xué)中已經(jīng)討論了很多年。早在4 0 年代初，神經(jīng)生物學(xué)家 m c c u l l o c h 與青年數(shù)學(xué)家p i t s 合作，從人腦信息處理觀點(diǎn)出發(fā)，采用數(shù)理模型的 方法研究了腦細(xì)胞的動作和結(jié)構(gòu)及其生物神經(jīng)元的一些基本生理特性，提出了第 一個神經(jīng)計(jì)算模型 2 1 ，即神經(jīng)元的閥值元件模型，簡稱肝模型，為計(jì)算神經(jīng)行為 的某方面提供了可能性。隨著計(jì)算機(jī)技術(shù)的發(fā)展，1 9 5 8 年，r o s e n b l a t t 做了一件 很不尋常的事情，他將這個模型描述為可以在計(jì)算機(jī)上執(zhí)行的程序，并通過簡單 的實(shí)例演示了這個模型可以推廣p 】。 ( 2 ) 6 0 一7 0 年代( 學(xué)習(xí)理論基礎(chǔ)的構(gòu)建) 。隨著感知機(jī)的廣為人知，其他 模型的學(xué)習(xí)機(jī)器又陸續(xù)產(chǎn)生了，如w i d r o w 的m a d a l i n e ，s t e i n b u c h 的學(xué)習(xí)矩陣。但 是，相對于感知機(jī)而言，這些學(xué)習(xí)機(jī)器從一開始就被看成是解決現(xiàn)實(shí)問題的工具， 而非機(jī)器學(xué)習(xí)的一個基本的模型，還有一些計(jì)算機(jī)程序，如最初用于專家系統(tǒng)的 決策樹。語音識別中的隱馬爾可夫模型，這些程序同樣沒有對一般的學(xué)習(xí)機(jī)制的 研究產(chǎn)生深遠(yuǎn)的影響。1 9 8 6 年的b p 網(wǎng)絡(luò)標(biāo)志著學(xué)習(xí)機(jī)器的又一個新紀(jì)元。在感 基于s v m 的柴油機(jī)機(jī)械故障診斷研究 知機(jī)( 1 9 6 0 ) 和b p 網(wǎng)絡(luò)( 1 9 8 6 ) 之間的這段時間里，除了發(fā)展了統(tǒng)計(jì)學(xué)習(xí)理論 外，沒有其他重要的事件。 ( 3 ) 8 0 年代( 神經(jīng)網(wǎng)絡(luò)) 。1 9 8 2 年，美國加州工學(xué)院h o p f i e l d 提出h o p f i e l d 神經(jīng)網(wǎng)絡(luò)模型，開創(chuàng)了把神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑。1 9 8 5 年， h i n t o n 和s e j n o w s k y 等人提出了玻耳茲曼機(jī)模型，首次采用了多層網(wǎng)絡(luò)的學(xué)習(xí)算 法，在學(xué)習(xí)中采用統(tǒng)計(jì)熱力學(xué)模擬退火技術(shù)，保證整個系統(tǒng)趨于全局穩(wěn)定點(diǎn)。1 9 8 6 年r e m e 蝴m c l l e l l 鋤d 等人提出了并行分布處理的理論，同時，w e r b o s 和p a r k e r 獨(dú)立發(fā)展了多層網(wǎng)絡(luò)的b p 算法，這是目前最普通的網(wǎng)絡(luò)，廣泛用于實(shí)際問題求解 嗍。b p 網(wǎng)絡(luò)的產(chǎn)生可以認(rèn)為是感知機(jī)的第二次生命。十年過去后，從概念的角度 來看，這第二次生命并不如第一次那么重要。盡管使用神經(jīng)網(wǎng)絡(luò)在某些特定的應(yīng) 用中取得了重要的成就，但是，所得到的理論結(jié)果本身并沒有對一般的學(xué)習(xí)理論 產(chǎn)生多少的貢獻(xiàn)。而且，神經(jīng)網(wǎng)絡(luò)的實(shí)驗(yàn)中也沒有發(fā)現(xiàn)任何新的有趣的學(xué)習(xí)現(xiàn)象。 所以，實(shí)際上，十年來神經(jīng)網(wǎng)絡(luò)的研究并沒有很多地推動我們對學(xué)習(xí)過程本質(zhì)的 理解。 ( 4 ) 9 0 年代之后( 返回感知機(jī)階段) 。在歷史上，機(jī)器學(xué)習(xí)基本上是在經(jīng) 驗(yàn)范疇內(nèi)進(jìn)行研究的，隨意性相當(dāng)嚴(yán)重閣。其一，機(jī)器學(xué)習(xí)往往受某個自然科學(xué) 的原理啟發(fā)，特別是認(rèn)知心理學(xué)的原理，認(rèn)知心理學(xué)研究的那種隨意性也帶入了 機(jī)器學(xué)習(xí)的研究之中；其二，對學(xué)習(xí)解的選擇涉及搜索策略，使用什么樣的搜索 策略往往沒有一般的原則可循；其三，對學(xué)習(xí)結(jié)果的評價沒有可以描述的標(biāo)準(zhǔn)， 因此，對不同學(xué)習(xí)算法難以比較它們的優(yōu)劣。這種現(xiàn)狀是不能接受的，自2 0 世 紀(jì)9 0 年代以來，一些數(shù)學(xué)家試圖改變這種狀況，其中統(tǒng)計(jì)機(jī)器學(xué)習(xí)理論是一個 典型例子。這個理論可以在不增加計(jì)算復(fù)雜性的條件下，描述統(tǒng)計(jì)機(jī)器學(xué)習(xí)已有 的主要算法。由于這個理論有堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)，因此大大減少了算法設(shè)計(jì)的隨意 性，并且使已有的各種機(jī)器學(xué)習(xí)算法有了理論基礎(chǔ)。 現(xiàn)在，統(tǒng)計(jì)學(xué)習(xí)理論的先進(jìn)之處越來越吸引了更多的注意，尤其是結(jié)構(gòu)風(fēng) 險最小化理論和最小描述長度理論更是成為了分析研究的熱點(diǎn)。對于小樣本理論 f 的討論，與逼近理論比起來，似乎更加引人注意?？雌饋砗孟褚磺杏只氐搅怂?基礎(chǔ)。而且，統(tǒng)計(jì)學(xué)習(xí)理論目前在學(xué)習(xí)過程的一般性分析方面，也扮演著口益重 要的角色，結(jié)合最優(yōu)化算法的研究也相繼出現(xiàn)。本文基于這一出發(fā)點(diǎn)，仔細(xì)研究 第一章緒論 了支持向量機(jī)理論、方法及應(yīng)用。 。2 往復(fù)機(jī)械故障診斷技術(shù)研究現(xiàn)狀及發(fā)展 從整個機(jī)械設(shè)備故障診斷的情況來看，經(jīng)過了多年的發(fā)展，旋轉(zhuǎn)機(jī)械故障診 斷技術(shù)的理論和方法已經(jīng)日臻完善，在實(shí)際應(yīng)用中取得了非常大的經(jīng)濟(jì)效益。而 對于柴油機(jī)等往復(fù)機(jī)械，雖然也經(jīng)歷了十幾年的發(fā)展，但對其故障機(jī)理及診斷方 法的研究卻不如旋轉(zhuǎn)機(jī)械。 這主要是因?yàn)橥鶑?fù)機(jī)械有一組高速動轉(zhuǎn)運(yùn)動質(zhì)量，使其運(yùn)動學(xué)、動力學(xué)形 態(tài)比旋轉(zhuǎn)機(jī)械復(fù)雜許多，因而對故障診斷的難度也就更大。我們通過對往復(fù)機(jī)械 中最有代表性的設(shè)備柴油來進(jìn)行分析。 柴油機(jī)故障通常分為機(jī)械故障和性能故障兩大類。相應(yīng)的診斷研究也分為 兩類：針對柴油機(jī)的性能故障，主要采用的是性能參數(shù)診斷；針對柴油機(jī)的機(jī)械 故障，主要采用油液監(jiān)測技術(shù)和振聲信號分析方法?；谡衤暤牟裼蜋C(jī)故障診斷 經(jīng)歷了以下幾個階段的發(fā)展： 7 0 年代后期，國外開始用振聲診斷技術(shù)來研究柴油機(jī)的故障診斷。1 9 8 0 年， 1 l h l y o n 教授和美國麻省理工學(xué)院( m i t ) 的其他學(xué)者開始在發(fā)動機(jī)上做實(shí)驗(yàn)并把 結(jié)果與理論相結(jié)合來開發(fā)新的處理方法。1 9 8 7 年研制出柴油機(jī)狀態(tài)評價系統(tǒng) n e u c e ，n e u c e 系統(tǒng)應(yīng)用高級信號處理方法，從汽缸外部機(jī)體上的加速度傳感器采 集的振動信號中提取信息，從而得到接近于振源發(fā)出的信號。該系統(tǒng)使用了快速 傅墨葉變化( f f t ) 技術(shù)，能夠分析燃燒壓力及柴油機(jī)和其他零部件的沖擊。t 9 9 2 年，g e 公司運(yùn)輸系統(tǒng)部開始使用d e u c e 技術(shù)的專家系統(tǒng)，該系統(tǒng)把溫度、壓力、 轉(zhuǎn)速等傳感器技術(shù)與d e u c e 的振動信號處理技術(shù)結(jié)合在一起。目前，已經(jīng)能夠診 斷氣閥與閥座沖擊、燃油噴射故障以及活塞環(huán)斷裂或過度磨損。c o m m i n s 發(fā)動 機(jī)公司的工程師主要在應(yīng)用氣缸實(shí)驗(yàn)法以及應(yīng)用測功器和轉(zhuǎn)速檢測器來檢測發(fā) 動機(jī)的工作狀態(tài)。 我國在柴油機(jī)故障診斷方面的研究工作大約在8 年代初在振聲診斷技術(shù)發(fā) 展的基礎(chǔ)上開始的。首先是海軍工程學(xué)院利用氣閥在開啟和關(guān)閉時產(chǎn)生的沖擊振 動信號對氣閥間隙異常與漏汽的故障進(jìn)行實(shí)驗(yàn)研究。主要采用加速度計(jì)、測振儀、 電荷放大器和光線示波器記錄振動信號，但由于條件的限帶4 僅做了時域分析。根 基于s v m 的柴油機(jī)機(jī)械故障診斷研究 據(jù)振動信號出現(xiàn)早晚、振幅大小、延續(xù)時間長短來診斷氣閥故障：在柴油機(jī)故障 及振聲診斷方法的研究領(lǐng)域，工作比較突出的是武漢交通科技大學(xué)，周軼塵教授 等大約從1 9 8 5 年開始研究。主要研究了小型柴油機(jī)缸套傳遞特征，柴油機(jī)氣缸 套振動特性及激勵分析，在不考慮相鄰氣缸間振動信號影響的情況下，利用加速 度計(jì)、電荷放大器、磁帶記錄儀、信號分析儀等儀器設(shè)備，對柴油機(jī)氣缸套、機(jī) 體等的振動特性進(jìn)行了研究，達(dá)到利用表面振動信號診斷發(fā)動氣缸的技術(shù)狀態(tài)， 提出了若干判斷內(nèi)燃機(jī)氣缸套磨損及由于間隙過小造成的拉缸的方法。如利用振 動加速度總振級或時域信號的均值、方差、四階矩等特征量來判斷發(fā)動機(jī)工作狀 態(tài)的變化；利用頻域信號如功率譜密度函數(shù)某些頻率上幅值的變化來判斷機(jī)器的 工作狀態(tài)的變化。另外還對柴油機(jī)其他零部件如氣閥、主軸承、主軸頸的狀態(tài)判 別做了研究。西南交通大學(xué)譚達(dá)明等對柴油機(jī)工作過程故障的振動診斷進(jìn)行了基 礎(chǔ)研究工作，討論了柴油機(jī)缸蓋振動信號的時間特征和循環(huán)波動性，提出從缸蓋 振動信號中提取燃燒激振力及排氣門落座響應(yīng)的頻率特征，認(rèn)為將綜合性故障診 斷與零部件故障診斷相結(jié)合是可行的方法。山東大學(xué)的耿遵敏等在他們對1 9 0 系 列柴油機(jī)振動診斷的實(shí)踐的基礎(chǔ)上，從信號處理、非平穩(wěn)信號分析方法、故障分 類等進(jìn)行了討論，提出用a r s t p 短時譜分析方法和基于a r 模型的w j g n e r 時頻 分析方法對配氣、供油等機(jī)械系統(tǒng)及相關(guān)的工作過程故障進(jìn)行有效的評價。此外， 其它一些研究單位如天津大學(xué)、華中理工大學(xué)、吉林工業(yè)大學(xué)、浙江大學(xué)等也作 過利用機(jī)體或缸蓋振動信號恢復(fù)氣缸壓力等方面的研究。 另外，還有不少單位在發(fā)動機(jī)基本理論和技術(shù)方面做了許多工作，如上海 內(nèi)燃機(jī)研究所對柴油機(jī)燃油燃燒過程噴射系統(tǒng)的研究；長春汽車研究所、上海船 用柴油機(jī)研究所等利用發(fā)動機(jī)機(jī)體傳遞特性對發(fā)動機(jī)噪聲聲源的識別做了很有 意義的實(shí)驗(yàn)研究。這些工作對柴油機(jī)故障機(jī)理及故障診斷技術(shù)的發(fā)展有較大的促 進(jìn)作用。 最近，陳怡然和周軼塵等又開始探索用分形理論研究發(fā)動機(jī)的機(jī)械故障狀 態(tài)，計(jì)算了氣閥在不同機(jī)械狀態(tài)下的廣義r r e n y i 維數(shù)譜，指出缸蓋振動為確定 、 性混沌振動，并對氣閥漏氣做了判斷，為柴油機(jī)的振動推斷探索了一條新途徑。 十幾年來，經(jīng)過同行們的不懈努力，柴油機(jī)的振聲診斷研究已經(jīng)取得了很 多成果，但利用振聲信號進(jìn)行柴油機(jī)故障診斷，基本上還處在實(shí)驗(yàn)室研究或中問 第一章緒論 實(shí)驗(yàn)研究階段，雖然發(fā)展很快，但距實(shí)際應(yīng)用還有一定距離。在柴油機(jī)故障診斷 方面已有的研究工作表明，柴油的振聲信號中包含了關(guān)于柴油機(jī)工作狀態(tài)的大量 有用信息，只是需要更加有力的信號處理手段，因而振聲診斷成為目前柴油機(jī)故 障診斷領(lǐng)域研究的重點(diǎn)和熟點(diǎn)。 1 3 本文主要內(nèi)容及創(chuàng)新點(diǎn) ( 一) 主要內(nèi)容 論文主要分為五章： 第一章緒論，主要介紹了機(jī)器學(xué)習(xí)的發(fā)展與現(xiàn)狀、國內(nèi)外對往復(fù)機(jī)械故障 診斷研究的歷史與現(xiàn)狀，并簡要介紹了本文的主要內(nèi)容及創(chuàng)新點(diǎn)。 第二章統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)，簡要介紹了統(tǒng)計(jì)學(xué)習(xí)的有關(guān)理論，重 點(diǎn)介紹了支持向景機(jī)的基本理論。 第三章支持向量機(jī)在多值分類問題中的推廣，介紹了當(dāng)前常用的多類支持 向量機(jī)，并進(jìn)行了對比分析。 第四章柴油機(jī)機(jī)械故障診斷研究，將支持向量機(jī)應(yīng)用于柴油機(jī)故障診斷并 進(jìn)行了仿真實(shí)驗(yàn)，論證了其可行性。 第五章總結(jié)與展望。 ( 二) 論文主要宅g 新點(diǎn) 本文深入分析研究了支持向量機(jī)的基本理論及多類支持向量機(jī)算法，并將 其應(yīng)用于柴油機(jī)故障診斷，相對于以往的研究，主要創(chuàng)新之處在于： ( 1 ) 采用人工智能的方法一支持向量機(jī)，具有良好的學(xué)習(xí)和泛化能力， 更具有一般推廣性。 ( 2 ) 針對當(dāng)前支持向量機(jī)中參數(shù)選擇這一難點(diǎn)問題，進(jìn)行了深入研究，并 對幾種常用參數(shù)選擇方法進(jìn)行了對比分析。 ( 3 ) 進(jìn)一步研究了支持向量機(jī)在多值分類問題中的應(yīng)用，并將其應(yīng)用于柴 油機(jī)故障診斷。 基于s v m 的柴油機(jī)機(jī)械故障診斷研究 第二章統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī) 機(jī)器學(xué)習(xí)就是要使計(jì)算機(jī)能模擬人的學(xué)習(xí)行為，自動地通過學(xué)習(xí)獲取知識 和技能，并不斷地改善性能。基于數(shù)據(jù)的機(jī)器學(xué)習(xí)是智能技術(shù)的重要方面，研究 從觀測數(shù)據(jù)出發(fā)尋找數(shù)據(jù)之間的規(guī)律，利用這些規(guī)律對未來的數(shù)據(jù)或無法觀測的 數(shù)據(jù)進(jìn)行預(yù)測。包括模式識別，神經(jīng)網(wǎng)絡(luò)等在內(nèi)，現(xiàn)有機(jī)器學(xué)習(xí)方法的理論基礎(chǔ) 之一是統(tǒng)計(jì)學(xué)，主要基于經(jīng)驗(yàn)風(fēng)險最小化原則( e 砌v 1 ) 上，理論表明，當(dāng)訓(xùn)練 樣本趨于無窮多時，經(jīng)驗(yàn)風(fēng)險收斂于實(shí)際風(fēng)險。因此，經(jīng)驗(yàn)風(fēng)險最小化原則實(shí)際 上使用了樣本趨于無窮大的假設(shè)條件。但在實(shí)際問題中，樣本數(shù)目往往總是有限 的，使得一些理論上很優(yōu)秀的學(xué)習(xí)方法在實(shí)際中卻表現(xiàn)得不近人意。 與傳統(tǒng)的統(tǒng)計(jì)學(xué)習(xí)相比，統(tǒng)計(jì)學(xué)習(xí)理論是一種專門研究小樣本情況下的機(jī) 器學(xué)習(xí)規(guī)律的理論。它建立在堅(jiān)實(shí)的理論基礎(chǔ)之上，為解決有限樣本學(xué)習(xí)問題提 供了一個統(tǒng)一的框架。它能將很多現(xiàn)有的方法納入其中，有望幫助解決原來難以 解決的問題，比如神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇問題和局部極小點(diǎn)問題，同時，在這一理論 基礎(chǔ)上發(fā)展了一種新的學(xué)習(xí)機(jī)器一支持向量機(jī)( s u p p o r tv e c t o rm a c h i n e ) 。它 已初步表現(xiàn)出比現(xiàn)有方法優(yōu)越的性能，統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī)正成為繼神經(jīng) 網(wǎng)絡(luò)之后的一個熱點(diǎn)，并將有力地推動機(jī)器學(xué)習(xí)的理論和技術(shù)的發(fā)展【6 j 。 本章簡明地介紹了機(jī)器學(xué)習(xí)的基本問題和方法、統(tǒng)計(jì)學(xué)習(xí)理論的基本內(nèi)容 以及支持向量機(jī)的基本原理，為后兩章支持向量機(jī)的應(yīng)用提供了理論上的依據(jù)。 2 1機(jī)器學(xué)習(xí)的基本問題和方法 2 1 1 基本問題和經(jīng)驗(yàn)風(fēng)險最小化原則 機(jī)器學(xué)習(xí)問題可以形式化地表示為：己知變量y 與輸a x 之間存在一定的未 知依賴關(guān)系，即存在一個未知的聯(lián)合分布f ( x ，y ) ( x 署i l y 之間的確定關(guān)系可以看作 是一個特例) ，機(jī)器學(xué)習(xí)就是根據(jù)，個獨(dú)立同分布觀測樣本 ( ，m ) ，( x 2 ，y 2 ) ，- ( ，m ) ( 2 - 1 ) 在一組函數(shù) ，( x ，) ) 中求一個最優(yōu)的函數(shù)f ( x ，w o ) ，使預(yù)測的期望風(fēng)險 6 第二章統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī) d = p ( y ，( x ，w ) ) d f ( x ，y ) ( 2 2 ) 最小。其中 f ( x ，w ) 稱作預(yù)測函數(shù)集，w e q 為函數(shù)的廣義參數(shù)，三 ，廠瓴叻) 為 由于用f ( x ，w ) 對y 進(jìn)行預(yù)測而造成的損失。) i 同類型的學(xué)習(xí)問題有不同形式的 損失函數(shù)。預(yù)測函數(shù)通常也稱為學(xué)習(xí)函數(shù)，學(xué)習(xí)模型或?qū)W習(xí)機(jī)器。 有三類基本的機(jī)器學(xué)習(xí)問題，它們是模式識別、函數(shù)逼近和概率密度估計(jì)。 a 模式識別問題中的損失函數(shù)( 以兩類情況為例) 可以定義為 上肥蝴一 ? 耋；i 畿w ) 協(xié)， b 函數(shù)擬合問題中的損失函數(shù)可以定義為 三( y ，f ( x ，w ) ) = ( j ，一f ( x ，w ”2 ( 2 - 4 ) c 概率密度估計(jì)問題，學(xué)習(xí)的目的是根據(jù)訓(xùn)練樣本確定x 的概率分布。記估 計(jì)的密度函數(shù)為e ( x ，w ) ，則損失函數(shù)可以定義為 l ( p ( x ，w ) ) = - l o g p ( x , w ) ( 2 - 5 ) 顯然，要使式( 2 - 2 ) 定義的期望風(fēng)險最小化，必須依賴關(guān)于聯(lián)合概率密度 f ( x ，y ) 的信息，在模式識別中，就是必須已知類先驗(yàn)概率和類條件概率。但在 實(shí)際的機(jī)器學(xué)習(xí)問題中，我們只能利用樣本式( 2 - 1 ) 的信息，期望風(fēng)險無法直接計(jì) 算和最小化。因此人們根據(jù)概率論中大數(shù)定理的思想，采用算術(shù)平均代替式中的 數(shù)學(xué)期望，用 l ， r 。，( 川= 上，( ，w ) ) ( 2 - 6 ) i = l 來逼近式( 2 2 ) 定義的期望風(fēng)險。由于r 。( w ) 是用己知的訓(xùn)練樣本定義的，因 此稱作經(jīng)驗(yàn)風(fēng)險。用經(jīng)驗(yàn)風(fēng)險r 。( w ) 的最小值代替期風(fēng)險胄( w ) 的最小值，就是 所謂的經(jīng)驗(yàn)風(fēng)險最小化( e i u 訌) 原則。 仔細(xì)研究經(jīng)驗(yàn)風(fēng)險最小化原則和機(jī)器學(xué)習(xí)問題中的期望風(fēng)險最小化要求， 可以發(fā)現(xiàn)，使用經(jīng)驗(yàn)風(fēng)險代替期望風(fēng)險并沒有可靠的理論依據(jù)。只是直觀上想當(dāng) 基于s v m 的柴油機(jī)機(jī)械故障診斷研究 然的做法。多年來，經(jīng)驗(yàn)風(fēng)險最小化原則作為解決模式識別等機(jī)器學(xué)習(xí)問題的基 本思想，幾乎統(tǒng)治了這個領(lǐng)域內(nèi)的所有研究。大部分的研究者們把注意力集中在 如何更好地逼近最小化經(jīng)驗(yàn)風(fēng)險的最優(yōu)解。 2 1 2 復(fù)雜性和推廣能力 我們先設(shè)想一個簡單的例子，假設(shè)有一組實(shí)數(shù)樣本( x ，y ) ，x 分布在實(shí)數(shù)內(nèi) y 取值在【1 ，1 】之間，那么無論樣本是依據(jù)什么模型產(chǎn)生的，只要用函數(shù) f ( x ，口) = s i n ( a x ) 去擬合，總能找到一個a 使訓(xùn)練誤差為零，但顯然得到的最優(yōu)函 數(shù)并不能正確代表真實(shí)的函數(shù)模型。究其原因，是試圖用一個十分復(fù)雜的模型去 擬合有限的樣本，導(dǎo)致喪失了推廣能力，即模型對未來輸出進(jìn)行正確預(yù)測的能力。 同樣，在神經(jīng)網(wǎng)絡(luò)中，一味地追求訓(xùn)練誤差r 。最小并不是總能達(dá)到好的預(yù)測效 果，某些情況下，還會出現(xiàn)過學(xué)習(xí)的問題。之所以出現(xiàn)過學(xué)習(xí)的現(xiàn)象，一是因?yàn)?學(xué)習(xí)樣本不充分，二是學(xué)習(xí)機(jī)器的設(shè)計(jì)不合理。 由此可以得出，在有限樣本的情況下，經(jīng)驗(yàn)風(fēng)險最小并不意味著期望風(fēng)險 最小，學(xué)習(xí)機(jī)器的復(fù)雜性應(yīng)該要和有限數(shù)目的樣本相適應(yīng)，才會有好的推廣能力。 2 2 統(tǒng)計(jì)學(xué)習(xí)理論的基本內(nèi)容 統(tǒng)計(jì)學(xué)習(xí)理論是一種能夠指導(dǎo)我們在有限樣本情況下建立有效的學(xué)習(xí)和推 廣方法的理論1 7 。主要內(nèi)容有：v c 維的概念，學(xué)習(xí)機(jī)器推廣能力的界和結(jié)構(gòu)風(fēng) 險最小化準(zhǔn)則。 2 2 1vc 維 v c 維概念是v a p n i k 和c h e r v o n e n k o 提出的，它描述了學(xué)習(xí)機(jī)器的容量，反 映了學(xué)習(xí)機(jī)器學(xué)習(xí)能力。模式識別中v c 維定義為：對一個指示函數(shù)集，能對空 間中任意給定的最多h 個樣本進(jìn)行所有可能( 2 “種) 的劃分，則該函數(shù)集的v c 維就 是h 。如果總存在任意數(shù)目的樣本集合可以被函數(shù)集完全劃分，則該函數(shù)集的v c 維就是無窮大。 第二章統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī) 例如，二維平面上的線性函數(shù)集合，其v c 維等于3 。這是因?yàn)槠矫嬷械闹本€ 可以將三個任意給定的點(diǎn)按照所有可能的方式( 2 3 種) 劃分。 v c 維是統(tǒng)計(jì)學(xué)習(xí)理論的核心概念，但是，目前尚沒有通用的計(jì)算任意函數(shù) 集的v c 維的理論，只對一些特殊的函數(shù)集知道其v c 維，例如在n 維實(shí)空間的線 性分類器和線性實(shí)函數(shù)的v c 維n + l 。 2 2 2 學(xué)習(xí)機(jī)器推廣性的界 統(tǒng)計(jì)學(xué)習(xí)理論中關(guān)于經(jīng)驗(yàn)風(fēng)險和實(shí)際風(fēng)險之間關(guān)系的重要結(jié)論，稱作推廣 性的界。對于兩類分類問題，指示函數(shù)集中的所有函數(shù)，經(jīng)驗(yàn)風(fēng)險?！皐 ) 和實(shí) 際風(fēng)險戳w ) 之間至少以1 一玎的概率滿足下面的關(guān)系： r ( w ) s i k 刪p + h ( 1 n ( 2 1 1 h ) + 1 1 ) - l n ( ? 4 ) ( 2 - 7 ) 式中，f 為訓(xùn)練樣本數(shù)目，h 表示函數(shù)集的v c 維，1 - 圩表示置信水平，r e m p 為 經(jīng)驗(yàn)風(fēng)險，墮墊墮墜墮芋幽為置信風(fēng)險。 在( 2 7 ) 式中，不等式右邊第一部分為經(jīng)驗(yàn)風(fēng)險，第二部分稱作置信風(fēng)險 ( c o n f i d e n c ei n t e r v a l ) ，它和學(xué)習(xí)機(jī)器的v c 維h 及訓(xùn)練樣本數(shù)，有關(guān)，( 2 7 ) 式可 以簡單地表示為： r ( w ) r 。，( w ) + 中( ) ( 2 8 ) 黃信風(fēng)險中隨的變化趨勢如圖2 1 所示。當(dāng)較小時( 比如小于2 0 ，此 時可以說樣本數(shù)較少) ，置信風(fēng)險m 較大，此時用經(jīng)驗(yàn)風(fēng)險近似期望風(fēng)險就會出 現(xiàn)較大誤差。如果較大，則置信風(fēng)險就會較小，經(jīng)驗(yàn)風(fēng)險最小化的最優(yōu)解就 會接近實(shí)際的最優(yōu)解。 基于s v m 的柴油機(jī)機(jī)械故障診斷研究 ，- 訓(xùn)練樣本數(shù)，i l - 學(xué)習(xí)機(jī)器的v c 維，巾( ) 一置信風(fēng)險 圖2 1 置信風(fēng)險的變化趨勢 對于一個特定的問題，其樣本數(shù)，是固定的，此時學(xué)習(xí)機(jī)器的v c 維越高( 復(fù) 雜度越高) ，則置信風(fēng)險越大，導(dǎo)致真實(shí)風(fēng)險與經(jīng)驗(yàn)風(fēng)險之間可能的差就越大。 這就是為什么在一般情況下選用過于復(fù)雜的分類器或神經(jīng)網(wǎng)絡(luò)往往得不到好的 效果的原因。因此，機(jī)器學(xué)習(xí)過程中不但要使經(jīng)驗(yàn)風(fēng)險盡可能小，還要使v c 維 盡可能小，以縮小置信風(fēng)險，才能使實(shí)際風(fēng)險最小，從而對未來的樣本有較好的 推廣性。 2 2 3 結(jié)構(gòu)風(fēng)險最小化原則 上面的結(jié)論告訴我們，在有限樣本情況下需要同時考慮經(jīng)驗(yàn)風(fēng)險和置信風(fēng) 險，經(jīng)驗(yàn)風(fēng)險最小化原則( e r m ) ，只考慮了經(jīng)驗(yàn)風(fēng)險，因此小樣本情況下，單單 使用e r m 準(zhǔn)則是不合理的。實(shí)際上，在傳統(tǒng)方法中，選擇學(xué)習(xí)模型和算法的過 程也就是調(diào)整置信風(fēng)險的過程。如果模型比較適合現(xiàn)有的訓(xùn)練樣本( 相當(dāng)于值 適當(dāng)1 ，通過學(xué)習(xí)訓(xùn)練最小化經(jīng)驗(yàn)風(fēng)險，則可以取得比較好的效果。但因?yàn)槿狈?理論指導(dǎo)，這種選擇只能依賴先驗(yàn)知識和經(jīng)驗(yàn)，造成了神經(jīng)網(wǎng)絡(luò)等方法對使用者 “技巧”的過分依賴。 統(tǒng)計(jì)學(xué)習(xí)理論提出了結(jié)構(gòu)風(fēng)險最小化準(zhǔn)則( s t r u c t u r e m s k m i n i m i z a t i o n 或 s r m ) 。首先把函數(shù)s = f ( x ，w ) ，w 叫分解為函數(shù)子集序列， s jc 島c 甌c s ( 2 - 9 ) 1 0 第二章統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī) 使各個子集能夠按照中的大小，也就是v c 維的大小排列，即有； 啊曼- 鳴蘭h( 2 - 1 0 ) 這樣在同一個子集中置信風(fēng)險就相同；在每一個子集中尋找最小經(jīng)驗(yàn)風(fēng)險， 通常它隨著子集復(fù)雜度的增加而減小。選擇最小經(jīng)驗(yàn)風(fēng)險與置信風(fēng)險之和最小的 子集，就可以達(dá)到期望風(fēng)險最小，這個子集中使經(jīng)驗(yàn)風(fēng)險最小的函數(shù)就是要求的 最優(yōu)函數(shù)，這種思想就稱之為結(jié)構(gòu)風(fēng)險最小化原則。圖2 2 給出了結(jié)構(gòu)風(fēng)險最小 化示意圖。 風(fēng) 險 l 一風(fēng)驗(yàn)上再，2 - - 置信范圍3 - - 經(jīng)驗(yàn)風(fēng)險 sc s tc s 函數(shù)子集，扛s + h - 相應(yīng)子集的v c 維 圖2 2 結(jié)構(gòu)風(fēng)險最小化示意圖 2 3 支持向量機(jī) 支持向量機(jī)( s u p p o r tv e c t o rm a c l l i n e 或s v m ) 是基于統(tǒng)計(jì)學(xué)習(xí)理論發(fā)展出的 一種新穎的學(xué)習(xí)機(jī)器，具有優(yōu)良的推廣性能，其核心內(nèi)容是9 0 年代提出的f 3 4 0 】， 目前正在得到廣泛的應(yīng)用。本節(jié)主要討論支持向量機(jī)如何解決兩類的模式識別問 題，這是支持向量機(jī)解決多分類問題的基礎(chǔ)。 基于s v m 的柴油機(jī)機(jī)械故障診斷研究 2 3 1 最優(yōu)超平面 s v m 方法是從線性可分情況下的最優(yōu)超平面( o p t i m a lh y p e rp l a n e l 發(fā)展起 來的?？紤]圖2 3 所示的二維兩類線性可分的情況，圖中實(shí)心點(diǎn)和空心點(diǎn)分別表 示兩類的訓(xùn)練樣本，( x l ，y 1 ) ，( x 2 ，兒) ，( t ，只) ，扛1 ，x er 2 , _ y + l ，一1 ) 為樣 本的類標(biāo)。h ：( x ) + 6 = 0 ，b r ，為把兩類沒有錯誤的分開的分類線， i x , ：( w 砷+ 6 = + l ，皿：( w x ) + 6 = 一1 分別為過各類樣本中離分類線最近的點(diǎn)且 平行分離線的直線。q 與h 2 之間的距離叫做兩類的分類間隔，記為a ，通過簡 單的幾何變換得2 贏。 i h h i 嗚 、。 ； 、 j 。每文一， 。 y o j 。氣 、i 、 一 、 一 一分類超平面拊一分英愿的轅矢量，厶一分共同踽 且4 一與曰平行丑過過兩類樣本中離胃鼉蛭的贏的超平疆 圖2 3 線性可分情況下的分類超平面 圖2 _ 3 所示的訓(xùn)練數(shù)據(jù)是完全可分的情況，有很多直線都可以對數(shù)據(jù)進(jìn)行無 錯誤的劃分，經(jīng)驗(yàn)風(fēng)險最小值為零。因此，線性可分情況下最小化( 2 7 ) 式的風(fēng)險 上界，實(shí)際上就等于最小化置信風(fēng)險，可以轉(zhuǎn)化為最大化分類間隔。所謂的最優(yōu) 分類線就是要求分類線不但能將兩類無錯誤地分開，而且要使兩類的分類間隔最 大。推廣到高維空間，最優(yōu)分類線就成為最優(yōu)分類超平面，也是最大間隔超平面。 因此，線性可分情況下，在結(jié)構(gòu)風(fēng)險最小化原則下的最優(yōu)分類超平面可以 通過最小化下面的泛函得到 第二章統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī) 中( w ) = 扣w i l 2 = 圭( w w ) s t ( w 一) 一b 1 ，i = l ， ( 2 1 1 ) ( 2 1 2 ) 符號s t 為s u b j e c t t o 的縮寫，表示約束條件。 這個二次規(guī)劃問題有極，可以通過求如下的拉格朗日泛函的最小值獲得： 上( w ，以口) = ( w w ) 一l ( w x ) + 6 】m 一1 ( 2 - 1 3 ) i = 1 上式中a t 為拉格朗日乘子，滿a t o , v i = 1 ，a 令該泛函對w 和6 的導(dǎo)數(shù)分別為零，可以將原來的二次規(guī)則問題轉(zhuǎn)化為比較 簡單的對偶問題；在約束條件 q m = o a i o ( 2 1 4 ) 之下對瑾求解下面泛函的最大值： ，1f w ( d ) = q 一寺q q * ”( 一) ( 2 - 1 5 ) j - 1二，= l 若a o 為最優(yōu)解，則有： w a = 掣y 。x i ( 2 1 6 ) b 0 = 1l w o r ( 1 ) + w 。r ( 一1 ) ( 2 - 1 7 ) 其中工( 1 ) 形式表示屬于第一類的任意一個支持向量，而x ( 一1 ) 表示屬于另 一類的任意一個支持向量2 1 。可以證明，對多數(shù)樣本辭取值為0 ，取值不為0 的 印對應(yīng)的樣本薯就是支持向量( s u p p o r tv e c t o r 或s v ) 。 于是最優(yōu)超平面方程為 鐘咒( 蔫x ) + 礦= o ( 2 - 1 8 ) * e w 最優(yōu)判別函數(shù)為 y = s g n 釅m ( 砷+ 明 ( 2 - 1 9 ) s g n ( 1 為符號函數(shù)。 基于s v m 的柴油機(jī)機(jī)械故障診斷研究 為 對于線性不可分的情況，可以在條件( 2 - 1 2 ) 中增加一個松馳項(xiàng)毒0 ，成 以 ( p t ) + 6 卜l + 繭0 ， i = 1 ，一， ( 2 2 0 ) 這樣，泛函就從( 2 1 6 ) 式變成 撕護(hù)扣”+ c ( 喜毒) ( 2 - 2 1 ) 其中c 為某個指定的常數(shù)，控制對錯分樣本的懲罰，實(shí)現(xiàn)在分類間隔和錯誤率 之間的折衷，盞表示容許一定的錯分情況。最優(yōu)分類面的對偶問題與線性可分情 況下幾乎完全相同，只是條件( 2 1 4 ) 改為 0 珥c ，i = l ， 2 3 2 支持向量機(jī) ( 2 2 2 ) 對于非線性問題，可以通過非線性映射x 寸妒( 功轉(zhuǎn)化為某個高維空間的線 性問題，再在變換空間求最優(yōu)分類超平面，該超平面實(shí)際對應(yīng)著原始空間中的非 線性分類面。實(shí)際上不用知道妒( 工) 的確切表達(dá)式，因?yàn)樵谏厦娴膶ε紗栴}中， 只涉及了訓(xùn)練樣本的內(nèi)積運(yùn)算( _ ) ，在高維空間也只需進(jìn)行內(nèi)積計(jì)算 y ( ) 妒( 工，) a 而根據(jù)泛函的有關(guān)理論，只要一種核函數(shù)量( x ，) 滿足m e r c e r 條 件，它就對應(yīng)某一變換空間的內(nèi)積妒( 薯) ( _ ) 。 因此，采用適當(dāng)?shù)暮撕瘮?shù)k ( t ) 就可以實(shí)現(xiàn)某一非線性變換后的線性分 類，而計(jì)算的復(fù)雜度卻沒有增加，此時，式( 2 1 5 ) 中的優(yōu)化問題變?yōu)?吣) = q x a i a j y y j k ( x x j ) ( 2 2 3 ) ，；lt 盧_ 而非線性支持向量機(jī)的決策函數(shù)變?yōu)?y = s g n 辭片k ( x ) + 6 0 】 ( 2 2 4 ) 簡單地說，支持向量機(jī)就是首先通過內(nèi)積核函數(shù)將輸入空間變換到一個高 維空間，然后在這個空問求廣義最優(yōu)分類面。 第二章統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī) 2 4 核函數(shù) 常見的核函數(shù)： ( 1 ) 多項(xiàng)式核，稱 和 x ( x ，工 = ( ( 石，x i ，t t ，d ( 2 2 5 ) k ( x ，x ) = ( x ，x 。) 4 ( 2 2 6 ) 球朋= e 硪一呼( 2 - 2 7 ) m 朋= 州一紫) ( 2 - 2 8 ) x ( x ，x = t a n h ( p ( 工，z ) + c ) ( 2 2 9 ) s i n ( n + 言x x x 1 x ( x ，x 3 = j 一 ( 2 - 3 0 ) s 咄o 一工 2 4 1 核函數(shù)作用及核參數(shù)的影響 核函數(shù)，映射函數(shù)以及特征空問是一一對應(yīng)的，確定了核函數(shù)k ( x ，y ) ，就隱 基于s v m 的柴油機(jī)機(jī)械故障診斷研究 含地確定了映射函數(shù)和特征空間f 。核參數(shù)的改變實(shí)際上隱含地改變映射函 數(shù)從而改變樣本數(shù)據(jù)子空間分布的復(fù)雜程度( 維數(shù)) 。數(shù)據(jù)子空間的維數(shù)決定了 能在此空間構(gòu)造的線性分類面的最大v c 維，也就決定了線性分類面能達(dá)到的最 小經(jīng)驗(yàn)誤差。同時，每一個數(shù)據(jù)子空間對應(yīng)唯一的推廣能力最好的分類超平面， 如果數(shù)據(jù)予空間維數(shù)很高，則得到的最優(yōu)分類面就可能比較復(fù)雜，經(jīng)驗(yàn)風(fēng)險小但 置信風(fēng)險大：反之亦然。這兩種情況下得到的s v m 都不會有好的推廣能力，只有 首先選擇合適的核函數(shù)將數(shù)據(jù)投影到合適的特征空間，才可能得到推廣能力良好 的s v m 分類器。 2 4 2 支持向量機(jī)中參數(shù)c 的影響 誤差懲罰參數(shù)c 的作用是在確定的數(shù)據(jù)子空間中調(diào)節(jié)學(xué)習(xí)機(jī)器置信風(fēng)險和 經(jīng)驗(yàn)風(fēng)險的比例以使學(xué)習(xí)機(jī)器的推廣能力最好，不同數(shù)據(jù)予空間中最優(yōu)的c 不同。 在確定的數(shù)據(jù)子空間中，c 的取值小表示對經(jīng)驗(yàn)誤差的懲罰小，學(xué)習(xí)機(jī)器的復(fù)雜 度小而經(jīng)驗(yàn)風(fēng)險值較大；反之亦然。前者稱為“欠學(xué)習(xí)”現(xiàn)象，而后者則為“過 學(xué)習(xí)”。每個數(shù)據(jù)子空間至少存在一個合適的c 使得s v m 推廣能力最好。當(dāng)c 超過一 定值時，s v m 的復(fù)雜度達(dá)到了數(shù)據(jù)子空問允許的最大值，此時經(jīng)驗(yàn)風(fēng)險和推廣能 力幾乎不再變化。然而，目前還沒有一個統(tǒng)一的方法來決定c 的最佳取值，一般 的方法是試湊，通過不斷實(shí)驗(yàn)來得到滿意的結(jié)果。 2 4 3 參數(shù)選擇方法分析 1 、試湊法( 窮舉法) 該方法是在模型( s v m 、核函數(shù)) 選擇以后，首先為常數(shù)c 和核函數(shù)固有的參 數(shù)賦一初始值，然后開始實(shí)驗(yàn)測試，根據(jù)測試精度重復(fù)調(diào)整參數(shù)值，直至得到滿 意的測試精度為止。研究人員通過實(shí)驗(yàn)比較，認(rèn)為使用試湊法調(diào)整參數(shù)具有一定 的規(guī)律可循。實(shí)驗(yàn)表明【1 2 1 ，隨著c 的增加，測試精度首先增高，超過一定值以后， 精度開始下降。嗣時，1 隨著c 的增加，支持向量的個數(shù)嚴(yán)格減少，處于邊界值的 支持向量的個數(shù)迅速減少，直到為0 。文獻(xiàn)【1 1 】指出，通過實(shí)驗(yàn)比較認(rèn)為，c 參數(shù)的 值對訓(xùn)練結(jié)果有很大影響，但它的最佳取值與具體問題有很大的關(guān)系，一般來說， 用于訓(xùn)練的數(shù)據(jù)量越大，訓(xùn)練結(jié)果對c 的變化越不敏感；如果訓(xùn)練數(shù)據(jù)很少，c 1 6 第二章統(tǒng)計(jì)學(xué)習(xí)理論和支持向量機(jī) 的較大取值很容易使模型過擬臺訓(xùn)練數(shù)據(jù)。于是建議在各類樣本數(shù)目不平衡的情 況下，對于樣本較少的類別施加較大的錯分懲罰系數(shù)，懲罰系數(shù)的大小應(yīng)該與各 類樣本數(shù)成反比。 試湊法是目前比較常用且非常行之有效的方法，但基本是憑經(jīng)驗(yàn)調(diào)整，缺 泛足夠的理論依據(jù)，對不同的核函數(shù)，不同的樣本其調(diào)整方法可能不同，因此在 參數(shù)調(diào)整過程中帶有一定的盲目性，且當(dāng)需要調(diào)整幅度較大時調(diào)整次數(shù)較多，實(shí) 驗(yàn)比較復(fù)雜。 2 、最優(yōu)化方法 從前面的分析知道，求解一個支持向量機(jī)分類器是通過求解使式( 2 2 3 ) 最 ， 大化時的解n 和b 后確定的，印求解出使“口) = q 去q q m 乃x ( t x j ) 取最 t l i ，j = l 大值時a 和b 的值即可確定一個支持向量機(jī)分類器。選擇常數(shù)c 和核函數(shù)固有參數(shù) ( 核參數(shù)) 就是最優(yōu)化推廣能力的估計(jì)值。所以，參數(shù)選擇就是在最大化式( 2 2 3 ) 并在解的基礎(chǔ)上最優(yōu)化推廣能力的估計(jì)值，由此可以得到選擇s v m 參數(shù)的最優(yōu)化 方法。 ( 1 ) 為常數(shù)c 和核函數(shù)固有參數(shù)賦初值： ( 2 ) 最大化式( 2 2 3 ) ，得到n 和b ； ( 3 ) 更新常數(shù)c 和核參數(shù)，最優(yōu)化推廣能力的估計(jì)值； ( 4 ) 如果估計(jì)值滿足要求結(jié)束運(yùn)算；否則重復(fù)( 2 ) 。 步驟( 3 ) 中的推廣能力是指學(xué)習(xí)機(jī)對未知數(shù)據(jù)進(jìn)行測時的分類性能，主要 有留一法( 利用錯分類率評估分類性能) 、支持向量計(jì)算法( 利用支持向量數(shù)與 訓(xùn)練樣本總數(shù)之比評估分類性能) 1 2 1 。 該方法可以使用已有的優(yōu)化工具來實(shí)現(xiàn)，但問題的難點(diǎn)是步驟( 3 ) ，如何 更新常數(shù)c 和核參數(shù)。因?yàn)闊o法得到推廣能力的估計(jì)值與這些參數(shù)的顯式表達(dá)式， 麗且變化不連續(xù)，所以不能使用常用的最陡梯度法、牛頓法等方法。 3 、改進(jìn)的最優(yōu)化方法【1 2 1 _ _ 該方法主要針對最優(yōu)化方法步驟( 3 ) 進(jìn)行改進(jìn)。由2 3 中提到的泛函 妒( ) = 去( | ) + c 毒 ( 2 3 1 ) 基于s v m 的柴油機(jī)機(jī)械故障診斷研究 可知，懲罰因子c 控制的是訓(xùn)練錯誤率與模型復(fù)雜度間的折衷，從式( 2 1 5 ) 可知，懲罰因子c 并沒有出現(xiàn)在式( 2 3 1 ) 的w o l f e 對偶式中，而是改變了l a g r a n g e 系數(shù)的取值范圍，因此，對于一個s v m ，如果無限制地增大懲罰因子c ，當(dāng)s v m 中 沒有邊界支持向量時，c 的改變不會再影響分類性能。 由圖2 3 和式( 2 3 1 ) 可知s v m 是最大化間隔算法，以徑向基核為例，根據(jù)式 ( 2 - 2 3 ) 和式( 2 - 2 4 ) 經(jīng)適當(dāng)變換后可得 i i d l 2 ：2 妻噶一圭q q j ”e ，驢( 7 4 再一_ f ) ( 2 3 2