（電力系統(tǒng)及其自動化專業(yè)論文）基于加權(quán)支持向量機的短期負荷預(yù)測.pdf

東北電力大學(xué)碩i 學(xué)位論文 a b s t r a c t p o w e rs y s t e ml o a df o r e c a s t i n g ，w h i c hi st h eb a s eo fp o w e rm a r k e tt e c h n i q u e s u p p o r t i n gs y s t e m ，i sa l le s s e n t i a lp a r to fp o w e rs y s t e mo p e r a t i o n , c o n t r o la n d p l a r m i n g s u p p o r tv e c t o rm a c h i n e s ( s v m ) i s an e wm a c h i n el e a r n i n gt e c h n o l o g y , w h i c hi s b a s e do ns t a t i s t i c a ll e a m i n gt h e o r y i tc a ns o l v es m a l l - s a m p l el e a r n i n gp r o b l e m s b e t t e rb yu s i n gs t r u c t u r a lr i s km i n i m i z a t i o ni n p l a c e o fe x p e r i e n t i a l 磁s k m i n i m i z a t i o n b e c a u s ei th a sq u i t ep e r f e e tt h e o r e t i c a lp r o p e r t i e sa n dg o o dl e a r n i n g p e r f o r m a n c e ，s v mt h e o r yb e c o m e st h en e wr e s e a r c hh o t s p o ta f t e rt h er e s e a r c ho f a r t i f i c i a ln e u r a ln e t i nt h i sp a p e r , s o m er e s e a r c h e sa l ed e v e l o p e df o rs h o r tt e r ml o a df o r e c a s t i n g ( s t l f ) u s i n gs v m i ns e v e r a lp a r t s 1 w a v et r a n s f o r mi sa p p l i e dt od e t e c ts i n g u l a r i t yo fh i s t o r yl o a dd a t a t h e h i s t o r yd a t ai st h eb a s eo fl o a df o r e c a s t i n g b e c a u s ea b n o r m a ld a t am a k e st h eh i s t o r y d a t ad i s t o r t e da n dl o wd o w nt h ea c c u r a c yo ff o r e c a s t i n g w em u s td e a lw i t ht h e h i s t o r yd a t ab e f o r e h a n d t h i sp a p e ru s e sw a v et r a n s f o r mt od e t e c ts i n g u l a r i t ya n d m a k et h et r u t ho f h i s t o r yd a t ac o m eb a c k 2 am e t h o do fa d a p t i v ew e i g h e dl e a s t s q u a r e ss u p p o r tv e c t o rm a c h i n e ( a w l s s v m ) f o rs h o r t - t e r ml o a df o r e c a s t i n gi sr e s e a r c h e d i nw h i c hd i f f e r e n t s a m p l ei sg i v e nad i f f e r e n tw e i g h t , e m p h a s i z i n gc h a r a c t e r i s t i co fd i f f e r e n tt r a i n i n g s a m p l eh a v i n gd i f f e r e n tc o n t r i b u t i o n m o r e o v e r , w l s s v mp a r a m e t e ra l eo p t i m i z e d b ya d a p t i v ep a r a m e t e ro p t i m i z a t i o nm e t h o d ，c o n s e q u e n t l yr e d u c es e l e c t i v eb l i n d n e s s o ft h e m t h es i m u l a t i o nr e s u l tf r o ms h o r t - t e r ml o a df o r e c a s t i n ge x a m p l eo fa c t u a l p o w e rn e t w o r ks h o wt h a tt h ea w l s s v mm e t h o dc a no f f e rm o r ea c c u r a t e f o r e c a s t i n gr e s u l tt h a ns v mm e t h o d 3 as h o r t - t e r ml o a df o r e c a s t i n gm e t h o du s e st h eh y b r i dm o d e lo fw a v e l e t t r a n s f o r ma n dw e i g h e dl e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n ei sg i v e n a tf i r s t ，b a s e d - o nw a v e l e tm u l t i - r e s o l u t i o na n a l y s i s ，t h el o a ds e r i e si sd e c o m p o s e di n t ot h es e r i e s w i t hd i f f e r e n t f r e q u e n c yc h a r a c t e r i s t i c s ，t h e na c c o r d i n gt ot h ef e a t u r e so ft h e d e c o m p o s e dc o m p o n e n t s ，d i f f e r e n tw l s s v ma r cc o n s t r u c t e dt o f o r e c a s tt h e c o m p o n e n t s ，f m a l l yt h ef o r e c a s t e ds i g n a l so ft h ec o m p o n e n t sa r er e c o n s t r u c t e dt o o b t a i nt h eu l t i m a t ef o r e c a s t i n gr e s u t a n a l y s i so ft h ef b 心c a s t i n gr e s u l t so fr e a ld a t a p r o v e dt h a tt h ep r o p o s e dm e t h o di se f f e c t i v e k e yw o r d s ：s h o r t - t e r ml o a d f o r e c a s t i n g ；w e i g h e ds u p p o r tv e c t o rm a c h i n e ； a d a p t i v ep a r a m e t e ro p t i m i z a t i o n ；w a v e l e tt r a n s f o r m - i i i - 論文原創(chuàng)性聲明 本人聲明，所呈交的學(xué)位論文系在導(dǎo)師指導(dǎo)下本人獨立完成的研究成果。 文中依法引用他人的成果，均已做出明確標(biāo)注或得到許可。論文內(nèi)容未包含法 律意義上已屬于他人的任何形式的研究成果，也不包含本人已用于其他學(xué)位申 請的論文或成果。 本人如違反上述聲明，愿意承擔(dān)以下責(zé)任和后果： 1 交回學(xué)校授予的學(xué)位證書： 2 學(xué)校可在相關(guān)媒體上對作者本人的行為進行通報； 3 本人按照學(xué)校規(guī)定的方式，對因不當(dāng)取得學(xué)位給學(xué)校造成的名譽損害， 進行公開道歉； 4 本人負責(zé)因論文成果不實產(chǎn)生的法律糾紛。 論文作者簽名：揚盔益 日期：纓年墨月絲日 論文知識產(chǎn)權(quán)權(quán)屬聲明 本人在導(dǎo)師指導(dǎo)下所完成的論文及相關(guān)的職務(wù)作品，知識產(chǎn)權(quán)歸屬東北電 力大學(xué)。學(xué)校享有以任何方式發(fā)表、復(fù)制、公開閱覽、借閱以及申請專利等權(quán) 利。本人離校后發(fā)表或使用學(xué)位論文或與該論文直接相關(guān)的學(xué)術(shù)論文或成果時， 署名單位仍然為東北電力大學(xué)。 論文作者簽名：楊盔經(jīng) 導(dǎo)師簽名： 左叁主 日期：2 幽年l 月叢e t 日期：三竺堡l 年蘭一月二蘭z - 日 第1 帝緒論 第1 章緒論 電力系統(tǒng)負荷預(yù)測是指利用歷史負荷數(shù)據(jù)來預(yù)測未來時刻的負荷值，是能 量管理系統(tǒng)( e m s ) 的一個重要組成部分，已經(jīng)成為實現(xiàn)電力系統(tǒng)管理現(xiàn)代化 的重要內(nèi)容之一，在電力系統(tǒng)制定機組組合方案、地區(qū)間的功率輸送方案和負 荷調(diào)度方案中均需用到。有效地提高負荷預(yù)測的精度，有利于電力系統(tǒng)的經(jīng)濟 運行與安全運行，是合理地進行電力系統(tǒng)調(diào)度、計劃、用電與規(guī)劃的重要依據(jù) 之一。 1 1 負荷預(yù)測作用及意義 電力系統(tǒng)的作用是為各類用戶盡可能經(jīng)濟地提供連續(xù)可靠和質(zhì)量良好的電 能，以隨時滿足各類用戶負荷的需求。負荷的大小與特性，無論是對于電力系 統(tǒng)設(shè)計或是對于運行研究而言，都是極為重要的因素。所以，對負荷的變化與 特性，有一個預(yù)先的估計，是電力系統(tǒng)發(fā)展與運行研究的重要內(nèi)容，電力系統(tǒng) 負荷預(yù)測理論【1 2 - 1 就是因此而發(fā)展起來的，在現(xiàn)代電力系統(tǒng)工程科學(xué)中占有重要 地位，是電力系統(tǒng)自動化領(lǐng)域中的一項重要內(nèi)容。電力系統(tǒng)負荷預(yù)測是電網(wǎng)調(diào) 度部門和規(guī)劃部門所必須具有的基本信息之一，是實時控制、運行計劃和發(fā)展 規(guī)劃的前提。 在電力系統(tǒng)中，負荷指電力需求量或用電量。需求量是指負荷功率的大小， 是能量對時間的變化率。負荷預(yù)測包括兩方面的含義：對未來需求量( 功率) 的預(yù)測和未來用電量( 能量) 的預(yù)測。對未來需求量的預(yù)測用來決定發(fā)電設(shè)備 的容量，以及相應(yīng)的輸電和配電的容量；而對未來用電量的預(yù)測則決定了應(yīng)當(dāng) 安裝何種類型的發(fā)電容量。 負荷預(yù)測實際上是根據(jù)系統(tǒng)的運行特性、增容決策、自然條件與社會影響 等諸多因素，研究或利用一套系統(tǒng)的處理過去與未來負荷的數(shù)學(xué)方法，在滿足 一定精度要求的條件下，確定未來某特定時刻的負荷數(shù)據(jù)。 隨著電力系統(tǒng)的商品化和市場化，電力負荷預(yù)測的準(zhǔn)確性對電力系統(tǒng)安全 東北電力大學(xué)碩+ 學(xué)位論文 經(jīng)濟運行和國民經(jīng)濟發(fā)展具有重要意義。電力負荷預(yù)測工作的水平已成為一個 電力企業(yè)的管理是否走向現(xiàn)代化的顯著標(biāo)志之一，尤其在我國電力事業(yè)空前發(fā) 展的今天，用電管理走向市場，電力負荷預(yù)測問題已經(jīng)成為電力系統(tǒng)面臨的一 項重要而又艱巨的任務(wù)。 短期負荷預(yù)測是調(diào)度中心制定發(fā)電計劃及電廠報價的依據(jù)，也是能量管理 系統(tǒng)( e n e r g ym a n a g es y s t e m , e m s ) 的組成部分，是電力系統(tǒng)運行調(diào)度中一項 非常重要的內(nèi)容，是保證電力系統(tǒng)安全經(jīng)濟運行和實現(xiàn)電網(wǎng)科學(xué)管理及調(diào)度的 基礎(chǔ)。短期負荷預(yù)測的是否準(zhǔn)確，將影響到電力系統(tǒng)計劃、規(guī)劃等管理部門的 工作。短期負荷預(yù)測是調(diào)度合理安排電網(wǎng)運行方式、機組啟停計劃、交換功率 計劃等的基礎(chǔ)，因此負荷預(yù)測的好壞會直接關(guān)系到產(chǎn)業(yè)部門的經(jīng)濟利益。一方 面，負荷預(yù)測不足可能會導(dǎo)致用電緊張和系統(tǒng)運行安全性下降，因而由費用高 的機組來承擔(dān)負荷或者從鄰近的電網(wǎng)買入價格較高的電能。另一方面，如果估 計過量可能導(dǎo)致過多的旋轉(zhuǎn)備用因而增加運行費用，對于長期負荷預(yù)測來說有 可能造成設(shè)置過多的設(shè)備，引起資金積壓。另外，準(zhǔn)確的負荷預(yù)測也有利于用 電計劃的管理，節(jié)煤、節(jié)油和降低發(fā)電成本，制定合理的電源建設(shè)規(guī)劃，提高 電力系統(tǒng)的經(jīng)濟效益和社會效益。 目前，我國大多數(shù)系統(tǒng)的短期負荷預(yù)測都是由調(diào)度人員人工進行，通過尋 找相似日直觀的預(yù)測。這就完全依賴于調(diào)度人員的經(jīng)驗，因此迫切需要有一個 自動負荷預(yù)測系統(tǒng)，提前一天或一周預(yù)測系統(tǒng)負荷，以滿足經(jīng)濟調(diào)度和機組調(diào) 停的需要。重要的是，這一系統(tǒng)應(yīng)具有規(guī)范化的預(yù)報過程，減少對運行人員經(jīng) 驗的依賴性，適用于不同系統(tǒng)并滿足精度要求。 1 2 國內(nèi)外短期負荷預(yù)測研究現(xiàn)狀 長期以來，國內(nèi)外電力工作者對短期負荷預(yù)測的理論和方法作了大量研究。 其主要出發(fā)點大多是以更為先進的理論提高預(yù)測的準(zhǔn)確性，為電力系統(tǒng)經(jīng)濟性 和安全性提供有力的保障。 目前，電力系統(tǒng)短期負荷預(yù)測的方法很多。這些方法可以分為經(jīng)典方法和 智能技術(shù)兩大類。經(jīng)典方法主要是基于各種統(tǒng)計理論的時間序列分析【3 巧1 法，而 第1 章緒論 智能技術(shù)包括人工神經(jīng)網(wǎng)絡(luò)【6 】、專家系統(tǒng)法 7 1 、小波分析預(yù)測方法等【8 ，9 l ( 1 ) 時間序列法時間序列法就是根據(jù)負荷的歷史資料，設(shè)法建立一個數(shù)學(xué) 模型，用這個數(shù)學(xué)模型一方面來描述電力負荷這個隨機變量變化過程的統(tǒng)計規(guī) 律性；另一方面在該數(shù)學(xué)模型的基礎(chǔ)上再確立負荷預(yù)測的數(shù)學(xué)表達式，對未來 的負荷進行預(yù)測。時間序列法主要有自回歸a r ( p ) 、滑動平均m a ( q ) 和自回歸 與滑動平均a r m a ( p ，q ) 等。這些方法的優(yōu)點是：所需歷史數(shù)據(jù)少、工作量少。 缺點是：沒有考慮負荷變化的因素，只致力于數(shù)據(jù)的擬合，對規(guī)律性的處理不 足，只適用于負荷變化比較均勻的短期預(yù)測。 ( 2 ) 回歸分析法回歸分析方法就是根據(jù)負荷過去的歷史資料，建立可以進 行數(shù)學(xué)分析的數(shù)學(xué)模型，對未來的負荷進行預(yù)測，也就是用數(shù)理統(tǒng)計中的回歸 分析方法，即通過對變量的觀測數(shù)據(jù)進行統(tǒng)計分析，確定變量之間的相關(guān)關(guān)系， 從而實現(xiàn)預(yù)測的目的 1 0 a i 。包括線性回歸和非線性回歸。其中多元線性回歸模型 是負荷預(yù)測中最常用的方法，式( 卜1 ) 給出了多元線性回歸模型的具體形式： y ( 0 = a o + t h x l ( t ) + + a n x ( t ) + 口( f ) ，1 1 、 、， 式中：y ( o 表示負荷；卻( f ) ，x 2 ( t ) ，( ，) ，表示與負荷變化相關(guān)的變量，諸如 時間變量、氣象變量等；n o ，a l ，口n 為回歸系數(shù)，口( f ) 為誤差項?；貧w系數(shù) 珊，口i 一，a n 的估計可以通過最小二乘法實現(xiàn)。 式( 卜1 ) 的模型是建立在相關(guān)變量一( f ) ，x 2 ( o ，x 。( r ) 與負荷) ，( f ) 之間的相 關(guān)分析的基礎(chǔ)上的，因而模型的準(zhǔn)確度與相關(guān)變量的選取密切相關(guān)。正確地選 擇相關(guān)變量通常需要豐富的實踐經(jīng)驗或?qū)ω摵勺兓?guī)律的深入分析，這給回歸 預(yù)測模型在實際應(yīng)用中帶來了較大的困難。 ( 3 ) 灰色模型法灰色系統(tǒng)理論【1 2 】將一切隨機變化量看作是在一定范圍內(nèi) 變化的灰色量，常用累加生成( a g o ) 和累減生成( t a o o ) 的方法將雜亂無章的原 始數(shù)據(jù)整理成規(guī)律性較強的生成數(shù)據(jù)列。用灰色模型( g m ) 的微分方程作為電力 系統(tǒng)單一指標(biāo)( 如負荷) 的預(yù)測時，求解微分方程的時間響應(yīng)函數(shù)表達式即為所求 的灰色預(yù)測模型，對模型的精度和可信度進行校驗并修正后即可據(jù)此模型預(yù)測 未來的負荷。此法適用于短、中、長三個時期的負荷預(yù)測。 灰色預(yù)測是一種對含有不確定因素的系統(tǒng)進行預(yù)測的方法。以灰色系統(tǒng)理 東北電力大學(xué)碩i + 學(xué)位論文 論為基礎(chǔ)的灰色預(yù)測技術(shù)，可在數(shù)據(jù)不多的情況下找出某個時期內(nèi)起作用的規(guī) 律，建立負荷預(yù)測的模型。分為普通灰色系統(tǒng)模型和最優(yōu)化灰色模型兩種。普 通灰色預(yù)測模型是一種指數(shù)增長模型，當(dāng)電力負荷嚴格按指數(shù)規(guī)律持續(xù)增長時， 此法有預(yù)測精度高、所需樣本數(shù)據(jù)少、計算簡便、可檢驗等優(yōu)點；缺點是對于 具有波動住變化的電力負荷，其預(yù)測誤差較大，不符合實際需要。而最優(yōu)化灰 色模型可以把有起伏的原始數(shù)據(jù)序列變換成規(guī)律性增強的成指數(shù)遞增變化的序 列，大大提高預(yù)測精度和灰色模型法的適用范圍?；疑Ｐ头ㄟm用于短期負荷 預(yù)測。 灰色預(yù)測的優(yōu)點：要求負荷數(shù)據(jù)少、不考慮分布規(guī)律、不考慮變化趨勢、 運算方便、短期預(yù)測精度高、易于檢驗。 缺點：一是當(dāng)數(shù)據(jù)離散程度越大，即數(shù)據(jù)灰度越大，預(yù)測精度越差；二是 不大適合于電力系統(tǒng)的長期后推若干年的預(yù)測。 ( 4 ) 綜合預(yù)測方法綜合預(yù)測方法是指將多種預(yù)測方法所得的預(yù)測結(jié)果在 一定的條件下進行線性組合，即進行加權(quán)組合的一種預(yù)測方法。綜合預(yù)測方法 可分為等權(quán)預(yù)測方法和優(yōu)選組合預(yù)測方法。 設(shè)，( f = 1 , 2 ，k ) 為第f 個模型的預(yù)測值，如果用正代表綜合預(yù)測值，則等 權(quán)預(yù)測方法得到的預(yù)測值為： ，k f = 三yf( 卜2 ) “七智“ 優(yōu)選組合預(yù)測有兩類概念，一是指將幾種預(yù)測方法所得的預(yù)測結(jié)果，選取 適當(dāng)?shù)臋?quán)重進行加權(quán)平均的一種預(yù)測方法；二是指在幾種預(yù)測方法中進行比較， 選擇擬和優(yōu)度最佳或標(biāo)準(zhǔn)離差最小的預(yù)測模型作為最優(yōu)模型進行預(yù)測。需要指 出的是，綜合預(yù)測方法只有在單個預(yù)測模型不能完全準(zhǔn)確描述負荷的變化規(guī)律 時才能發(fā)揮其優(yōu)勢。若單一預(yù)測模型可以很好的反映負荷的變化，它的預(yù)測準(zhǔn) 確度完全有可能比綜合預(yù)測方法好。 ( 5 ) 神經(jīng)網(wǎng)絡(luò)預(yù)測方法神經(jīng)網(wǎng)絡(luò)預(yù)測方法的特點是不需要建立描述負荷 變化規(guī)律的明確數(shù)學(xué)表達式，而通過模仿人腦的智能化處理功能對負荷歷史數(shù) 據(jù)進行記憶、判斷和推理，從而得出預(yù)測結(jié)果。 第1 章緒論 i i 神經(jīng)網(wǎng)絡(luò)預(yù)測方法包括多層前向神經(jīng)網(wǎng)絡(luò)、誤差反向傳播神經(jīng)網(wǎng)絡(luò)( 又稱 b p 網(wǎng)絡(luò)) 、反饋式神經(jīng)網(wǎng)絡(luò)、自組織神經(jīng)網(wǎng)絡(luò)等。其中最常用的是b p 網(wǎng)絡(luò)，b p 算法是在導(dǎo)師指導(dǎo)下，適合于多層神經(jīng)元網(wǎng)絡(luò)的一種學(xué)習(xí)，它是建立在梯度下 降法的基礎(chǔ)上的?；赽 p 算法的神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)見圖l - l 。 誤差反傳( 學(xué)習(xí)算法) 昏靳一+ 圖1 - 1 基于b p 算法的神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 赫 | 粵手 b p 網(wǎng)絡(luò)不僅有輸入層結(jié)點，輸出層結(jié)點，而且有一層或多層隱含結(jié)點。對 于輸入信息，要先向前傳播到隱含層的結(jié)點上，經(jīng)過各單元的特性為s i g m o i d 型的激活函數(shù)運算后，把隱含結(jié)點的輸出信息傳播到輸出結(jié)點，最后給出輸出 結(jié)果。網(wǎng)絡(luò)的學(xué)習(xí)過程由正向和反向傳播兩部分組成。在正向傳播過程中，每 一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元網(wǎng)絡(luò)。如果輸出層不能得到期望輸出， 即實際輸出值與期望輸出值之間有誤差，那么轉(zhuǎn)入反向傳播過程，將誤差信號 沿原來的連接通路返回，通過修改各層神經(jīng)元的權(quán)值，逐次地向輸入層傳播去 進行計算，再經(jīng)過正向傳播過程，這兩個過程反復(fù)作用，使得誤差信號最小。 優(yōu)點是：可以模仿人腦的智能化處理；對大量非結(jié)構(gòu)性、非精確性規(guī) 律具有自適應(yīng)功能；具有信息記憶、自主學(xué)習(xí)、知識推理和優(yōu)化計算的特點。 缺點是：初始值的確定無法利用已有的系統(tǒng)信息，易陷于局部極小的狀 態(tài)；神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程通常較慢，對突發(fā)事件的適應(yīng)性差，因而適用于短 期負荷預(yù)測。 ( 6 1 專家系統(tǒng)法專家系統(tǒng)預(yù)測法是對數(shù)據(jù)庫里存放的過去幾年甚至幾十 年的，每小時的負荷和天氣數(shù)據(jù)進行分析，從而匯集有經(jīng)驗的負荷預(yù)測人員的 知識，提取有關(guān)規(guī)則，按照一定的規(guī)則進行負荷預(yù)測。專家系統(tǒng)法，是對人類 的不可量化的經(jīng)驗進行轉(zhuǎn)化的一種較好的方法。但專家系統(tǒng)分析本身就是一個 東北電力大學(xué)碩卜學(xué)位論文 耗時的過程，并且某些復(fù)雜的因素( 如天氣因素) ，即使知道其對負荷的影響，但 要準(zhǔn)確定量地確定他們對負荷地區(qū)的影響也是很難的。專家系統(tǒng)預(yù)測法適用于 中、長期負荷預(yù)測。 此法的優(yōu)點是：能匯集多個專家的知識和經(jīng)驗，最大限度地利用專家的 能力；占有的資料、信息多，考慮的因素也比較全面，有利于得出較為正確 的結(jié)論。 缺點是：不具有自學(xué)習(xí)能力，受數(shù)據(jù)庫里存放的知識總量的限制： 對突發(fā)性事件和不斷變化的條件適應(yīng)性差。 ( 7 ) 小波分析預(yù)測方法負荷時間序列x ( t ) ，產(chǎn)l ，2 ，- l 。是動力系統(tǒng)演化過 程的外部表現(xiàn)，即系統(tǒng)的可觀測量。通常，我們不可能知道系統(tǒng)有哪些狀態(tài)變 量以及如何來支配系統(tǒng)的演化，但有一點可以肯定，有的變量長期作用于系統(tǒng)， 而有的作用于系統(tǒng)的時間較短。也就是說系統(tǒng)的狀態(tài)變量具有不同的時頻特性 即時間序列攜帶了長期趨勢和短期波動的信息。 作為預(yù)測的模型，就是要準(zhǔn)確的反應(yīng)出負荷的變化，而以往的傳統(tǒng)方法， 無論是神經(jīng)網(wǎng)絡(luò)法還是公認最成功的時間序列法，其模型都沒有充分的體現(xiàn)負 荷所具有的不同波動性，而是用一個負荷序列來進行整個預(yù)測，這可以說是預(yù) 測誤差的一個重要來源。 小波分析的預(yù)測方法i l3 】就是將負荷時間序列分別投影在各個尺度上，并對 不同的子序列分別采用相應(yīng)的模型進行預(yù)測。最后通過序列重構(gòu)，得到完整的 負荷預(yù)測結(jié)果。其精確性比直接用原序列有一定的改善。需要指出的是，小波 分析的預(yù)測結(jié)果與小波基的選擇有很大的關(guān)系。 其優(yōu)點是：能對不同的頻率成分采用逐漸精細的采樣步長，從而可以聚集 到信號的任意細節(jié)，尤其是對奇異信號很敏感，能很好的處理微弱或突變的信 號，其目標(biāo)是將一個信號的信息轉(zhuǎn)化成小波系數(shù)，從而能夠方便地加以處理、 儲存、傳遞、分析或被用于重建原始信號。這些優(yōu)點決定了小波分析可以有效 地應(yīng)用于負荷預(yù)測問題的研究。 1 。3 本文的主要工作 本文在進行大量的文獻調(diào)研和資料研究的基礎(chǔ)上，分別研究了基于自適應(yīng) 加權(quán)最小二乘支持向量機的負荷預(yù)測新方法，和基于小波分解和優(yōu)化加權(quán)最小 二乘支持向量機混合模型的短期負荷方法。從而有效的解決了支持向量機參數(shù) 選擇難的問題，且采用加權(quán)模型的支持向量機可根據(jù)樣本重要程度的不同，賦 予不同的加權(quán)系數(shù)。體現(xiàn)了負荷預(yù)測中“近大遠小”的原則。從而為支持向量 機解決回歸問題的實用化奠定了基礎(chǔ)。 本文所作的工作歸納為以下幾點： ( 1 ) 深入了解當(dāng)前國內(nèi)外負荷預(yù)測研究的現(xiàn)狀，對各種預(yù)測方法進行細致的 研究，了解它們所適用的范圍以及所存在的不足： ( 2 ) 進行負荷特性分析和數(shù)據(jù)預(yù)處理，為精確的預(yù)測做好數(shù)據(jù)上的準(zhǔn)備。用 小波模極大值的異常信號處理方法檢測出負荷的異常數(shù)據(jù)并將其剔除。 ( 3 ) 研究了一種基于自適應(yīng)加權(quán)最小二乘支持向量機的短期負荷方法。由于 單獨用支持向量機( s v m ) 進行電力系統(tǒng)負荷預(yù)測有一定的缺陷：s v m 計算矩 陣存儲需要較大的空間。 s v m 的核參數(shù)選擇至今無通用方法。如何設(shè)置影響 算法性能的一些關(guān)鍵參數(shù)，才能獲得較好的預(yù)測效果，一直是研究的熱點。 對所有的樣本數(shù)據(jù)，s v m 對其精度要求和偏離精度要求的懲罰是相同的。這種 處理方法對于有重要性差異的訓(xùn)練樣本來說是不合理的。最小二乘支持向量機 ( l e a s ts q u a r e ss u p p o r tv e c t o rm a c h i n e ，l s s v m ) 把支持向量機的學(xué)習(xí)問題轉(zhuǎn)化為 解線性方程組問題，簡化了計算，克服了標(biāo)準(zhǔn)支持向量機上述的第一個缺點； 用自適應(yīng)參數(shù)優(yōu)化法整定l s s v m 的參數(shù)，解決了第二個問題。通過加權(quán)克服 了第三個缺點。 ( 4 ) 研究了小波分解和優(yōu)化加權(quán)最小二乘支持向量機混合模型的短期負荷預(yù) 測方法。電力系統(tǒng)負荷序列既具有波動性又具有特殊的擬周期性，可看作多個 不同頻率分量的疊加。每個分量呈近似周期變化，具有相似的頻率特性和一致的 變化規(guī)律，也具有更強的可預(yù)測性。因此，在對負荷進行頻域分解的基礎(chǔ)上，根 據(jù)各頻率分量特點進行建模是提高預(yù)測精度的有效途徑。完成此任務(wù)的算法首選 小波變換。本文采用小波多分辯率分析方法將負荷值分解為幾個低頻段的擬周期 東北電力大學(xué)碩十學(xué)位論文 量及一個高頻段的隨機量，分別采用相匹配的預(yù)測模型。最后，通過求取各分量 預(yù)測結(jié)果之和，得到完整的負荷預(yù)測結(jié)果。本文建立了采用多層動態(tài)自適應(yīng)優(yōu)化 算法整定參數(shù)的優(yōu)化加權(quán)最小二乘支持向量機模型來預(yù)測經(jīng)小波分解后的各負 荷分量。 第2 幸統(tǒng)計學(xué)習(xí)和芰持向蕈機理論 第2 章統(tǒng)計學(xué)習(xí)和支持向量機理論 2 1 機器學(xué)習(xí)和統(tǒng)計學(xué)習(xí)基本理論 基于數(shù)據(jù)的機器學(xué)習(xí)是現(xiàn)代智能技術(shù)的重要方面，研究從觀測數(shù)據(jù)( 樣本) 出發(fā)尋找規(guī)律，利用這些規(guī)律對未來數(shù)據(jù)或無法觀測到的數(shù)據(jù)進行預(yù)測。包括 模式識別、神經(jīng)網(wǎng)絡(luò)等在內(nèi)，現(xiàn)有機器學(xué)習(xí)方法共同的重要理論基礎(chǔ)之一是統(tǒng) 計學(xué)。傳統(tǒng)統(tǒng)計學(xué)研究的是樣本數(shù)目趨于無窮大時的漸進理論，現(xiàn)有方法也多 是基于此假設(shè)。但在實際問題中，樣本數(shù)往往是有限的，因此一些理論上很優(yōu) 秀的學(xué)習(xí)方法在實際中表現(xiàn)的卻可能不盡人意。 7 與傳統(tǒng)統(tǒng)計學(xué)相比，統(tǒng)計學(xué)習(xí)理論( s t a t i s t i c a ll e a r n i n gt h e o r y ，s e t ) 是一種 專門研究小樣本情況下機器學(xué)習(xí)規(guī)律的理論。vv a p n i k 等人從六、七十年代開 始致力于此方面研究，到九十年代中期，隨著其理論的不斷發(fā)展和成熟，也由 于神經(jīng)網(wǎng)絡(luò)等學(xué)習(xí)方法在理論上缺乏實質(zhì)性進展，統(tǒng)計學(xué)習(xí)理論開始受到越來 越廣泛的重視。 統(tǒng)計學(xué)習(xí)理論是建立在一套較堅實的理論基礎(chǔ)之上的，為解決有限樣本學(xué) 習(xí)問題提供了一個統(tǒng)一的框架。它能將很多方法納入其中，有望幫助解決許多 原來難以解決的問題( 比如神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇問題、局部極小點問題等) ；同時， 在這一理論基礎(chǔ)上發(fā)展了一種新的通用學(xué)習(xí)算法一支持向量機( s u p p o a v e c t o r m a c h i n e ，s v m ) ，它已初步表現(xiàn)出很多優(yōu)于已有方法的性能，一些學(xué)者認為，s l t 和s v m 正在成為繼神經(jīng)網(wǎng)絡(luò)研究之后新的研究熱點，并將有力地推動機器學(xué)習(xí) 理論和技術(shù)的方展。 2 1 1 機器學(xué)習(xí)的基本問題 2 1 1 1 經(jīng)驗風(fēng)險最小化 機器學(xué)習(xí)的目的就是根據(jù)給定的訓(xùn)練樣本求系統(tǒng)輸入輸出之間的依賴關(guān) 系。學(xué)習(xí)問題一般的表示為：變量y 與x 之間存在的未知依賴關(guān)系，即遵循某 一未知的聯(lián)合概率以暑力。機器學(xué)習(xí)問題就是根據(jù)l 個獨立同分布觀測樣本 東北電力大學(xué)碩f 學(xué)位論文 ( x i ，乃) ，( 恐，咒) 9a b - 9 ( 葺，y t ) ，在一組函數(shù) f ( x ，w o 中求一個最優(yōu)的函數(shù)f ( x ，w ) 對 依賴關(guān)系進行估計，使式( 2 1 ) 的期望風(fēng)險r ( w ) 最小。 r ( w ) = i l ( y ，f ( x ，w ) ) d f ( x ，力 ( 2 1 ) 其中， f ( x ，w ) ) 稱為預(yù)測函數(shù)集，w 為函數(shù)的廣義參數(shù)。 f ( x ，們 可以表示為 任何的參數(shù)集。l ( y ，f ( x ，w ，) ) 為由于用f ( x ，w ) 對y 進行預(yù)測而造成的損失。預(yù)測 函數(shù)也稱為學(xué)習(xí)函數(shù)、學(xué)習(xí)模型或?qū)W習(xí)機器。 聯(lián)合概率f 力通常未知，唯一能夠獲得的信息被包含在訓(xùn)練樣本中，所 以在傳統(tǒng)的學(xué)習(xí)方法中通常用經(jīng)驗風(fēng)險的最小化代替期望風(fēng)險最小化，這就是 所謂的經(jīng)驗風(fēng)險最小化原則( e m p i r i c a l 硒s km i n i m i z a t i o n , e r m ) 。也就是說，用 樣本定義經(jīng)驗風(fēng)險8 ( w ) 如下： 1 衛(wèi) j k ( w ) = 亡上( m ，( 薯，w ) ) ( 2 2 ) ，i = l 機器學(xué)習(xí)的目的就是要設(shè)計學(xué)習(xí)算法，使上述風(fēng)險最小，作為對r ( w ) 的評 估。實際上，經(jīng)驗風(fēng)險只有在樣本趨于無窮時才依概率收斂于期望風(fēng)險。 2 1 1 2 模型復(fù)雜性與推廣能力 e r m 準(zhǔn)則不成功的一個例子是神經(jīng)網(wǎng)絡(luò)的過學(xué)習(xí)問題。開始，很多注意力 都集中在如何使j 乙。( w ) 更小，但很快發(fā)現(xiàn)，訓(xùn)練誤差小并不總能導(dǎo)致好的預(yù)測 效果。某些情況下，訓(xùn)練誤差過小反而會導(dǎo)致推廣能力的下降，即真實風(fēng)險的 增加，這就是過學(xué)習(xí)問題。 之所以出現(xiàn)過學(xué)習(xí)現(xiàn)象，一是因為樣本不充分，二是學(xué)習(xí)機器設(shè)計不合理， 這兩個問題是互相關(guān)聯(lián)的。設(shè)想一個簡單的例子，假設(shè)有一組實數(shù)樣本 x ，y l ， y 取值在 0 ，1 之間，那么不論樣本是依據(jù)什么模型產(chǎn)生的，只要函數(shù) f ( x ，口) = s i n ( t r x ) 去擬合它們( 口是待定參數(shù)) ，總能夠找到一個口使訓(xùn)練誤差為 零，但顯然得到的“最優(yōu)”函數(shù)并不能正確代表真實的函數(shù)模型。究其原因， 是試圖用一個十分復(fù)雜的模型去擬合有限的樣本，導(dǎo)致喪失了推廣能力。在神 經(jīng)網(wǎng)絡(luò)中，若對有限的樣本來說網(wǎng)絡(luò)學(xué)習(xí)能力過強，足以記住每個樣本，此時 經(jīng)驗風(fēng)險很快就可以收斂到很小甚至零，但卻根本無法保證它對未來樣本能給 第2 章統(tǒng)計學(xué)習(xí)和支持向帚機理論 出好的預(yù)測，學(xué)習(xí)機器的復(fù)雜性與推廣性之間的這種矛盾同樣可以在其它學(xué)習(xí) 方法中看到。 由此可看出，有限樣本情況下，1 ) 經(jīng)驗風(fēng)險最小并不一定意味著期望風(fēng)險 最小，2 ) 學(xué)習(xí)機器的復(fù)雜性不但應(yīng)與所研究的系統(tǒng)有關(guān)，而且要和有限數(shù)目的 樣本相適應(yīng)。 2 1 2 統(tǒng)計學(xué)習(xí)理論的核心內(nèi)容 統(tǒng)計學(xué)習(xí)理論就是研究小樣本統(tǒng)計估計和預(yù)測的理論，主要內(nèi)容包括四個 方面： 經(jīng)驗風(fēng)險最小化原則下統(tǒng)計學(xué)習(xí)一致性的條件： 在這些條件下關(guān)于統(tǒng)計學(xué)習(xí)方法推廣性的界的結(jié)論； 在這些界的基礎(chǔ)上建立的小樣本歸納推理準(zhǔn)則； 實現(xiàn)新的準(zhǔn)則的實際算法。 其中，最具有指導(dǎo)性的理論結(jié)果是推廣性的界，與此相關(guān)的一個核心概念 是v c 維 2 1 2 1v c 維 為了研究學(xué)習(xí)過程一致收斂的速度和推廣性，統(tǒng)計學(xué)習(xí)理論定義了一系列 有關(guān)函數(shù)集學(xué)習(xí)性能的指標(biāo)，其中最重要的是v c 維。v c 維是統(tǒng)計學(xué)習(xí)理論中 的一個核心概念，它是目前為止對函數(shù)集學(xué)習(xí)性能最好的描述指標(biāo)。模式識別 方法中v c 維的直觀定義是：對一個指示函數(shù)集，如果存在h 個樣本能夠被函 數(shù)集中的函數(shù)按所有可能的2 h 種形式分開，則稱函數(shù)集能夠把h 個樣本打散： 函數(shù)集的v c 維就是它能打散的最大樣本數(shù)目h 。若對任意數(shù)目的樣本都有函 數(shù)能將它們打散，則函數(shù)集的v c 維就是無窮大。有界實函數(shù)的v c 維可以通過 用一定的閾值將它轉(zhuǎn)化成指示函數(shù)來定義。 v c 維反映了函數(shù)集的學(xué)習(xí)能力，v c 維越大則學(xué)習(xí)機器越復(fù)雜( 容量越大) 。 遺憾的是，目前尚沒有通用的關(guān)于任意函數(shù)集v c 維計算的理論，只對一些特 殊的函數(shù)集知道其v c 維。比如在n 維實數(shù)空間中線性分類器和線性函數(shù)的v c 維是n + l 。對于一些比較復(fù)雜的學(xué)習(xí)機器( 如神經(jīng)網(wǎng)絡(luò)) ，其v c 維除了與函數(shù) 東北電力大學(xué)碩上學(xué)位論文 集( 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)) 有關(guān)外，還受學(xué)習(xí)算法等的影響，其確定更加困難。對于 給定的學(xué)習(xí)函數(shù)集如何用理論或試驗的方法計算其v c 維是當(dāng)前統(tǒng)計學(xué)習(xí)理論 中一個熱點研究問題。 2 1 2 2 推廣性的界 統(tǒng)計學(xué)習(xí)理論系統(tǒng)地研究了對于各種類型的函數(shù)集的經(jīng)驗風(fēng)險和實際風(fēng)險 之間的關(guān)系，即推廣性的界。關(guān)于兩類分類問題，其結(jié)論是：對指示函數(shù)集中 的所有函數(shù)( 包括使經(jīng)驗風(fēng)險最小的函數(shù)) ，經(jīng)驗風(fēng)險乙。( 們和實際風(fēng)險r ( 叻之 間以1 一玎的概率滿足如下關(guān)系【1 4 1 ： r ( 叻曩( 叻+ ( 2 - 3 ) 其中h 是函數(shù)集的v c 維，n 是樣本數(shù)。 這一結(jié)論從理論上說明了學(xué)習(xí)機器的實際風(fēng)險是由兩部分組成的：一是經(jīng) 驗風(fēng)險( 訓(xùn)練誤差) ，另一部分稱作置信范圍，它和學(xué)習(xí)機器的v c 維及訓(xùn)練樣 本數(shù)有關(guān)，可以簡單地表示為； r ( 叻墨。( 叻+ ( 矗以) ( 2 4 ) 這表明，在有限訓(xùn)練樣本下，機器學(xué)習(xí)的v c 維越高( 復(fù)雜性越高) 則置 信范圍越大，導(dǎo)致實際風(fēng)險與經(jīng)驗風(fēng)險之間可能的差別越大。這就是為什么會 出現(xiàn)過學(xué)習(xí)現(xiàn)象的原因。機器學(xué)習(xí)過程不但要使經(jīng)驗風(fēng)險最小，還要使v c 維 盡可能小以便縮小置信范圍，才能取得較小的實際風(fēng)險，即對未來樣本有較好 的推廣性。 需要指出，推廣性的界是對于最壞情況的結(jié)論，在很多情況下是較松的， 尤其當(dāng)v c 維較高時更是如此。而且，這種晃只在對同一類學(xué)習(xí)函數(shù)進行比較時 有效，由此可見，從函數(shù)集中選擇最優(yōu)的函數(shù)，在不同函數(shù)集之間比較卻不一 定成立。v a p n i k 指出，尋找更好地反映學(xué)習(xí)機器能力的參數(shù)和得到更緊的界是 學(xué)習(xí)理論今后的研究方向之一。 2 1 2 3 結(jié)構(gòu)風(fēng)險最小化 從上面的結(jié)論看到，e r m 原則在樣本有限時是不合理的，我們需要同時最 第2 幸統(tǒng)計學(xué)習(xí)和支持向量機理論 小化經(jīng)驗風(fēng)險和置信范圍。其實，在傳統(tǒng)方法中，選擇學(xué)習(xí)模型和算法的過程 就是調(diào)整置信范圍的過程，如果模型比較適合現(xiàn)有的訓(xùn)練樣本( 相當(dāng)于h n 值 適當(dāng)) ，則可以取得比較好的效果。但因為缺乏理論指導(dǎo)，這種選擇只能依賴先 驗知識和經(jīng)驗，造成了如神經(jīng)網(wǎng)絡(luò)等方法對使用者“技巧”的過分依賴。 統(tǒng)計學(xué)習(xí)理論提出了一種新的策略，即把函數(shù)集構(gòu)造為一個函數(shù)子集序列， 使各個子集按照v c 維的大小排列：在每個子集中尋找最小經(jīng)驗風(fēng)險，同時在 子集間折衷考慮經(jīng)驗風(fēng)險和置信范圍，取得實際風(fēng)險的最小，如圖2 1 所示。 這種思想稱作結(jié)構(gòu)風(fēng)險最小化原則( s t r u c t u r a lr i s km i n i m i z a t i o n , s r m ) 。統(tǒng)計學(xué) 習(xí)理論還給出了合理的函數(shù)子集結(jié)構(gòu)應(yīng)滿足的條件及在s r m 原則下實際風(fēng)險 收斂的性質(zhì)。 琴髫二5 圖2 - 1 結(jié)構(gòu)風(fēng)險最小化示意圖 問 實現(xiàn)s r m 原則可以有兩種思路，一是在每個子集中求最小經(jīng)驗風(fēng)險，然 后選擇使最小經(jīng)驗風(fēng)險和置信范圍之和最小的子集。顯然這種方法比較費時， 當(dāng)子集數(shù)目很大甚至無窮時不可行。因此有了第二種思路，即設(shè)計函數(shù)集的某 種結(jié)構(gòu)使每個子集中都能取得最小的經(jīng)驗風(fēng)險( 如使訓(xùn)練誤差為o ) ，然后只需 選擇適當(dāng)?shù)淖蛹怪眯欧秶钚?，則這個子集中使經(jīng)驗風(fēng)險最小的函數(shù)就是最 優(yōu)函數(shù)。支持向量機方法實際上就是這種思想的具體體現(xiàn)。 東北屯力大學(xué)碩十學(xué)位論文 2 2 支持向量機的基本原理 支持向量機( s u p p o r tv e c t o rm a c h i n e ，s v m ) 是由v a p n i k 在統(tǒng)計學(xué)習(xí)理論基 礎(chǔ)上提出的一類新的機器學(xué)習(xí)算法，它基于結(jié)構(gòu)風(fēng)險最小化原理，與傳統(tǒng)機器 學(xué)習(xí)方法相比，s v m 具有小樣本學(xué)習(xí)能力強、模型推廣能力好、高維輸入數(shù)據(jù) 處理能力強等特性。 支持向量機是從線性可分情況下的最優(yōu)分類提出的： 設(shè)存在線性可分的兩類樣本 ( ，衛(wèi)) ，扭l ，2 ，可被某個超平面 ( w + 6 = o 沒有錯誤的分離，其中薯e ，弘 一1 ，1 ，為樣本個數(shù)，彤為n 維實數(shù)空間。則與兩類樣本點距離最大( 稱邊緣最大) 的分類超平面稱為最優(yōu)超 平面，如圖2 2 所示，h 即為最優(yōu)超平面。其中距離超平面最近的異類向量( ，馬 上的點) 被成為支持向量( s u p p o r tv e c t o r ) 。最優(yōu)超平面將由離它最近的少數(shù)樣 本點( 稱為支持向量) 決定，而與其它樣本無關(guān)。 最優(yōu)超平面將會獲得最優(yōu)的推廣能力。 圖2 - 2 最優(yōu)超平面的概念 我們用如下形式描述與樣本間隔為1 ( 歸一化后) 的分類超平面： ( w x ) 十6 = 0 ( 2 5 ) y = 1 ，若( w x ) + 6 1 ；y = 一1 ，若( w x ) + b - i ( 2 6 ) 通過計算可知，分類間隔等于2 州叫i 。使分類間隔最大等價于使0 叫1 2 2 最小。使 第2 章統(tǒng)計學(xué)習(xí)和支持向量機理論 分類日j 隔最大就是對泛化能力的控制，這是s v m 的核心思想之一。設(shè)在n 維 空間中，樣本分布在一個半徑為r 的超球范圍內(nèi)，則滿足條件 ，4 的正則超 平面構(gòu)成的v c 維滿足下面的界： h - m i n ( r 2 4 2 ， ) + l ( 2 7 ) 因此使w 最小就是使v c 維的上界最小，從而實現(xiàn)s r m 準(zhǔn)則中對函數(shù) 復(fù)雜性的選擇。 2 2 1支持向量分類模型( s v c ) ( 1 ) 線性支持向量機 最優(yōu)超平面可通過求解下式獲得： 毗w1 1 2 ) s t 只( ( w t ) + 6 ) l ( 2 8 ) 由于目標(biāo)函數(shù)和約束條件都是凸的，根據(jù)最優(yōu)化理論，這個問題存在唯一 全局最有解。按照非線性規(guī)劃對偶性理論，對其建立沒有約束的l a g r a n g e 方程， 并將最小值問題轉(zhuǎn)化成對偶的最大值問題： 三( w ，6 ，口) ：委l l 叫1 2 一圭q ( 只( 而，+ 6 ) 一1 ) ( 2 9 ) 其中餌0 ，是l a g r a n g e 乘子。根據(jù)k k t ( k a r u s h k u h n y u c k e r ) 有： 嘉k 喜q 只一- o 伢 殺= 害啦m = 。 協(xié) 進而，選用一個支持向量樣本五可以進一步確定b ： b = 只一w 薯 ( 2 一1 2 ) 將式( 2 - 1 0 ) 和式( 2 - 1 2 ) 兩式代入到l a g r a n g e 方程中，經(jīng)運算得到原最優(yōu)問 東北電力大學(xué)碩 學(xué)位論文 題的w o l f 對偶問題： m a x w ( a ) = q 一去q q 只乃五_ ( 2 1 3 ) s t q 只= o ， q o ， i = l 2 ，l ( 2 1 4 ) 解出式( 2 一1 3 ) 就可確定最優(yōu)超平面。這里q 大都數(shù)都為0 ，不為0 的q 對 應(yīng)的向量就是支持向量。若彳為式( 2 1 3 ) 的最優(yōu)解，s t j w * = a j y , x j 為訓(xùn)練 樣本向量的線性組合。而選用一個支持向量樣本葺可以進一步確憊b ： b + = y f - - w * t 最后得到最優(yōu)決策函數(shù)： m 一柳 w a = s 劬倭訓(xùn)) + 6 + ( 2 - 1 5 ) s i g n l 為符號函數(shù)。對輸入樣本進行測試時，可計算廠( 功來確定x 的歸屬 線性劃分的理想情況是訓(xùn)練樣本集可以完全線性分量。當(dāng)訓(xùn)練樣本集不能 分離( 訓(xùn)練樣本有重疊現(xiàn)象) 時，引入松弛變量磊0 ，將約束條件放松為： 咒( ( w - ) + 6 ) 1 一毒， f = 1 ，2 ， ( 2 1 6 ) 同時對目標(biāo)函數(shù)引入懲罰項： 廬善) ：勁w 卜c ( 圭毒) ( 2 - 1 7 ) 建立新的凸規(guī)劃問題并求解，推導(dǎo)所得的w o l f 對偶問題是： m a x w ( a ) = q 一去q q 咒乃而x j ( 2 1 8 ) s t q m = o ，c k a , o ，i = l 一2 ， 唯一的區(qū)別是對睨加了個上限限制 ( 2 ) 非線性支持向量機 第2 幸統(tǒng)計學(xué)習(xí)和支持向量機理論 s v m 方法真正有價值的應(yīng)用是用來解決非線性問題，在線性不可分的問題 上，v a p n i k 等人成功地引入了核空間理論，將低維輸入空間的數(shù)據(jù)通過非線性 映射函數(shù)映射到高維屬性空間，從而把分類問題轉(zhuǎn)化到高維屬性空間進行。大 多數(shù)輸入空間線性不可分問題在高維空間可以轉(zhuǎn)化為線性可分問題。由于尋優(yōu) 函數(shù)和分類函數(shù)都只涉及訓(xùn)練樣本之間的內(nèi)積運算，所以高維特征空間只需進 行內(nèi)積運算。而這種內(nèi)積運算又可以通過原輸入空間中的核函數(shù)的計算實現(xiàn)， 即核函數(shù)茁( ，工，) = “) 妒( 工，) 。這一問題的解決，使得s v m 分類器正式成為通 用的分類器之一。 一般地，對于非線性問題，通過非線性映射變換為一個高維空間線性問題 的困難在于這個變換可能非常復(fù)雜。但是根據(jù)泛函的有關(guān)理論，我們沒有必要 知道變換的形式，只要核函數(shù)x ( t ，膏，) 滿足m e r c e r 條件就一定對應(yīng)某一空間的 內(nèi)積i l5 1 ?，F(xiàn)在只要我們采用適當(dāng)?shù)暮撕瘮?shù)k ( x j ，x ，) ，就可以實現(xiàn)某一非線性變換 之后的線性分類。這樣就避開了高維變化計算問題，使問題大大簡化。圖2 3 對 此給出二維樣本數(shù)據(jù)的直觀示意圖。 廣國一戇 圖2 - 3 樣本空間到贏維特征空間的非線性映射 此時，樣本空間中判別函數(shù)是： 廠c x ，= s z 印 ；量只足c 一，_ ，一a c z t e ， l 支持相tj 這樣，就通過核函數(shù)和線性s v m 方法解決了非線性s v m 分類問題。 ( 3 ) 核函數(shù) 概括起來，核函數(shù)方法的主要特征如下： 核函數(shù)的計算量與特征空間的維數(shù)無關(guān)。核函數(shù)的引入避免了直接在變換后 的高維特征空間的運算，大大減小了計算量，避免了“維數(shù)災(zāi)難”。因此，甚至 可以選擇一些核函數(shù)，使得特征空間的維數(shù)為無窮大，以提高模式分類和回歸 能力。 無需知道非線性變換函數(shù)廬( ) 的形式及參數(shù)。原始輸入空間進行的核函數(shù)計 算實質(zhì)上是隱式的對應(yīng)于在非線性變換函數(shù)( ) 變換后的高維特征空間的運 算，這樣克服了一般的映射方法中非線性函數(shù)結(jié)構(gòu)及其參數(shù)的確定以及特征空 間維數(shù)的限制。 不同的核函數(shù)確定了不同的非線性變換函數(shù)4 ( o ) 。核函數(shù)的形式和參數(shù)的變 化會改變特征空間的性質(zhì)，因而選擇不同形式的核函數(shù)k 就可以生成不同的支 持向量機。 核函數(shù)方法可以和其他算法結(jié)合起來，形成多種不同的基于核函數(shù)技術(shù)的方 法。而且這兩部分的設(shè)計可以單獨進行，并可以為不同的應(yīng)用選擇不同的核函 數(shù)和算法。 所有滿足m e r c e r 條件的對稱函數(shù)都可作為核函數(shù)。 目前，常用的核函數(shù)有以下幾種： 線性核函數(shù)( l i n e a r ) ：