基于MATLAB的SVR回歸模型的設(shè)計與實現(xiàn)

1、基于MATLAB的SVR回歸模型的設(shè)計與實現(xiàn)TheDesignandImplementationofSVRRegressionModelBasedonMATLAB學生姓名：王新蕾學生學號：10780232專業(yè)名稱：電子信息科學與技術(shù)指導(dǎo)教師：張艷（講師）計算機與信息工程學院2014年6月10日獨創(chuàng)性聲明本人聲明所呈交的畢業(yè)論文是本人在指導(dǎo)教師指導(dǎo)下進行的研究工作和取得的研究成果，除了文中特別加以引用標注之處外，論文中不包含其他人已經(jīng)發(fā)表或撰寫過的研究成果，沒有偽造數(shù)據(jù)的行為。簽字日期:畢業(yè)論文作者簽名:畢業(yè)論文版權(quán)使用授權(quán)書本畢業(yè)論文作者完全了解學校有關(guān)保留、使用論文的規(guī)定。同意學校保留并向有

2、關(guān)管理部門或機構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人授權(quán)天津城建大學可以將本論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)進行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本論文。（保密的畢業(yè)論文在解密后適用本授權(quán)說明）畢業(yè)論文作者簽名：指導(dǎo)教師簽名:簽字日期:簽字日期:支持向量機是根據(jù)統(tǒng)計學習理論提出的一種新的學習方法，近年來受到了國內(nèi)外學術(shù)界的廣泛重視，并已在模式識別和函數(shù)估計中得到廣泛應(yīng)用。支持向量機理論的最大特點是由有限的訓(xùn)練集樣本得到的小的誤差保證對獨立的測試集仍保持小的誤差。從而通過支持向量機（SVM）理論，可以建立支持向量回歸（SVR）預(yù)測模型，以解決各種實際問題。SVR算

3、法是模式識別中應(yīng)用比較廣泛的算法模型之一，它是支持向量機在函數(shù)逼近和回歸估計中的應(yīng)用。在SVR回歸分析中，使用支持向量機可以使回歸函數(shù)盡量平滑，其泛化能力強。本文論述了支持向量回歸的基本原理和思想，介紹了支持向量回歸算法以及所用到的幾種常見的核函數(shù)（即線性內(nèi)核、多項式內(nèi)核、徑向基函數(shù)內(nèi)核、高斯內(nèi)核）。本設(shè)計主要實現(xiàn)的功能有：數(shù)據(jù)集的創(chuàng)建、內(nèi)核函數(shù)的選取、參數(shù)的設(shè)置、訓(xùn)練集的回歸、數(shù)據(jù)集的保存與打開。通過不同核函數(shù)的選取以及相應(yīng)參數(shù)的設(shè)置對輸入數(shù)據(jù)集進行回歸。此模型主要解決非線性回歸模型的預(yù)測。通過實驗改變各個參數(shù)的不同取值對訓(xùn)練集進行回歸，并分別統(tǒng)計出支持向量的個數(shù)，回歸性能，程序運行時間。最

4、后對回歸的結(jié)果進行分析，得出各參數(shù)對回歸性能的影響。關(guān)鍵詞：支持向量回歸；訓(xùn)練算法；核函數(shù)；線性判別ABSTRACTSupportvectormachine(SVM)isanewmethodofstudybasedonstatisticallearningtheorywhichhasattractedextensiveattentionsbyacademiccirclesbothathomeandabroadinrecentyears.Ithasbeenwidelyusedinpatternrecognitionandfunctionestimation.Thebiggestcharacter

5、isticofsupportvectormachine(SVM)theoryisthatasmallerrorlimitedbythetrainingsetofsamplecanensuretheindependentestsetssmallerror.Thusasupportvectorregression(SVR)forecastingmodelcanbebuiltbysupportvectormachine(SVM)theoryanditcansolvevariouspracticalproblems.SVRalgorithmmodelisoneofpatternrecognitiona

6、lgorithm,whichismorewidelyusedinapproximationoffunctionandtheapplicationoftheregressionestimate.IntheSVRregressionanalysis,usingsupportvectormachine(SVM)cansmoothregressionfunctionasfaraspossible.Itsgeneralizationabilityisstrong.Thispaperdiscussesthebasicprincipleofsupportvectorregressionandintroduc

7、essupportvectorregressionalgorithmandseveralcommonkernelfunctions(thelinearkernel,polynomialkernelandradialbasisfunction(RBF)kernel,theGaussiankerneletc.).Thisessaysuccessfullymakesthesefunctionswork:thecreationofdatasets,theselectionofkernelfunction,parametersettings,returnofthetrainingset,theprese

8、rvationandopenofthedataset.Weaccomplishthereturnofinputofdatasetthroughtheselectionofdifferentkernelfunctionsandthesettingofcorrespondingparameter.Thismodelismainlytosolvethenonlinearregressionmodelprediction.Then,thesameissueisdonethroughtheexperimenttochangethevaluesofdifferentparameters,andthesta

9、tistics,thenumberofsupportvectorregression,performanceofprogramrunningtimeareaccounted.Finally,wehaveanalysistheresultsofregressionandgainedtheinfluenceofvariousparametersonthereturnperformance.Keywords:SupportVectorRegression;TrainingAlgorithms;KernelFunction;LinearDiscriminationAnalysis第1章緒論11.1 課

10、題研究背景11.2 國內(nèi)外研究現(xiàn)狀11.3 課題研究目的21.4 課題研究使用的開發(fā)工具31.5 論文組織結(jié)構(gòu)3第2章支持向量機回歸原理51.1.0 支持向量機51.2.0 支持向量回歸51 回歸初步形式51 線性支持向量回歸61 非線性支持向量回歸71.3.0 支持向量回歸核函數(shù)71.4.0 支持向量回歸算法81 支持向量回歸的算法的基礎(chǔ)81 SVR回歸算法101 關(guān)于算法的幾點說明11第3章基于Matlab實現(xiàn)SVR的總體設(shè)計132.2.1 總體設(shè)計思想132.3.1 功能模塊的劃分及相關(guān)流程圖132 主要功能模塊的劃分132 實現(xiàn)程序的主要框架圖132 支持向量回歸模型的流程圖14第4章

11、基于支持向量回歸模型的實現(xiàn)161.1.0 模型的功能描述161.2.0 運行結(jié)果171 主界面171 功能描述界面171 運行過程及結(jié)果181 命令窗口的顯示結(jié)果234.3系統(tǒng)的性能分析及結(jié)論24第5章總結(jié)27致謝28參考文獻29第1章緒論支持向量機(SVM)是在統(tǒng)計學習理論基礎(chǔ)上提出的一種新的學習方法。支持向量機(SVM)是一種比較好的實現(xiàn)了結(jié)構(gòu)風險最小化思想的方法。它的優(yōu)點是理論完備、訓(xùn)練時間短、全局優(yōu)化強、適應(yīng)性好、泛化性能好等。SVM已經(jīng)成為目前國內(nèi)外研究的熱點。本課題研究的SVR是支持向量機在函數(shù)回歸中的應(yīng)用。課題研究背景基于支持向量的學習是現(xiàn)代智能技術(shù)中的重要方面，研究從觀測數(shù)據(jù)(

12、樣本)出發(fā)尋找規(guī)律，利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行預(yù)測.包括模式識別、神經(jīng)網(wǎng)絡(luò)等在內(nèi)，現(xiàn)有支持向量機器學習方法共同的重要理論基礎(chǔ)之一是統(tǒng)計學.傳統(tǒng)統(tǒng)計學研究的是樣本數(shù)目趨于無窮大時的漸近理論，現(xiàn)有學習方法也多是基于此假設(shè).但在實際問題中，樣本數(shù)往往是有限的，因此一些理論上很優(yōu)秀的學習方法實際中表現(xiàn)卻可能不盡人意。與傳統(tǒng)統(tǒng)計學相比，統(tǒng)計學習理論(StatisticalLearningTheory或SLT)是一種專門研究小樣本情況下機器學習規(guī)律的理論.V.Vapnik等人從六、七十年代開始致力于此方面研究，到九十年代中期，隨著其理論的不斷發(fā)展和成熟，也由于神經(jīng)網(wǎng)絡(luò)等學習方法在理論上缺乏

13、實質(zhì)性進展，統(tǒng)計學習理論開始受到越來越廣泛的重視。統(tǒng)計學習理論是建立在一套較堅實的理論基礎(chǔ)之上的，為解決有限樣本學習問題提供了一個統(tǒng)一的框架.它能將很多現(xiàn)有方法納入其中，有望幫助解決許多原來難以解決的問題(比如神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)選擇問題、局部極小點問題等)；同時，在這一理論基礎(chǔ)上發(fā)展了一種新的通用學習方法支持向量機(SupportVectorMachine或SVM),它已初步表現(xiàn)出很多優(yōu)于已有方法的性能。通過結(jié)果風險最小化準則和核函數(shù)方法，較好地解決了模式分類器復(fù)雜性核推廣性之間的矛盾，引起了模式識別領(lǐng)域?qū)W者的極大關(guān)注。從此迅速的發(fā)展起來，現(xiàn)在已經(jīng)在許多領(lǐng)域(生物信息學，文本分類、手寫體識別、人臉檢

14、測等)都取得了成功的應(yīng)用，并且在研究過程中，取得了與傳統(tǒng)方法可比或更好的結(jié)果，還豐富了自身的內(nèi)容(如快速訓(xùn)練算法等)，從而更加推動了它在其他模式識別領(lǐng)域的應(yīng)用。由于其出色的學習性能，該技術(shù)已成為當前國際機器學習界的研究熱點，在模式識別、回歸估計、函數(shù)逼近等領(lǐng)域有了廣泛的應(yīng)用。本課題就是研究它在回歸估計中的應(yīng)用。國內(nèi)外研究現(xiàn)狀支持向量機一經(jīng)提出，就得到國內(nèi)外學者的高度關(guān)注。雖然支持向量機發(fā)展時間很短，但是由于它的產(chǎn)生是基于統(tǒng)計學習理論的，因此具有堅實的理論基礎(chǔ)。近幾年涌現(xiàn)出的大量令人矚目的理論研究成果，更為其應(yīng)用研究奠定了堅實基礎(chǔ)。如Anthonyetal.(1999)等人給出了關(guān)于硬鄰域支持向

15、量機學習誤差的嚴格理論界限，Shawe-Taylor(2000)和Cristianini(2000)也給出了類似的關(guān)于軟鄰域支持向量機和回歸情況下的誤差界限；Westonetal.(1998)和Vapnik(1995,1998)等研究了支持向量機的泛化性能及其在多值分類和回歸問題的擴展問題；Smola(1998)和Schoelkopf(1999)提出了支持向量機一般意義下的損失函數(shù)數(shù)學描述；脊回歸是由Tikhonov提出的一種具有特殊形式的正則化網(wǎng)絡(luò)，Girosi(1990)、Poggio(1975)等將其應(yīng)用到正則化網(wǎng)絡(luò)的學習中，Smolaetal.(1999)研究了狀態(tài)空間中脊回歸的應(yīng)用，

16、Girosi(1990)、Smola(1998)、Schoelkopf(1999)等討論了正則化網(wǎng)絡(luò)和支持向量機的關(guān)系。隨著支持向量機理論上深入研究，出現(xiàn)了許多變種支持向量機，如Smolaetal.(1999)提出的用于分類和回歸支持向量機。另外，一些學者還擴展了支持向量機概念，如Mangasarian(1997)等人的通用支持向量機(GeneralisedSVMs)。雖然SVM方法在理論上具有很突出的優(yōu)勢，但與其理論研究相比，應(yīng)用研究尚相對比較滯后，到目前，SVM已用于數(shù)據(jù)分類、回歸估計、函數(shù)逼近等領(lǐng)域.應(yīng)用最為廣泛的當屬模式識別領(lǐng)域，在模式識別方面最突出的應(yīng)用研究是貝爾實驗室對美國郵政手寫

17、數(shù)字庫進行的實驗，這是一個可識別性較差的數(shù)據(jù)庫，人工識別平均錯誤率是2.5%,用決策樹方法識別錯誤率是16.2%,兩層神經(jīng)網(wǎng)絡(luò)中錯誤率最小的是5.9%,專門針對該特定問題設(shè)計的五層神經(jīng)網(wǎng)絡(luò)錯誤率為5.0%(其中利用了大量先驗知識)，而用三種SVM方法得到的錯誤率分別為4.0%、4.1%和4.2%,且其中直接采用了16X6的字符點陣作為SVM的輸入，并沒有進行專門的特征提取。說明了SVM方法較傳統(tǒng)方法有明顯的優(yōu)勢，同時也得到了不同的SVM方法可以得到性能相近的結(jié)果。實驗還觀察到，三種SVM求出的支持向量中有80%以上是重合的，它們都只是總樣本中很少的一部分，說明支持向量本身對不同方法具有一定的不

18、敏感性(遺憾的是這些結(jié)論僅僅是有限的實驗中觀察到的現(xiàn)象，如果能得到證明，將會使SVM的理論和應(yīng)用有更大的突破)。圍繞這一字符識別實驗，還提出了一些對SVM的改進，比如引入關(guān)于不變性的知識、識別和去除樣本集中的野值、通過樣本集預(yù)處理提高識別速度等，相關(guān)的應(yīng)用還包括SVM與神經(jīng)網(wǎng)絡(luò)相結(jié)合對筆跡進行在線適應(yīng).除此之外，MIT用SVM進行的人臉檢測實驗也取得了較好的效果，可以較好地學會在圖像中找出可能的人臉位置.其它有報道的實驗領(lǐng)域還包括文本識別、人臉識別、三維物體識別、遙感圖像分析等，在函數(shù)回歸估計方面主要用于非線性系統(tǒng)識別問題、時間序列預(yù)測、機場游客吞吐量的預(yù)測問題及多維自由曲面的重建問題等。課題

19、研究目的此課題的設(shè)計目的在于訓(xùn)練及提高自己能綜合運用所學專業(yè)知識分析、解決實際問題的能力；掌握文獻檢索、資料查詢的基本方法以及獲取新知識的能力；系統(tǒng)的利用支持向量回歸相關(guān)理論知識和編程技能，利用MATLAB開發(fā)平臺和相關(guān)的統(tǒng)計學工具箱及支持向量回歸算法，設(shè)計改進并實現(xiàn)基于MATLAB的SVR回歸模型的實驗系統(tǒng)，通過運用M文件編寫回歸算法、GUI組件編寫主界面、編寫程序和裝載數(shù)據(jù)文件完成實驗界面的各個功能。從而熟悉了MATLAB編程、GUI組件編寫用戶界面以及回歸算法的程序?qū)崿F(xiàn)，同時也了解了支持向量回歸算法在實際問題預(yù)測模型中的應(yīng)用。課題研究使用的開發(fā)工具此課題主要運用MATLAB開發(fā)平臺，MA

20、TLAB既是一種直觀、高效的計算機語言,同時又是一個科學計算平臺。它為數(shù)據(jù)分析和數(shù)據(jù)可視化、算法和應(yīng)用程序開發(fā)提供了最核心的數(shù)學和高級圖形工具。根據(jù)它提供的500多個數(shù)學和工程函數(shù)，工程技術(shù)人員和科學工作者可以在它的集成環(huán)境中交互或編程以完成各自的計算。本課題研究用MATLAB程序編寫回歸算法和GUI組件編寫用戶界面來實現(xiàn)支持向量回歸模型的設(shè)計。開發(fā)工具的優(yōu)點：.編程效率高：Matlab是一種面向科學與工程計算的高級語言，允許用數(shù)學形式的語言來編寫程序，這樣就更接近我們書寫計算算法公式的思維方式。Matlab語言是一種解釋執(zhí)行的語言，與其他語言相比，它把編輯，編譯，連接和執(zhí)行融為一體，提高了程

21、序的運行速度，同時也便于修改和調(diào)試。.高效方便的矩陣和數(shù)組運算：在回歸過程中，輸入的數(shù)據(jù)集，運算的變量以及很多參數(shù)都是以數(shù)組，向量形式出現(xiàn)的，運算這些數(shù)據(jù)復(fù)雜，易出錯而且費時，所以方便高效的數(shù)組向量運算就顯得尤為重要，而Matlab恰好具有這樣便利的功能。并且Matlab語言還像其他語言一樣規(guī)定了矩陣的算術(shù)運算符，關(guān)系運算符，邏輯運算符，條件運算符及賦值運算符。這給編寫程序帶來很大方便。在支持向量回歸算法中包含了大量的數(shù)學模型和復(fù)雜的運算公式，所以用Matlab語言進行代碼編寫比較簡單，編程效率比較高。.方便的繪圖功能：本課題借助于Matlab的繪圖功能，能較為方便的建立支持向量回歸過程中的演

22、示圖形。Matlab有一系列繪圖函數(shù)命令，功能強大，使用方便。在執(zhí)行繪圖函數(shù)時是通過使用不同的圖形對象來實現(xiàn)圖形創(chuàng)建功能的這些圖形對象包括直線、文本、曲面等等。Matlab創(chuàng)建一個圖形對象時總會給該對象制定一個獨一無二的標識符，這個標識符就稱為句柄。通過使用句柄，用戶可以方便地訪問句柄所指定的對象，通過修改對象的屬性使圖形完全符合用戶的要求。1.5論文組織結(jié)構(gòu)本論文主要針對回歸型SVM在算法性能和推廣能力兩方面進行一些探討，全文共分5章，安排如下：第1章主要研究SVM研究背景和國內(nèi)外研究現(xiàn)狀，介紹了課題研究背景以及可以研究所用的開發(fā)工具。第2章詳細推導(dǎo)了線性情況下回歸機算法，然后引入了核函數(shù)將

23、線性算法推廣到非線性算法。還介紹了VC維數(shù)、結(jié)構(gòu)風險最小化。第3章此章介紹了本課題的總體設(shè)計思路和功能模塊的劃分及相關(guān)流程圖第4章介紹支持向量回歸模型的實現(xiàn)，及結(jié)果分析。第5章對支持向量回歸進行了分析與總結(jié)。第2章支持向量機回歸原理回歸預(yù)測研究從觀測數(shù)據(jù)出發(fā)尋找規(guī)律，利用這些規(guī)律對未來數(shù)據(jù)或無法觀測的數(shù)據(jù)進行回歸預(yù)測?；貧w預(yù)測的目的是根據(jù)給定的訓(xùn)練樣本集來估計某系統(tǒng)輸入和輸出之間的依賴關(guān)系，即尋找最優(yōu)函數(shù)，使它能夠反映訓(xùn)練集的數(shù)據(jù)走向趨勢，從而實現(xiàn)對未知輸出做盡可能準確的預(yù)測。支持向量機支持向量機是Cortes和Vapnik于1995年首先提出的，它在解決小樣本、非線性及高維模式識別中有許多特

24、有的優(yōu)勢，并能推廣應(yīng)用到函數(shù)擬合等其他機器學習問題中。支持向量機方法是建立在統(tǒng)計學習理論的VC維原理基礎(chǔ)上的，根據(jù)有限的樣本信息在模型的復(fù)雜性和學習能力之間尋求最佳折衷，以期獲得最好的推廣能力。VC維數(shù):模式識別方法中VC維的直觀定義是：對一個指示函數(shù)集，如果存在h個樣本能夠被函數(shù)集中的函數(shù)按所有可能的2h種形式分開，則稱函數(shù)集能夠把h個樣本打散；函數(shù)集的VC維就是它能打散的最大樣本數(shù)目ho若對任意數(shù)目的樣本都有函數(shù)能將它們打散，則函數(shù)集的VC維是無窮大。有界實函數(shù)的VC維可以通過用一定的閾值將它轉(zhuǎn)化成指示函數(shù)來定義。VC維反映了函數(shù)集的學習能力，VC維越大則學習機器越復(fù)雜（容量越大），目前尚

25、沒有通用的關(guān)于任意函數(shù)集VC維計算的理論，只對一些特殊的函數(shù)集知道其VC維。Vapnik和Chervonenkis在1968年又發(fā)現(xiàn)了下面的規(guī)律：VC維對于一個指示函數(shù)集，如果其生長函數(shù)是線形的，則它的VC維為無窮大；而如果生長函數(shù)以參數(shù)為h的對數(shù)函數(shù)為界，則函數(shù)集的VC維是有限的且等于hoVC就是取Vapnik和Chervonenkis名字的首字而成。所以，學習機器所實現(xiàn)的指示函數(shù)集的VC維有限就是ERM方法一致性的一個充分必要條件，這一條件不依賴于概率測度。而且，一個有限的VC維意味著快的收斂速度。支持向量回歸在引入支持向量回歸之前，首先要對回歸問題進行形式化，并因此抽象出學習機的形式化概

26、念。線形情形，支持向量回歸問題可形象的理解為在誤差帶內(nèi)尋求一個最為平坦的直線，此直線回歸訓(xùn)練，并具有最小的損失。對于非線形情形，同支持向量機識別，通過向高維空間映射，將問題轉(zhuǎn)化為高維空間（Hilbert空間）的線形回歸問題，并且使用核函數(shù)來求得最優(yōu)解?；貧w初步形式回歸問題是個古老的數(shù)學問題，在工程上也有大量的應(yīng)用背景在傳統(tǒng)經(jīng)典的回歸中，盡管存在著多種估計的方法，但研究的大部分集中在最小乘法。這種分析方法稱為綜合分析，其主要目的是將數(shù)據(jù)聚集在一起，并綜合出數(shù)據(jù)的一個擬合模型。接著同樣重要的一個階段是案例分析。這里數(shù)據(jù)被用于檢驗擬合模型對被研究的關(guān)系是否合適、有用。其結(jié)果可能導(dǎo)致對原先指定的擬合模

27、型的修改，此后，回復(fù)至綜合分析。在具體實施中，則大量的借助統(tǒng)計學的理論和技術(shù)。如參數(shù)估計與假設(shè)檢驗等一些知識。而本設(shè)計主要討論的回歸方法則側(cè)重于Vapnik的統(tǒng)計學習理論，從問題的模型確立到問題解決途徑上可能和經(jīng)典的回歸不大一樣，但本質(zhì)是一致的?；貧w問題可形式化為：給定一個訓(xùn)練集合，具元素有某個未知的分布P(x,y)觀測得到(此處的觀測可能火雜某種噪聲):Xxi,yi,X2,y2Xi,yiwithxiRn,y-tR和一個函數(shù)族Ff|f:RnR基本回歸問題是要找到一個函數(shù)fF,此函數(shù)風險最小化表達式：Rfc(yf(x),x)dp(x,y)其中，C是損失函數(shù)，它指出y和f(x)之間的差錯將如何被懲

28、罰，因為P(x,y)未知，不能直接對Rf進行估值，而是要通過計1l算如下的經(jīng)驗風險：Remp-C(yf(x),x)并通過RempRgen對R進行限界。其中Rgenli1為所謂的泛化錯誤上界，根據(jù)Vapnik的理論，它依賴于用來進行回歸的函數(shù)族F。線性支持向量回歸支持向量回歸建立在統(tǒng)計學學習理論的基礎(chǔ)之上，并維持以上提出的學習機的模型但采取完全不同的策略。在這里F取為n維超平面：Ff|f(x)(,x)b,Rn損失函數(shù)一般有多種形式，根據(jù)實際問題的不同可選用不同的損失函數(shù)。此處給一般情形：含有誤差帶的損失函數(shù)，這樣的函數(shù)滿足以下形式：c(x,y,f(x)0foryf(x)c(yf(x)otherw

29、ise并且對非0時的損失函數(shù)要求具備凸性。學習的結(jié)果使得在的周圍形成一個精度為的誤差帶。其線性支持向量回歸機的結(jié)果是線形的。非線性支持向量回歸對于非線性回歸，保持以上的策略不變，但首先對輸入數(shù)據(jù)進行非線性預(yù)處理。使用非線性映射把數(shù)據(jù)從原空間Rn映射到一個高維特征空間，再在高維特征空間進行線性回歸。同理，在非線性空間中也只考慮高維特征空間的點積運算：(x)(x)(y)k(x,y),而不必明確知道(x)是什么。其關(guān)鍵問題是核函數(shù)k(x,y)的采用。此時，非線性支持向量機回歸具有以下模型：F取為：Ff|f(x)(,(x)b,Rn損失函數(shù)和能力控制策略同線性支持向量回歸，其求解結(jié)果具有如下形式：ll(

30、aa)(x,)因此，f(x)(a,a,)k(x,x)bi1i1支持向量機回歸通過將最小化經(jīng)驗風險和能力控制規(guī)約在一個目標中，一并將其轉(zhuǎn)化為一個凸二次優(yōu)化問題的求解途徑不僅實現(xiàn)了結(jié)構(gòu)風險最小化的原則，而且由于嚴格的凸性要求使問題求解在可行域中總能搜索到最優(yōu)解，而不會陷入局部最小。在非線性情形，使用核函數(shù)技巧，通過只計算輸入空間的數(shù)量積避免了維數(shù)災(zāi)難問題。從求解結(jié)果我們可以看出，最終的解，決定于輸入模式的數(shù)量積，而與輸入模式的維數(shù)無關(guān)，其計算規(guī)模正比于輸入模式中支持向量的個數(shù)。因而可有效地處理高維空間的問題，而不受到維數(shù)的限制。支持向量回歸核函數(shù)支持向量機的一個引人注目的特點是用核函數(shù)代替向量間的

31、內(nèi)積運算來實現(xiàn)非線性變換，而不需要非線性的具體形式。研究人員根據(jù)這一思想改造經(jīng)典的線性算法并構(gòu)造出對應(yīng)的基于核函數(shù)的非線性形式。支持向量回歸模型最重要的一個參數(shù)就是核函數(shù)。選擇什么樣的核函數(shù)，就意味著將訓(xùn)練樣本映射到什么樣的空間去進行線性劃分。支持向量機回歸算法的技巧在于不直接計算復(fù)雜的非線性變換，而是計算非線性變換的點積，即核函數(shù)，從而大大簡化了計算。通過把核函數(shù)引入到一些學習算法，可以方便地把線性算法轉(zhuǎn)換為非線性算法，我們將其與支持向量機一起稱為基于核函數(shù)的方法。在高維特征空間實際上只需要進行點積運算，可以用原空間中的函數(shù)實現(xiàn)的，甚至沒有必要知道變換的形式。根據(jù)泛函的有關(guān)理論，只要一種核函

32、數(shù)K(x,xi)滿足Mercer條件，它就對應(yīng)某一變換空間中的點積。因此，在最優(yōu)分類面中采用適當?shù)狞c積函數(shù)K(x,xJ就可以實現(xiàn)某一非線性變換后的線性分類，而計算復(fù)雜度卻沒有增加。張鈴證明了核函數(shù)存在性定理，并提出了尋找核函數(shù)的算法。核函數(shù)存在性定理表明：給定一個訓(xùn)練樣本集，就一定存在一個相應(yīng)的函數(shù)，訓(xùn)練樣本通過該函數(shù)映射到高維特征空間的相是線性可分的。進一步研究了支持矢量機的支持向量集與核函數(shù)的關(guān)系，研究表明對非線性可分情況，對一個特定的核函數(shù)，給定的樣本集中的任意一個樣本都可能成為一個支持向量。這意味這在一個支持向量機下觀察到的特征在其它支持向量機下(其它核函數(shù))并不能保持。因此，對解決具

33、體問題來說，選擇合適的核函數(shù)使很重要的。SVM由訓(xùn)練樣本集和核函數(shù)完全描述，因此采用不同的核函數(shù)就可以構(gòu)造實現(xiàn)輸入空間中不同類型的非線性決策面的學習機，導(dǎo)致不同的支持向量算法。本課題研究的幾種核函數(shù)如下：線性內(nèi)核K(xi,xj)xi?xj多項式內(nèi)核K(,xj)(xi,xj)1q徑向基函數(shù)內(nèi)核K(xi,xj)exoxixjBsplines內(nèi)核K(xi,xj)B2n1(xixj)支持向量回歸算法支持向量回歸的算法的基礎(chǔ)1.尋求方向約束最優(yōu)化的一種方法是在可行空間按一定的方向逐步搜索，逼真最優(yōu)點，這就涉及到尋求最優(yōu)方向的問題。對給定問題f(x)：RnR的可行域S中點x,對于某個非零n維向量d存在0,

34、當a(0,)時使得：xadSdTf(x)0的方向被稱為x處的尋優(yōu)方向，而對于正定的歸整約束，理論上可保證在一定的迭代次數(shù)后收斂。2,對偶差另一種約束最優(yōu)化的方法是從對偶理論入手，利用對偶差和KKT條件來尋找最優(yōu)點。對于可行的主變量和對偶變量，凸最小化問題的主目標函數(shù)的解常常比(凸最大化的)對偶目標函數(shù)的解要大。當且僅當在最優(yōu)化解處這兩個解才相等。因此對偶差常被作為衡量目標函數(shù)變量的當前解和最優(yōu)解距離的一種度量，此理論來自Lagrange函數(shù)的鞍點特性。以此為基礎(chǔ)的算法則通過逐步加強KKT條件，并通過對偶差來進行評估，來逼真最優(yōu)點。3.不敏感損失函數(shù)支持向量機方法是從解決模式識別問題發(fā)展起來的，

35、在支持向量分類機中，一般來說，可以用少量的支持向量來表示決策函數(shù)，即具有稀疏性。當把該方法推廣到回歸問題時，很重要的一點就是希望找到合適的支持向量回歸(SVR)算法，仍然保持這個性質(zhì)。從上述回歸問題的數(shù)學提法可以看出，為建立算法，需要選擇適當?shù)膿p失函數(shù)?，F(xiàn)介紹回歸估計中最常見的一種損失函數(shù)，它可以保持稀疏性。不敏感損失函數(shù)c(x,y,f(x)yf(x)其中yf(x)|max0,|yf(x)|匕這里是事先取定的一個正數(shù)，不敏感損失函數(shù)的含義是，當x點的觀測值y與預(yù)測值f(x)之差不超過給定的時，則認為在該點的預(yù)測值f(x)是無損失的，盡管預(yù)測值f(x)和觀測值y可能并不完全相等，如下面損失函數(shù)圖

36、像2-1所示。如果f(x)為單變量線性函數(shù)當樣本點位于兩條虛線之間的帶子里時,構(gòu)成的帶子為帶。只有當樣本點位于則認為在該點沒有損失，我們稱兩條虛線帶之外時，才有損失出現(xiàn)，例如，下圖2-2中(x,y)處的損失為yf(x)圖2-2不敏感損失帶容易看出，不敏感損失函數(shù)有一個特點：對樣本點來說，存在著一個不為目標函數(shù)提供任何損失值的區(qū)域，即帶。這個特點是其他許多損失函數(shù)并不具備的。我們可以期望，在帶內(nèi)的樣本點，不會出現(xiàn)在決策函數(shù)中。2.4.2SVR回歸算法利用核函數(shù)將輸入數(shù)據(jù)映射到高維特征空間F（通常是無限維），在特征空間實現(xiàn)線性回歸，估計函數(shù)具有如下形式：f（x）:?（x）b這里：RdF,映射到特征

37、空間，（?）表示特征空間中的內(nèi)積，F(xiàn)且bR為從訓(xùn)練數(shù)據(jù)集D估計函數(shù)f,典型的支持向量回歸最小化正則化風險泛函:RregfRempf-1Nc(f(Xi),yi)一Ni12這里正則化參數(shù)為正數(shù)，損失函數(shù)c選擇為不敏感損失函數(shù)，形式如下:0,for|u|Cs(u)|u|,else可以通過解二次規(guī)劃的優(yōu)化問題來最小化正則化風險泛函。解可以表達為在特征空間F與函數(shù)（x）的線性組合有關(guān)的形式:(aii1ai)(Xi)這里系數(shù)A©R通過解二次規(guī)劃問題確定，對于aiai0的點（為，y。稱為支持向量核函數(shù)k(x，yi)對應(yīng)映射到特征空間的數(shù)據(jù)的內(nèi)積，即：女函»)(為)？(Xj)核函數(shù)k(Xi

38、，y)可以是任意滿足Mercer條件的對稱函數(shù)，因此，估計函數(shù)也可以具有如下形式：Nf(x)(aiai)K(Xi,Xj)bi1因此支持向量的拓撲結(jié)構(gòu)如下圖2-3所示：圖2-3支持向量回歸拓撲圖對于SVR,試圖求解如下有約束的二次規(guī)劃問題：NminIIC(ii)2i1fiyiistyifii,1iNi,i0這里C是待確定的常數(shù)，i,i是松弛變量，同時首先要先設(shè)定的值。2.4.3關(guān)于算法的幾點說明.算法的收斂性說明根據(jù)Osuna的理論，在實現(xiàn)算法中每一步迭代都將減少目標函數(shù)的值，進而保證了算法的收斂性。并且在算法中利用了許多策略和一些啟發(fā)式規(guī)則來進行聯(lián)合優(yōu)化，進一步充分保證了算法的收斂速度。.算法

39、元素掃描啟發(fā)式規(guī)則對于非敏感損失函數(shù)，KKT條件為:ai(iiYi(一,X)b)0a(iiy(一,X)b)0和(Cai)i0(Ca)i0由此進一步推出關(guān)于取值的三種情形：I：aiC數(shù)據(jù)位于誤差帶外：ai(0,c)數(shù)據(jù)位于誤差帶上：ai0數(shù)據(jù)位于誤差帶內(nèi).算法中的關(guān)于KKT條件的判斷便是依據(jù)上面三式外循環(huán)首先在整個數(shù)據(jù)集合上掃描違反KKT條件的元素，當在整個數(shù)據(jù)集合上掃描一遍之后，外循環(huán)開始在非邊界元素(Lagrange乘子不為0和C)集合上掃描違反KKT條件的元素，直至所有非邊界元素都以的精度滿足KKT條件。然后外循環(huán)重新在整個數(shù)據(jù)集合上掃描。外循環(huán)如此交替在整個數(shù)據(jù)集合上進行一次掃描和在非邊

40、界元素集合上進行多遍掃描，直至算法終止。.算法的效率在算法運行過程中，CPU的時間集中在最有可能違反KKT條件的元素集合，邊界元素可能停留在邊界，而非邊界元素將會在其它元素被優(yōu)化的同時向邊界移動。若算法在非邊界元素集合上迭代直至此集合自相容，然后再在整個集合上掃描尋找在非邊界元素優(yōu)化的同時變?yōu)檫`反KKT條件的邊界元素。這樣可保證算法的效率。第3章基于Matlab實現(xiàn)SVR的總體設(shè)計總體設(shè)計思想支持向量回歸的最終就是尋求一目標函數(shù)，并使得其損失函數(shù)的數(shù)學期望最小，這樣才能得到最準確的回歸曲線以反映訓(xùn)練集的數(shù)據(jù)走向趨勢。該回歸算法主要解決非線形回歸預(yù)測問題，對訓(xùn)練集采用線性、非線性核函數(shù)進行回歸。

41、通過對各種參數(shù)的設(shè)置得到不同性能的回歸曲線，以便于熟悉其中參數(shù)對回歸算法的影響。功能模塊的劃分及相關(guān)流程圖主要功能模塊的劃分從總體上說，按照需求分析，可以把要實現(xiàn)的功能劃分為三個主要的功能模塊：.GUI圖形用戶界面模塊，即系統(tǒng)的主界面。.實驗簡介模塊，簡單說明各個函數(shù)的功能。.支持向量回歸模型設(shè)計的實驗?zāi)K，實現(xiàn)支持向量回歸的各種功能（手動創(chuàng)建數(shù)據(jù)集、裝載現(xiàn)有的數(shù)據(jù)集、設(shè)置各種相應(yīng)的參數(shù)、保存數(shù)據(jù)集、進行回歸演示）。實現(xiàn)程序的主要框架圖下圖3-1中說明了程序設(shè)計的總體框圖，并沒有把所有的函數(shù)列出來，只是列出了主要的程序。SVR.m：實現(xiàn)用戶圖形界面模塊（主界面）。about.m：查看系統(tǒng)的各實

42、現(xiàn)功能的簡單說明。uiregressm實現(xiàn)了支持向量回歸的演示實驗?zāi)K。svr.m：支持向量回歸的計算。svrplot.m：一維空間回歸作圖問題。svroutput.m：輸出與輸入之間的轉(zhuǎn)化計算。svrerror.m：輸入，輸出異常。svkernel.m：內(nèi)核函數(shù)。圖3-1程序框圖支持向量回歸模型的流程圖支持向量回歸模型的總流程圖如圖3-2所示第4章基于支持向量回歸模型的實現(xiàn)4.1模型的功能描述本課題是基于支持向量回歸模型的設(shè)計與實現(xiàn)，已經(jīng)按照需求實現(xiàn)了各種功能。具體實現(xiàn)的功能如下：1)創(chuàng)建一個GUI圖形用戶界面即主界面，主界面按鈕及菜單功能描述如下：按鈕功能介紹設(shè)置路徑：在matlab中，運

43、行任何的文件都必須位于當前路徑或搜索路徑內(nèi)。止匕按鈕將當前目錄下的子目錄添加為搜索路徑，使得子目錄中的文件可以被當前目錄中的文件調(diào)用運行。否則，系統(tǒng)將不能正常工作。由于本實驗的各個函數(shù)在包含在一個文件火中因而也可以不設(shè)置路徑。進入實驗簡介：簡單了解SVR,查看各個函數(shù)要實現(xiàn)的基本功能。進入支持向量回歸模型演示實驗：進行回歸模型演示(具體的各個功能塊見下(2)中有詳細介紹)。退出實驗：退出系統(tǒng)。該主界面點擊實驗簡介或演示實驗都將出現(xiàn)動態(tài)的等待進度條，此功能沒有實際用途但可以使設(shè)計美觀。2)通過編寫M文件uiregress.m文件，實現(xiàn)顯示支持矢量機機器學習模型的功能。(1)下拉式菜單核函數(shù)的選取

44、：用戶通過此菜單選擇一個核函數(shù)，然后進行回歸實驗。(2)編輯框輸入?yún)?shù)值懲罰系數(shù)C,其初始值設(shè)定為20,設(shè)置值一般大于0.1,對于該參數(shù)對回歸性能的影響在后面說明。不敏感系數(shù)，其初始值設(shè)為0.01,參數(shù)對回歸性能的影響也在后面介紹。(3)編輯框顯示信息顯示統(tǒng)計支持向量的個數(shù)，回歸性能。(4)按鈕裝載數(shù)據(jù)：進行已存在數(shù)據(jù)文件的裝載。數(shù)據(jù)輸入：用戶手動創(chuàng)建數(shù)據(jù)，用鼠標點擊將在坐標軸上產(chǎn)生點集。消除數(shù)據(jù)：用戶想清除當前數(shù)據(jù)時點擊該按鈕，以便重新創(chuàng)建數(shù)據(jù)集。保存數(shù)據(jù)：對創(chuàng)建的數(shù)據(jù)保存，以便下一次直接裝載調(diào)用?；貧w：對創(chuàng)建的數(shù)據(jù)集或裝載的數(shù)據(jù)集進行回歸，得到回歸曲線。3)Matlab命令窗口在命令窗口我

45、們將會獲得算法運行時間，支持向量的個數(shù)，回歸性能。4.2運行結(jié)果主界面運行結(jié)果如下圖4-1所示圖4-1主界面模塊運行結(jié)果功能描述界面運行結(jié)果如下圖4-2所示。圖4-2實驗簡介運行界面運行過程及結(jié)果1支持向量回歸模型實驗運行界面如圖4-3所示圖4-3支持向量機回歸模型實驗界面2手動輸入數(shù)據(jù)，并保存，如下圖4-4所示。圖4-4手動輸入數(shù)據(jù)3裝載上面保存的數(shù)據(jù)，如下圖4-5所示。圖4-5裝載數(shù)據(jù)裝載aa數(shù)據(jù)文件后的數(shù)據(jù)顯示，如下圖4-6所示。圖4-6裝載數(shù)據(jù)后的顯示結(jié)果3使用不同的核函數(shù)的回歸結(jié)果(1)線性核函數(shù)線性核函數(shù)的懲罰系數(shù)設(shè)為10,不敏感系數(shù)0.01為，此時支持向量數(shù)24,回歸性能92.3

46、%,如下圖4-7所示。圖4-7回歸結(jié)果圖改變不敏感系數(shù)增大為0.02,此時支持向量個數(shù)為22,回歸性能84.6%,如下圖4-8所示。支持向量數(shù)減少，回歸性能下降。圖4-8改變參數(shù)取值后的回歸圖(2)多項式核函數(shù)多項式核函數(shù)，設(shè)置此時多項式次數(shù)為3,如下圖4-9所示。由回歸結(jié)果看出次數(shù)偏低，性能不是很好。圖4-9選擇多項式核函數(shù)的回歸圖形增大多項式次數(shù)Degree為5,并減少不敏感系數(shù)至0.01,回歸性能提高到88.5%,如下圖4-10所示。圖4-10改變參數(shù)取值后的回歸圖形(3)高斯徑向基核函數(shù)高斯徑向基核函數(shù)Sigma(RBF寬度)為0.2懲罰系數(shù)10,不敏感參數(shù)為0.01,此時支持向量的個

47、數(shù)為14,回歸性能53.8%,如下圖4-11所示。圖4-11選擇高斯核函數(shù)的回歸圖形現(xiàn)增大懲罰系數(shù)C至40,其它參數(shù)不變，支持向量數(shù)增多到15,回歸性能提高到57.7%,如下圖4-12所示。圖4-12改變參數(shù)取值后的回歸圖形降低不敏感系數(shù)至0.001,回歸性能提高到96.2%,如下圖4-13所示圖4-13改變參數(shù)后的回歸圖形增大不敏感系數(shù)為0.06,回歸性能明顯下降，為38.5%,如下圖4-14所示。圖4-14改變參數(shù)取值后的回歸圖形(4)結(jié)論本實驗選取了線性核函數(shù)、多項式核函數(shù)和高斯徑向基核函數(shù)，這三個核函數(shù)進行實驗，改變其參數(shù)(懲罰系數(shù)C、不敏感系數(shù)、RBF寬度以及多項式次數(shù))，對回歸帶來

48、了明顯的影響。通過此實驗充分的顯示了，不同的核函數(shù)其回歸性能差別，以及其參數(shù)對回歸的影響。命令窗口的顯示結(jié)果以線性核函數(shù)為例，命令窗口顯示如下圖4-15所示圖4-15命令窗口顯示結(jié)果算法運行時間0.1s,支持向量數(shù)24,性能92.3%。由于手動輸入的訓(xùn)練集數(shù)量相對較少，同時算法的運行效率比較高，所以算法運行時間一般很短。4.3系統(tǒng)的性能分析及結(jié)論支持向量回歸方法性能的好壞往往依賴于核函數(shù)及其寬度系數(shù)，懲罰因子C以及不敏感系數(shù)等參數(shù)的選擇。不敏感系數(shù)原則上反映了SVM對數(shù)據(jù)中躁聲幅度的容許界限.為選定適當?shù)闹?，?yīng)考慮采集樣本時可能帶有的躁聲分布的狀況.若躁聲服從正態(tài)分布，當密度函數(shù)分布較寬（即方

49、差較大）時，宜采用較大的，而當分布較窄時，應(yīng)選用較小的。應(yīng)用SVM訓(xùn)練時，不敏感系數(shù)的大小控制支持向量個數(shù)的多少，當較小時，參與回歸的支持向量將增多，同時訓(xùn)練時間也有所增加。在不敏感系數(shù)過小時，可能導(dǎo)致過擬合；而過大時則可能造成欠擬合。止匕外，不敏感系數(shù)還控制模型的泛化推廣能力。在實際求解中，的取值過小，支持向量的數(shù)目變化不大，但模型的求解時間將增加。取值過大，其精度降低，推廣性能差。因此，不敏感系數(shù)的取值一般在0.001到0.1之間。懲罰系數(shù)C的選擇也將影響回歸函數(shù)的擬合精度與預(yù)報能力，通常擬合誤差隨C的增大而下降，但下降的速度也越來越小，當C增至一定值后，其下降將漸平緩，幾乎不再隨C的增大

50、而減小。因是SVM只要求擬合誤差超過允許精度的部分降至最小所致。同時，預(yù)測誤差也將隨懲罰系數(shù)C的增大而下降，但并非單調(diào)，當C增大到一定值后，預(yù)測誤差也可能有所上升，這也是過擬合所致。另外訓(xùn)練時間也將隨C的增加而上升。通過將映射函數(shù)內(nèi)積運算替換為核函數(shù)，使輸入數(shù)據(jù)映射到高維空間中進行線性擬合來得到非線性回歸函數(shù)。因此，對于非線性問題還存在核函數(shù)及其參數(shù)的影響。卜面對使用幾種常見的核函數(shù)的參數(shù)對回歸性能的影響比較:表4-1線性核函數(shù)懲罰系數(shù)C不敏感系數(shù)輸入向量個數(shù)支持向量個數(shù)回歸性能100.01262492.3%100.005262596.2%10.005262596.2%0.50.0052626

51、100%結(jié)論：隨著不敏感系數(shù)的減少（在一定的范圍內(nèi)）支持向量的個數(shù)增多，回歸性能下降懲罰系數(shù)C從0.5增至1,其支持向量個數(shù)減少，性能下降。表4-2多項式核函數(shù)多項式次數(shù)懲罰系數(shù)C不敏感系數(shù)輸入向量個數(shù)支持向量個數(shù)回歸性能3100.0012626100%3100.01262388.5%4100.01262492.3%5100.01262388.5%結(jié)論：從表中可以看出不敏感系數(shù)的增大，支持向量個數(shù)減少，對應(yīng)回歸性能下降。多項式次數(shù)的選擇要看數(shù)據(jù)的分布，并不是次數(shù)越高，回歸性能越好。表4-3圖斯徑向基核函數(shù)徑向基寬度懲罰系數(shù)C不敏感系數(shù)輸入向量個數(shù)支持向量個數(shù)回歸性能0.1100.0126207

52、6.9%0.3100.01261765.4%0.5100.01262284.6%1100.01262492.3%1.2100.01262284.6%1.2100.005262492.3%結(jié)論：由圖可以看出徑向基寬度對性能的影響并不是簡單的單調(diào)遞增或是遞減。徑向基寬度從0.1到0.3再到0.5,其支持向量的個數(shù)先減少再增加。其不敏感系數(shù)從0.01減小到0.005,支持向量個數(shù)增加，回歸性有所提高第5章總結(jié)基于支持向量機方法的回歸估計以可控制的精度逼近任一非線性函數(shù)，同時具有全局最優(yōu)、良好的泛化能力等優(yōu)越性能，因此支持向量機的應(yīng)用非常廣泛。目前支持向量機主要應(yīng)用在金融時間序列預(yù)測（如股票預(yù)測、期貨預(yù)測等）和非線性系統(tǒng)參數(shù)辨識、建模與控制等一些方面。本文針對回歸問題，描述了支持向量機的基本方法、理論、回歸算法及當前國內(nèi)外對于支持向量回歸的研究內(nèi)容、方向?？偨Y(jié)了設(shè)計支持向量回歸機的模型選擇方面的進展。模型選擇包括核函數(shù)的選擇、模型正則化參數(shù)C、不敏感參數(shù)e等方面內(nèi)容。核函數(shù)的選擇是支持向量機理論研究的一個核心問題。在實際應(yīng)用中，RBF核函數(shù)是目前在支持向量機中被應(yīng)用