試驗(yàn)四支持向量機(jī)

1、實(shí)驗(yàn)四：支持向量機(jī)班級(jí)姓名學(xué)號(hào)指導(dǎo)老師.實(shí)驗(yàn)?zāi)康? .了解基有關(guān)支持向量機(jī)的根本原理2 .能夠使用支持向量機(jī)的代碼解決分類(lèi)與回歸問(wèn)題3 .了解圖像分類(lèi)的根本原理二、實(shí)驗(yàn)的硬件、軟件平臺(tái)硬件：計(jì)算機(jī)軟件：操作系統(tǒng)win10應(yīng)用軟件：Java三、實(shí)驗(yàn)原理1. LIBSVM使用方法簡(jiǎn)介L(zhǎng)ibSVM是以源代碼和可執(zhí)行文件兩種方式給出的.如果是Windows系列操作系統(tǒng),可以直接使用軟件包提供的程序,也可以進(jìn)行修改編譯；如果是Unix類(lèi)系統(tǒng),必須自己編譯.LIBSVM在給出源代碼的同時(shí)還提供了Windows操作系統(tǒng)下的可執(zhí)行文件,包括：進(jìn)行支持向量機(jī)練習(xí)的svmtrain.exe；根據(jù)已獲得的支持向量機(jī)

2、模型對(duì)數(shù)據(jù)集進(jìn)行預(yù)測(cè)的svmpredict.exe；以及對(duì)練習(xí)數(shù)據(jù)與測(cè)試數(shù)據(jù)進(jìn)行簡(jiǎn)單縮放操作的svmscale.exe.它們都可以直接在DOS環(huán)境中使用.如果下載的包中只有C+勺源代碼,那么也可以自己在VC等軟件上編譯生成可執(zhí)行文件.2. LIBSVM使用的一般步驟是：1) 根據(jù)LIBSVM軟件包所要求的格式準(zhǔn)備數(shù)據(jù)集；2) 對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單的縮放操作；3) 考慮選用RBF核函數(shù)；4) 采用交叉驗(yàn)證選擇最正確參數(shù)C與g;5) 采用最正確參數(shù)C與g對(duì)整個(gè)練習(xí)集進(jìn)行練習(xí)獲取支持向量機(jī)模型；6) 利用獲取的模型進(jìn)行測(cè)試與預(yù)測(cè).3. LIBSVM使用的數(shù)據(jù)格式1)練習(xí)數(shù)據(jù)和檢驗(yàn)數(shù)據(jù)文件格式如下：<

3、label><index1>:<value1><index2>:<value2>.其中<label>是練習(xí)數(shù)據(jù)集的目標(biāo)值,對(duì)于分類(lèi),它是標(biāo)識(shí)某類(lèi)的整數(shù)(支持多個(gè)類(lèi))；對(duì)于回歸,是任意實(shí)數(shù).<index>是以1開(kāi)始的整數(shù),可以是不連續(xù)的；<value>為實(shí)數(shù),也就是我們常說(shuō)的自變量.檢驗(yàn)數(shù)據(jù)文件中的label只用于計(jì)算準(zhǔn)確度或誤差,如果它是未知的,只需用一個(gè)數(shù)填寫(xiě)這一欄,也可以空著不填.在程序包中,還包括有一個(gè)練習(xí)數(shù)據(jù)實(shí)例：heart_scale,方便參考數(shù)據(jù)文件格式以及練習(xí)使用軟件.可以編寫(xiě)小程序,將自己

4、.的數(shù)據(jù)格式轉(zhuǎn)換成這種格式2Svmtrain和Svmpredict的用法L舊SVM軟件提供的各種功能都是DO階令執(zhí)行方式.我們主要用到兩個(gè)程序,svmtrain訓(xùn)I練建模和svmpredict使用已有的模型進(jìn)行預(yù)測(cè),下面分別對(duì)這兩個(gè)程序的使用方法、各參數(shù)的意義以及設(shè)置方法做一個(gè)簡(jiǎn)單介紹：1Svmtrain的用法：svmtrainoptionstraining_set_filemodel_file一一一Options:可用的選項(xiàng)即表示的涵義如下-ssvm類(lèi)型：SV根置類(lèi)型默認(rèn)00-C-SVC1-v-SVC2-一類(lèi)SVM3-e-SVR4-v-SVR-t核函數(shù)類(lèi)型：核函數(shù)設(shè)置類(lèi)型默認(rèn)20-線性：u&

5、#39;v1 -多項(xiàng)式：r*u'v+coef0Adegree2 -RBF函數(shù)：exp-r|u-v|A23 -sigmoid:tanhr*u'v+coef0- ddegree：核函數(shù)中的degree設(shè)置默認(rèn)3- g函數(shù)設(shè)置默認(rèn)1/k?rgama:核函數(shù)中的- rcoef0：核函數(shù)中的coefO設(shè)置默認(rèn)0?-ccost:設(shè)置C-SVC-SVR的參數(shù)默認(rèn)1?-SVR和- SVR勺參數(shù)默認(rèn)0.5?-SVC,一類(lèi)SVMff口-nnu:設(shè)置- SVR?-pe：設(shè)置的值默認(rèn)0.1?中損失函數(shù)- mcachesize:設(shè)置cache內(nèi)存大小,以MB為單位默認(rèn)40- e:設(shè)置允許的終止判據(jù)默認(rèn)0

6、.001?- hshrinking:是否使用啟發(fā)式,0或1默認(rèn)1- wiCC-SVCt的C默認(rèn)1?weight：設(shè)置第幾類(lèi)的參數(shù)C為weight- vn:n-fold交互檢驗(yàn)?zāi)Ｊ狡渲?g選項(xiàng)中的k是指輸入數(shù)據(jù)中的屬性數(shù).option-v隨機(jī)地將數(shù)據(jù)剖分為n局部并計(jì)算交互檢驗(yàn)準(zhǔn)確度和均方根誤差.以上這些參數(shù)設(shè)置可以根據(jù)SVM勺類(lèi)型和核函數(shù)所支持的參數(shù)進(jìn)行任意組合,如果設(shè)置的參數(shù)在函數(shù)或SVM類(lèi)型中沒(méi)有也不會(huì)產(chǎn)生影響,程序不會(huì)接受該參數(shù)；如果應(yīng)有的參數(shù)設(shè)置不正確,參數(shù)將采用默認(rèn)值.training_set_file是要進(jìn)行練習(xí)的數(shù)據(jù)集；model_file是練習(xí)結(jié)束后產(chǎn)生的模型文件,文件中包括支持

7、向量樣本數(shù)、支持向量樣采以及l(fā)agrange系數(shù)等必須的參數(shù)；該參數(shù)如果不設(shè)置將采用默認(rèn)的文件名,也可以設(shè)置成自己慣用的文件名.（2） Svmpredict的用法：svmpredicttest_filemodel_fileoutput_filemodel_file是由svmtrain產(chǎn)生的模型文件；test_file是要進(jìn)行預(yù)測(cè)的數(shù)據(jù)文件；Output_file是svmpredict的輸出文件.svm-predict沒(méi)有其它的選項(xiàng).四、實(shí)驗(yàn)內(nèi)容及步驟支持向量機(jī)算法練習(xí)分類(lèi)器：1 .練習(xí)數(shù)據(jù)集：見(jiàn)文檔“分類(lèi)數(shù)據(jù)集.doc,前150個(gè)數(shù)據(jù)作為練習(xí)數(shù)據(jù),其他數(shù)據(jù)作為測(cè)試數(shù)據(jù),數(shù)據(jù)中“+1“-1分別表

8、示正負(fù)樣本.2 .使用代碼中的C-SVCB法和默認(rèn)參數(shù)來(lái)練習(xí)分類(lèi)數(shù)據(jù)集.doc中所有的數(shù)據(jù)包括練習(xí)數(shù)據(jù)和測(cè)試數(shù)據(jù),統(tǒng)計(jì)分類(lèi)查準(zhǔn)率.m命令握示衿：'IsersMIdiiinistratDrXDesktopXlibsui3-20windowa>5vn-train,exe1.txt2ptimizationFinished,Biter=16*u-n,431029bj=-100.877288,rha=D.424462SU=132,nBSU=107DLdln£l>133：JJsersMldniinistratorXDesktopXlibsui3-20windows>sv

9、n-ppedict1.txt23ccuracy86.ftf>67vi<234/2?B)<c1ass1Ficatlon3 .在2的根底上使用k-折交叉驗(yàn)證思想來(lái)練習(xí)分類(lèi)器并統(tǒng)計(jì)分類(lèi)查準(zhǔn)率：:BsersAdnini£tpatorDesktoplihsuin-3.20windov>s>s«n-train.exe-v10i.txt2ptimlsationfinljhtdjttltfri-133u=0.4S7663bj=-96,023257,rho=0.360977SU-1雙nBEU-IBUotalnSU=125ptimlaattanfinl3htd,t

10、titfri,-172u=0.439324bj=-91.326460,rho=0.419186SU-120,nB£U-92otalnSU=120ptimlzattanrtuished,ttltfri1lb?u=0.449487bj=-9.364450.rho=0.475975EU-124,nB£U-96otalnSU=124ptimlsatianfinl4htd,ttltfti-132u=0.419548bj=-86,660809,rho=0.248152SU-115*nB£U-91otalnSU=115CrvSsUalidationAccurcv81,8519&

11、gt;4 .使用2中的設(shè)置在練習(xí)數(shù)據(jù)的根底上學(xué)習(xí)分類(lèi)器,將得到的分類(lèi)器在測(cè)試數(shù)據(jù)上進(jìn)行分類(lèi)預(yù)測(cè),統(tǒng)計(jì)查準(zhǔn)率5 .在4上嘗試不同的C值“-c參數(shù)來(lái)調(diào)節(jié)分類(lèi)器的性能并繪制查準(zhǔn)率曲線.m晶令媼示符口：sersMldniinistratorDes<CopXlibsunt-3-20windows>su(ntrain.exe-c0.51.txt2ptinlzationfinishedAlter'131u=0.492462bj=-56.S2S4H1.pho=0.239152SU-14,nBSU-125otaln£U=144MsepssAdminL£tratDrxDes

12、ktopMihsum-320uindous>sumtpain.ext-c11.txt2ptinizati.anFin-1b2u=0.431029bj=-100.877288,rhu=0,424462EU-13Z,nBSU-107tainSU=132：MJ£apsAdnlnistv&tai*Deskt：dpMihsun-3«20uindnu&>sun-tnain-e1*51,txt2ptinizationFinished,ttiter=166u-0.,的6ysbj=-142.131581,pho=0.474903SU=126knBSV=97ot&#

13、171;ln£U-±2&C：ilsersdministFatorXDesktopXlihsuii-3.20windows>suin-train.exe-c21.txt2*aptimlzatianfiniislied,ttitar22t)nu=0.388793obj=-181,110841,rho=F),433596i£U-123.nBSU-90FotalnSU=123C：UseP5AdministFatDrxDe5ktoplihsuii-3.20uindous>sun)-trLain.exe-c2.51.txt2*aptinizationFin

14、ished*=239nu=0.377fll5obj=-218.307424,rho=0.453258iSU-12燈,nBSU-84FotalnSU=1206 .嘗試不同的kernel函數(shù)“-t參數(shù)來(lái)調(diào)節(jié)分類(lèi)器的性能并繪制查準(zhǔn)率曲線,對(duì)每種kernel函數(shù)嘗試調(diào)節(jié)其參數(shù)值并評(píng)估查準(zhǔn)率.：MlsepsMldniinistpatc*rDesktQplibsui3,20windows>svn-tpain.exe-t01,txt2*ptifiizationfinishedrttiter=1010u=35另371bj-92,4733Et,pRb-SU=101,nBSU=88n“l(fā)nSU=101：SU

15、sepsdministratorSDesktopXlihsuii-3-20windows>sum-tpain.exe-t11.txt2ptimlEationfinishEd,ttitar14日u=0.605080bj=-131.800243,r加=-0,16568B£U-177,nBSU-15totalnSU=17?：U5ersAdministpatDrxDesktaplihsuin-3.20uindaus>Gun)-trLain.exe-t21.txt2ptinizationfinished,=162u-0.431029bj=-100.877288,rho=0.4244

16、62SU=132,nBSU=107ot«ln£U-132UverssAdministratDrXDesktapMibsum-3.20w±ndaws>svmtrain-t31«txt2Eiptimizationfinished,ttiter=157iu-0.43£762ibj=-110.099362,pho=-0.333939iSU=124,nBSU=11&otaln£U-124支持向量機(jī)算法練習(xí)回歸方程：(1) .回歸數(shù)據(jù)集：見(jiàn)文檔回歸數(shù)據(jù)集.doc,總共506個(gè)數(shù)據(jù),數(shù)據(jù)中前13個(gè)屬性作為輸入,最后一個(gè)屬性作為輸出.：

17、MisersMflldninistratDrxDesJctopXlibsum-3.2Hwinidows>su>iTi-piiedict.exe2.txt2.txt.mode1;eansquarederror=9.681692<resjiressio>fi>quaredcorrelationcoefficicnt-0203485(repression>(2) .使用代碼中的epsilon-SVR算法和默認(rèn)參數(shù)來(lái)練習(xí)回歸數(shù)據(jù)集.doc中所有的數(shù)據(jù),統(tǒng)計(jì)回歸方程在每個(gè)數(shù)據(jù)點(diǎn)輸出的誤差并進(jìn)行誤差分析.:：XJersHdministratorJ)eskltaibsvm

18、-3.20windawESun-train-exe-s3txtSptinizatianFinished,ttiter=90u=0.885835bj=-89,070542,rho=0.3B1291£U-125.nBSU-112.在2上嘗試不同的epsilon值(“-p參數(shù))來(lái)調(diào)節(jié)epsilon-SVR算法的性能.C：IJseFsMldiinistpatDrvJ)esktQplib3Ui3,20windows>5vn-trflin.ext-s3-p0.22.txt5N ptimizationfinisbed,ttiter=82nu=0.864823 bj-77.S34421,pBd

19、-0.339066nGU=121,nBSU=1的C：Jlsei*5dmlni£tpatDrLJ)esktapXlib£um-3.20uindnus>sum-train.exe-s3-p0.32.txt5* ptinizationfinishedPttitei'=75nu-0.847488 bj=-66.240874,rho=0.298788nSU=nBSV=107C：MIsepsMIdninitratorDesktopMibsuii-3_20windows>sv(n-tpain.exe-s3-p0.42.txt5K ptimizationfinislie

20、d,Kiter=81nu=0.830030 bj-55,164745Frho-&.233221nSU=114*nBSU=1&4C-SlllgarsAdministratDrM)esktaDlibsvin_3.2QwindawE>S'Jn_train-exer3-p052«txtSM ptinizatianfinisiedFttiter=86nu=0.?99?57 bj=-44.395639Arho=0.228635nSU-112,nBSU-95五、思考題：1 .闡述k-折交叉驗(yàn)證的思想,比擬1.2和1.3的性能.答：k-折交叉驗(yàn)證(k-foldcrossValidation)就是在機(jī)器學(xué)習(xí)中,將數(shù)據(jù)集A分為練習(xí)集(trainingset)B和測(cè)試集(testse