實(shí)驗(yàn)四 支持向量機(jī)

1、實(shí)驗(yàn)四：支持向量機(jī)班級(jí)姓名學(xué)號(hào)指導(dǎo)老師一、實(shí)驗(yàn)?zāi)康牧私饣嘘P(guān)支持向量機(jī)的基本原理能夠使用支持向量機(jī)的代碼解決分類與回歸問題了解圖像分類的基本原理二、實(shí)驗(yàn)的硬件、軟件平臺(tái)硬件：計(jì)算機(jī)軟件：操作系統(tǒng)win10應(yīng)用軟件：Java三、實(shí)驗(yàn)原理LIBSVM使用方法簡介LibSVM是以源代碼和可執(zhí)行文件兩種方式給出的。如果是Windows系列操作 系統(tǒng)，可以直接使用軟件包提供的程序，也可以進(jìn)行修改編譯；如果是Unix類 系統(tǒng)，必須自己編譯。LIBSVM 在給出源代碼的同時(shí)還提供了 Windows操作系統(tǒng)下的可執(zhí)行文件， 包括：進(jìn)行支持向量機(jī)訓(xùn)練的svmtrain.exe；根據(jù)已獲得的支持向量機(jī)模型對(duì) 數(shù)據(jù)

2、集進(jìn)行預(yù)測(cè)的svmpredict.exe；以及對(duì)訓(xùn)練數(shù)據(jù)與測(cè)試數(shù)據(jù)進(jìn)行簡單縮放 操作的 svmscale.exe。 它們都可以直接在DOS環(huán)境中使用。如果下載的包中只 有C+的源代碼，則也可以自己在VC等軟件上編譯生成可執(zhí)行文件。LIBSVM 使用的一般步驟是：按照LIBSVM軟件包所要求的格式準(zhǔn)備數(shù)據(jù)集；對(duì)數(shù)據(jù)進(jìn)行簡單的縮放操作；考慮選用RBF核函數(shù)；采用交叉驗(yàn)證選擇最佳參數(shù)C與g ；采用最佳參數(shù)C與g對(duì)整個(gè)訓(xùn)練集進(jìn)行訓(xùn)練獲取支持向量機(jī)模型；利用獲取的模型進(jìn)行測(cè)試與預(yù)測(cè)。LIBSVM使用的數(shù)據(jù)格式1)訓(xùn)練數(shù)據(jù)和檢驗(yàn)數(shù)據(jù)文件格式如下： : : .其中 是訓(xùn)練數(shù)據(jù)集的目標(biāo)值，對(duì)于分類，它是標(biāo)識(shí)某

3、類的整 數(shù)(支持多個(gè)類)；對(duì)于回歸，是任意實(shí)數(shù)。 是以1開始的整數(shù)，可以 是不連續(xù)的；為實(shí)數(shù)，也就是我們常說的自變量。檢驗(yàn)數(shù)據(jù)文件中的 label 只用于計(jì)算準(zhǔn)確度或誤差，如果它是未知的，只需用一個(gè)數(shù)填寫這一欄， 也可以空著不填。在程序包中，還包括有一個(gè)訓(xùn)練數(shù)據(jù)實(shí)例：heart_scale,方便參考數(shù)據(jù)文件格 式以及練習(xí)使用軟件?？梢跃帉懶〕绦?，將自己常用的數(shù)據(jù)格式轉(zhuǎn)換成這種格式2）Svmtrain 和 Svmpredict 的用法LIBSVM軟件提供的各種功能都是DOS命令執(zhí)行方式。我們主要 用到兩個(gè)程序，svmtrain（訓(xùn)練建模）和svmpredict（使用已有的模型進(jìn)行預(yù)測(cè)）， 下面分

4、別對(duì)這兩個(gè)程序的使用方法、各參數(shù)的意義以及設(shè)置方法做一個(gè)簡單介 紹：（1）Svmtrain 的用法：svmtrain options training_set_file model_fi leOptions：可用的選項(xiàng)即表示的涵義如下-s svm類型：SVM設(shè)置類型（默認(rèn)0）0 - C-SVC-v-SVC-一類 SVM-e -SVR-v-SVR-t 核函數(shù)類型：核函數(shù)設(shè)置類型（默認(rèn)2）0-線性：uv- 多項(xiàng)式：（r*uv + coef0）degree-RBF 函數(shù)：exp（-r|u-v2）- sigmoid: tanh（r*uv + coef0）-d degree:核函數(shù)中的degree設(shè)置（

5、默認(rèn)3）-g 函數(shù)設(shè)置（默認(rèn)1/ k）?r（gama）:核函數(shù)中的-r coef0：核函數(shù)中的coef0設(shè)置（默認(rèn)0）-c cost：設(shè)置 C-SVC, -SVR 的參數(shù)（默認(rèn) 1）?-SVR 和-SVR的參數(shù)（默認(rèn)0.5）?-SVC, 類SVM和?-n nu：設(shè)置-SVR?-p e：設(shè)置的值（默認(rèn)0.1）?中損失函數(shù)-m cachesize：設(shè)置cache內(nèi)存大小，以MB為單位（默認(rèn)40）-e :設(shè)置允許的終止判據(jù)（默認(rèn)0.001）?-h shrinking:是否使用啟發(fā)式，0或1（默認(rèn)1）-wi C（C-SVC中的C）（默認(rèn)1）?weight:設(shè)置第幾類的參數(shù)C為weight-v n: n

6、-fold交互檢驗(yàn)?zāi)Ｊ狡渲?g選項(xiàng)中的k是指輸入數(shù)據(jù)中的屬性數(shù)option -v 隨機(jī)地將數(shù)據(jù)剖 分為n部分并計(jì)算交互檢驗(yàn)準(zhǔn)確度和均方根誤差。以上這些參數(shù)設(shè)置可以按照 SVM的類型和核函數(shù)所支持的參數(shù)進(jìn)行任意組合，如果設(shè)置的參數(shù)在函數(shù)或SVM 類型中沒有也不會(huì)產(chǎn)生影響，程序不會(huì)接受該參數(shù)；如果應(yīng)有的參數(shù)設(shè)置不正確， 參數(shù)將采用默認(rèn)值。training_set_file是要進(jìn)行訓(xùn)練的數(shù)據(jù)集；model_file 是訓(xùn)練結(jié)束后產(chǎn)生的模型文件，文件中包括支持向量樣本數(shù)、支持向量樣本以及 lagrange系數(shù)等必須的參數(shù)；該參數(shù)如果不設(shè)置將采用默認(rèn)的文件名，也可以 設(shè)置成自己慣用的文件名。（2） Sv

7、mpredict 的用法：svmpredict test_file model_file output_filemodel_file是由svmtrain產(chǎn)生的模型文件；test_file是要進(jìn)行預(yù)測(cè)的數(shù)據(jù)文件；Output_file是svmpredict的輸出文件。svm-predict沒有其它的選項(xiàng)。四、實(shí)驗(yàn)內(nèi)容及步驟支持向量機(jī)算法訓(xùn)練分類器：訓(xùn)練數(shù)據(jù)集：見文檔“分類數(shù)據(jù)集.doc”，前15 0個(gè)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)， 其他數(shù)據(jù)作為測(cè)試數(shù)據(jù)，數(shù)據(jù)中“+1”-1 ”分別表示正負(fù)樣本。使用代碼中的C-SVC算法和默認(rèn)參數(shù)來訓(xùn)練“分類數(shù)據(jù)集.doc ”中所有的 數(shù)據(jù)（包括訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)），統(tǒng)計(jì)分類

8、查準(zhǔn)率。提林-C: MJs：ei*s jflld.ininiti*a.toi*Be!akt:aplibsiuiri2 _ SOSjuindous. exe 1 - txt 2x optimization finished, fliter = 1B2 nu = B-431029 ubj 180.977288, rha 0-424462nSU = 132, nBSH = 1U?Tntal nU = 132C： XUseis：XjAdniniEtiatorIiesktQplitisuii-3.20,Mjindowsuin-predict .exe 1 -txt 2 3 ficcuiacy = Sfc

9、 _fi.fcfi.7z C224Z270 fclasssif icationi在2的基礎(chǔ)上使用k-折交叉驗(yàn)證思想來訓(xùn)練分類器并統(tǒng)計(jì)分類查準(zhǔn)率。ss泠學(xué)慧r阡- 口0: s er s Ml dn in ist pat r XDe s kt o pXl ibs u n-3 .2 0 win do us s vm-t r a in. e xe -u IB 1 .txt 2 M- pt In Iz At ion f Lrnlshed Utter = 133mi = 0.457663bj 023259, rhD - 0-3SO9?iSU = 125, nUSU = IMkllotal nU = 125

10、 *optinizcition f imished, #iter = 172nu = 0.438224bj = -?1.326460, rho = 0.419186nSU = 120. nBSU = 92lotal nSU - 120M-mptinizat on F inished= 1C9nu = 6.449487bj = -54.364450, rho = 0.47E975nU = 124. nBGU = 96Fetal nSU = 124M-aptnisa.tdh imiBhccl ititei 132nu =虬 4M548ahj = -86_fifcHS09, pIid = 0.24S

11、152nSU = 115, nDSU 91lotal nSU = 115Cross Ualidation ficcuracy = 81 -8519k使用2中的設(shè)置在訓(xùn)練數(shù)據(jù)的基礎(chǔ)上學(xué)習(xí)分類器，將得到的分類器在測(cè)試數(shù)據(jù)上進(jìn)行分類預(yù)測(cè)，統(tǒng)計(jì)查準(zhǔn)率。在4上嘗試不同的由直（“-c”參數(shù)）來調(diào)節(jié)分類器的性能并繪制查準(zhǔn)率曲 線。C： Misers Ml dirnin istratopDest0plibsum-3.20ijindciws sum-train .exe -c U.S 1. txt 2 * optimisation f in ishcd, flitcr- - 131 nu = 0.492462

12、obj = -56.525401. rho = 0.23?152 nU = 144, nBU = 25 Total nSU = 144C MJsemistj*a.tm*J)esswntrain -bmc -c 1 S 1. txt 2 * optimization :finished, iiiter = 166 nu = 0.4G5G95 obj = -142.131501, Pho = 0.47-5903 nU = 126, nBSU = 97 Total nU = 12&。：MJseisMldiriin istratoiDesktDpMihsyn-3 - Z W win do us s u

13、n-t pa in exe -c 2 1 .txt 2 pt in is at ion f in ished it it e i = 221 nu = 0.388793hj = -1B1.110841, pho = U.433596 nSU = 123- nBSU = 90Fetal nU 1230: UsersMldiTiin istEatoiSHesktapMihsym3 .2 0 XAiin dD us s um-tra in exe -c 2.5 1. txt 2 M-uptlnizatiun finiEhed, ttitet = 239 nu = B.377815 obj = -21

14、8.307424, pho = 0,453258 nU = 120, nBSU = 84 Focal nSU = 126嘗試不同的kernel函數(shù)（“-t”參數(shù)）來調(diào)節(jié)分類器的性能并繪制查準(zhǔn)率 曲線，對(duì)每種kernel函數(shù)嘗試調(diào)節(jié)其參數(shù)值并評(píng)估查準(zhǔn)率。固土冬提示櫥C Usei,fcs： fldninisti*at：oi%DesktopSlihsvin9 .20%AjirdowsBvmtrain . exe t 0 1 - txt 2ptimizat inn finished ttitev = i 010 nu 0.356371bj = -?2.473356, rlio = -1.050696

15、nCU = 101, nBGH = 88Total nSU = 101G s Wsers JldninistriiturDesktuplibsvm3 .20wirdQwssum-train - exe -t 1 1. txt 2 * optimi is at ion in ihed ttiter = 148 nu = 0.BO508S ohj = -131.800243. rho = -0.165688 nSU 177, nBSU - 151 Total nSU = 177C： MJsesMldninistratoiMieskCopMibsuini3 .29viindoyssuiir-t：Fa

16、ini. exe -t 2 1. txt 2 * optioisat ion Jf in ztmhed. #iter 1C2 nu = H.431029 ohj = -180-77288, Mw = 0_424462 nSU = 132, nESU = 107 Total nSU = 132C- MJsersfi(liiiln lstratopDesltoipxLibsuii-3.20Xwin(lciws sum-train .exe -t 3 l.txt Z * optimization finished, iliter = 157 nu = 0.436762bj = -110 099362

17、, plio = -G.333939 nU = 124, nBSU = litTutrtl n&U = 124支持向量機(jī)算法訓(xùn)練回歸方程：（1）.回歸數(shù)據(jù)集：見文檔“回歸數(shù)據(jù)集.doc”，總共506個(gè)數(shù)據(jù)，數(shù)據(jù)中 前13個(gè)屬性作為輸入，最后一個(gè)屬性作為輸出。:Usersflldninisti*atoi*Desktolibsvin3 .28windowssumr-predict Hexe 2,txt 2. txt .Rodel J lean squared epror = 9.681692 nuared correlation coefFicient = 3.283485 Cregrressio

18、nJ（2）.使用代碼中的epsilon-SVR算法和默認(rèn)參數(shù)來訓(xùn)練“回歸數(shù)據(jù)集.doc” 中所有的數(shù)據(jù)，統(tǒng)計(jì)回歸方程在每個(gè)數(shù)據(jù)點(diǎn)輸出的誤差并進(jìn)行誤差分析。C： MJsersAiiliTiln istraCorXDesktopMLbsiini-3 .2 3 wn do y s s win-tr a in. e xe s 3 2.txt 5*o pt in iz at ion f inished, ttiter = 90nu = fl_8S5S35ohj = -99.070542, iho = 0.381291nSU = 125, nBSU = 112（3）.在2上嘗試不同的e psilon值（-

19、p ”參數(shù)）來調(diào)節(jié)e psilon-SVR算法 的性能。C sJldiriinistrfttiarDeskt(iplibsvm3 .20,ir3dowssum_train - exe _s 3 p 0.2 2 - txt 5* optPi izat ion in ihed ttiter = 92 nu = B.B64823 obj = -77.534421, rlio = 0.339066 nCU = 121, nEGU = 109C ： MJ s e 1s fldn in is tra to p XDe s kt o d1 ibs u m3 _ 2 0 Xwin do us s u m-t

20、ra in. e xe -s 3 -p 0.3 2 . txt 5K optimizatIon finished Ititer = 75 nu = Hh847488 obj = 66.246874, rho = 0.298788 nSU = lit, nESU = 10?C： MJsesMldninistratoiMieskCopMibsuini3 .29viindoyssuiir-t：Faini. exe 一s 3 -p 0.4 2 - txt 5 * opt io is at ion in Diied ttitep = 91 nu = 0.B3S03S bj = -55.164945, r

21、lio = 3.283221 nCU = 114, nBU = 104C： MJsersAiiliTilnistraCorXDesktopMLbsiini-3.20windoyssvrn-triain.exe s 3 -p 8-5 2.txt 5 *optinization finished, ttiter = 8G nu = 0.798757 obj = -44.995629, i4i口 = 0.228&3 uSU = 112, riBSU = 95五、思考題：闡述k-折交叉驗(yàn)證的思想，比較1.2和1.3的性能。答： k-折交叉驗(yàn)證(k-fold crossValidation)就是在機(jī)器學(xué)習(xí)中，將 數(shù)據(jù)集A分為訓(xùn)練集(tra