機(jī)器學(xué)習(xí)結(jié)課項(xiàng)目報(bào)告

機(jī)器學(xué)習(xí)結(jié)課項(xiàng)目報(bào)告題目：基于svm的分類器設(shè)計(jì)與實(shí)現(xiàn)學(xué)院：計(jì)算機(jī)科學(xué)與工程學(xué)院專業(yè)：計(jì)算機(jī)科學(xué)與技術(shù)學(xué)生姓名：學(xué)號(hào)：授課教師：第第頁目錄TOC\o"1-3"\h\u17654一．實(shí)驗(yàn)環(huán)境 321274二．Libsvm在matlab下的使用 4148052.1libsvm的安裝 451492.1.1下載 4215142.1.2編譯 4310762.1.3重命名 496412.1.4添加路徑 4104492.2libsvm測(cè)試 5124482.2.1libsvm測(cè)試結(jié)果 5107022.3svm原理 5325432.3.1svm原理簡(jiǎn)介 593612.4libsvm的使用 6195172.4.1訓(xùn)練 6134732.4.2預(yù)測(cè) 699682.4.3訓(xùn)練參數(shù) 7124152.4.4訓(xùn)練返回的內(nèi)容 724452.4.5預(yù)測(cè)返回的內(nèi)容 860472.5.6讀取或保存 8292862.5.7更新libsvm包 88464三matlab程序的設(shè)計(jì)與實(shí)現(xiàn) 10118433.1程序設(shè)計(jì)思想 10308573.2matlab源程序的實(shí)現(xiàn) 1019404四實(shí)驗(yàn)結(jié)果 11257784.1運(yùn)行結(jié)果 11100164.2程序運(yùn)行界面 1110468五實(shí)驗(yàn)結(jié)論 12141155.1結(jié)論 12178435.2各種常見模型比較 1221072六展望 135885參考文獻(xiàn) 14一．實(shí)驗(yàn)環(huán)境本項(xiàng)目的開發(fā)環(huán)境為MatlabR2013b、所用到的工具包為libsvm-3.20包。數(shù)據(jù)集為隨機(jī)生成的平面坐標(biāo)數(shù)據(jù)。二．Libsvm在matlab下的使用2.1libsvm的安裝2.1.1下載在LIBSVM的主頁上下載最新版本的軟件包，并解壓到合適目錄中。網(wǎng)址.tw/~cjlin/libsvm/index.html2.1.2編譯如果使用的是64位的操作的系統(tǒng)和Matlab，那么不需要進(jìn)行編譯步驟，因?yàn)樽詭к浖幸呀?jīng)包含有64位編譯好的版本：libsvmread.mexw64、libsvmwrite.mexw64、svmtrain.mexw64、svmpredict.mexw64。否則，需要自己編譯二進(jìn)制文件。首先在Mtlab中進(jìn)入LIBSVM根目錄下的matlab目錄（如C:\libsvm-3.17\matlab），在命令窗口輸入>>mex–setup然后Matlab會(huì)提示你選擇編譯mex文件的C/C++編譯器，就選擇一個(gè)已安裝的編譯器，如MicrosoftVisualC++2010。之后Matlab會(huì)提示確認(rèn)選擇的編譯器，輸入y進(jìn)行確認(rèn)。然后就可以輸入以下命令進(jìn)行編譯。>>make注意，Matlab或VC版本過低可能會(huì)導(dǎo)致編譯失敗，建議使用最新的版本。 成功后，當(dāng)前目錄下會(huì)出現(xiàn)若干個(gè)后綴為mexw64（64位系統(tǒng)）或mexw32（32位系統(tǒng)）的文件。2.1.3重命名 編譯完成后，在當(dāng)前目錄下回出現(xiàn)svmtrain.mexw64、svmpredict.mexw64（64位系統(tǒng)）或者svmtrain.mexw32、svmpredict.mexw32（32位系統(tǒng)）這兩個(gè)文件，把文件名svmtrain和svmpredict相應(yīng)改成libsvmtrain和libsvmpredict。這是因?yàn)镸atlab中自帶有SVM的工具箱，而且其函數(shù)名字就是svmtrain和svmpredict，和LIBSVM默認(rèn)的名字一樣，在實(shí)際使用的時(shí)候有時(shí)會(huì)產(chǎn)生一定的問題，比如想調(diào)用LIBSVM的變成了調(diào)用MatlabSVM。如果有進(jìn)行重命名的，以后使用LIBSVM時(shí)一律使用libsvmtrain和libsvmpredict這兩個(gè)名字進(jìn)行調(diào)用。2.1.4添加路徑為了以后使用的方便，建議把LIBSVM的編譯好的文件所在路徑（如C:\libsvm-3.17\matlab）添加到Matlab的搜索路徑中。具體操作為：（中文版Matlab對(duì)應(yīng)進(jìn)行）HOME->SetPath->AddFolder->加入編譯好的文件所在的路徑（如C:\libsvm-3.17\matlab）當(dāng)然也可以把那4個(gè)編譯好的文件復(fù)制到想要的地方，然后再把該路徑添加到Matlab的搜索路徑中。2.2libsvm測(cè)試2.2.1libsvm測(cè)試結(jié)果LIBSVM軟件包中自帶有測(cè)試數(shù)據(jù)，為軟件包根目錄下的heart_scale文件，可以用來測(cè)試LIBSVM是否安裝成功。這里的heart_scale文件不能用Matlab的load進(jìn)行讀取，需要使用libsvmread讀取。進(jìn)入LIBSVM的根目錄運(yùn)行以下代碼（因?yàn)閔eart_scale文件沒有被添加進(jìn)搜索路徑中，其他路徑下無法訪問這個(gè)文件）：[heart_scale_label,heart_scale_inst]=libsvmread('heart_scale');model=libsvmtrain(heart_scale_label,heart_scale_inst,'-c1-g0.07');[predict_label,accuracy,dec_values]=libsvmpredict(heart_scale_label,heart_scale_inst,model);如果LIBSVM安裝正確的話，會(huì)出現(xiàn)以下的運(yùn)行結(jié)果，顯示正確率為86.6667%。*optimizationfinished,#iter=134nu=0.433785obj=-101.855060,rho=0.426412nSV=130,nBSV=107TotalnSV=130Accuracy=86.6667%(234/270)(classification)2.3svm原理2.3.1svm原理簡(jiǎn)介使用SVM前首先得了解SVM的工作原理，簡(jiǎn)單介紹如下。SVM(SupportVectorMachine，支持向量機(jī)）是一種有監(jiān)督的機(jī)器學(xué)習(xí)方法，可以學(xué)習(xí)不同類別的已知樣本的特點(diǎn)，進(jìn)而對(duì)未知的樣本進(jìn)行預(yù)測(cè)。SVM本質(zhì)上是一個(gè)二分類的算法，對(duì)于n維空間的輸入樣本，它尋找一個(gè)最優(yōu)的分類超平面，使得兩類樣本在這個(gè)超平面下可以獲得最好的分類效果。這個(gè)最優(yōu)可以用兩類樣本中與這個(gè)超平面距離最近的點(diǎn)的距離來衡量，稱為邊緣距離，邊緣距離越大，兩類樣本分得越開，SVM就是尋找最大邊緣距離的超平面，這個(gè)可以通過求解一個(gè)以超平面參數(shù)為求解變量的優(yōu)化問題獲得解決。給定適當(dāng)?shù)募s束條件，這是一個(gè)二次優(yōu)化問題，可以通過用KKT條件求解對(duì)偶問題等方法進(jìn)行求解。對(duì)于不是線性可分的問題，就不能通過尋找最優(yōu)分類超平面進(jìn)行分類，SVM這時(shí)通過把n維空間的樣本映射到更高維的空間中，使得在高維的空間上樣本是線性可分的。在實(shí)際的算法中，SVM不需要真正地進(jìn)行樣本點(diǎn)的映射，因?yàn)樗惴ㄖ猩婕暗降母呔S空間的計(jì)算總是以內(nèi)積的形式出現(xiàn)，而高維空間的內(nèi)積可以通過在原本n維空間中求內(nèi)積然后再進(jìn)行一個(gè)變換得到，這里計(jì)算兩個(gè)向量在隱式地映射到高維空間的內(nèi)積的函數(shù)就叫做核函數(shù)。SVM根據(jù)問題性質(zhì)和數(shù)據(jù)規(guī)模的不同可以選擇不同的核函數(shù)。雖然SVM本質(zhì)上是二分類的分類器，但是可以擴(kuò)展成多分類的分類器，常見的方法有一對(duì)多（one-versus-rest）和一對(duì)一（one-versus-one）。在一對(duì)多方法中，訓(xùn)練時(shí)依次把k類樣本中的某個(gè)類別歸為一類，其它剩下的歸為另一類，使用二分類的SVM訓(xùn)練出一個(gè)二分類器，最后把得到的k個(gè)二分類器組成k分類器。對(duì)未知樣本分類時(shí)，分別用這k個(gè)二分類器進(jìn)行分類，將分類結(jié)果中出現(xiàn)最多的那個(gè)類別作為最終的分類結(jié)果。而一對(duì)一方法中，訓(xùn)練時(shí)對(duì)于任意兩類樣本都會(huì)訓(xùn)練一個(gè)二分類器，最終得到k*(k-1)/2個(gè)二分類器，共同組成k分類器。對(duì)未知樣本分類時(shí)，使用所有的k*(k-1)/2個(gè)分類器進(jìn)行分類，將出現(xiàn)最多的那個(gè)類別作為該樣本最終的分類結(jié)果。LIBSVM中的多分類就是根據(jù)一對(duì)一的方法實(shí)現(xiàn)的。2.4libsvm的使用2.4.1訓(xùn)練 libsvm函數(shù)用于對(duì)訓(xùn)練集的數(shù)據(jù)進(jìn)行訓(xùn)練，得到訓(xùn)練好的模型。model=libsvmtrain(training_label_vector,training_instance_matrix[,'libsvm_options']);這個(gè)函數(shù)有三個(gè)參數(shù)，其中-training_label_vector:訓(xùn)練樣本的類標(biāo)，如果有m個(gè)樣本，就是mx1的矩陣（類型必須為double）。這里可以是二分類和多分類，類標(biāo)是（-1,1）、（1,2,3）或者其他任意用來表示不同的類別的數(shù)字，要轉(zhuǎn)成double類型。-training_instance_matrix:訓(xùn)練樣本的特征，如果有m個(gè)樣本，每個(gè)樣本特征是n維，則為mxn的矩陣（類型必須為double）。-libsvm_options:訓(xùn)練的參數(shù)，在下文詳細(xì)介紹。2.4.2預(yù)測(cè)libpredict函數(shù)用于對(duì)測(cè)試集的數(shù)據(jù)進(jìn)行測(cè)試，還能對(duì)未知樣本進(jìn)行預(yù)測(cè)。[predicted_label,accuracy,decision_values/prob_estimates]

=libsvmpredict(testing_label_vector,testing_instance_matrix,model[,'libsvm_options']);這個(gè)函數(shù)包括四個(gè)參數(shù)，其中-testing_label_vector:測(cè)試樣本的類標(biāo)，如果有m個(gè)樣本，就是mx1的矩陣（類型必須為double）。如果類標(biāo)未知，可以初始化為任意mx1的double數(shù)組。-testing_instance_matrix:測(cè)試樣本的特征，如果有m個(gè)樣本，每個(gè)樣本特征是n維，則為mxn的矩陣（類型必須為double）。-model:使用libsvmtrain返回的模型-libsvm_options:預(yù)測(cè)的參數(shù)，與訓(xùn)練的參數(shù)形式一樣。2.4.3訓(xùn)練參數(shù)LIBSVM訓(xùn)練時(shí)可以選擇的參數(shù)很多，包括：-ssvm類型：SVM設(shè)置類型（默認(rèn)0)

0—C-SVC；1–v-SVC；2–一類SVM；3—e-SVR；4—v-SVR-t核函數(shù)類型：核函數(shù)設(shè)置類型（默認(rèn)2）

0–線性核函數(shù)：u’v

1–多項(xiàng)式核函數(shù)：（r*u’v+coef0)^degree

2–RBF(徑向基)核函數(shù)：exp(-r|u-v|^2）

3–sigmoid核函數(shù)：tanh(r*u’v+coef0)-ddegree：核函數(shù)中的degree設(shè)置（針對(duì)多項(xiàng)式核函數(shù)）（默認(rèn)3）-gr(gamma）：核函數(shù)中的gamma函數(shù)設(shè)置（針對(duì)多項(xiàng)式/rbf/sigmoid核函數(shù)）（默認(rèn)1/k，k為總類別數(shù))-rcoef0：核函數(shù)中的coef0設(shè)置（針對(duì)多項(xiàng)式/sigmoid核函數(shù)）（（默認(rèn)0)-ccost：設(shè)置C-SVC，e-SVR和v-SVR的參數(shù)（損失函數(shù)）（默認(rèn)1）-nnu：設(shè)置v-SVC，一類SVM和v-SVR的參數(shù)（默認(rèn)0.5）-pp：設(shè)置e-SVR中損失函數(shù)p的值（默認(rèn)0.1）-mcachesize：設(shè)置cache內(nèi)存大小，以MB為單位（默認(rèn)40）-eeps：設(shè)置允許的終止判據(jù)（默認(rèn)0.001）-hshrinking：是否使用啟發(fā)式，0或1（默認(rèn)1）-wiweight：設(shè)置第幾類的參數(shù)C為weight*C(C-SVC中的C)（默認(rèn)1）-vn:n-fold交互檢驗(yàn)?zāi)Ｊ剑琻為fold的個(gè)數(shù)，必須大于等于2以上這些參數(shù)設(shè)置可以按照SVM的類型和核函數(shù)所支持的參數(shù)進(jìn)行任意組合，如果設(shè)置的參數(shù)在函數(shù)或SVM類型中沒有也不會(huì)產(chǎn)生影響，程序不會(huì)接受該參數(shù)；如果應(yīng)有的參數(shù)設(shè)置不正確，參數(shù)將采用默認(rèn)值。2.4.4訓(xùn)練返回的內(nèi)容libsvmtrain函數(shù)返回訓(xùn)練好的SVM分類器模型，可以用來對(duì)未知的樣本進(jìn)行預(yù)測(cè)。這個(gè)模型是一個(gè)結(jié)構(gòu)體，包含以下成員：-Parameters:一個(gè)5x1的矩陣，從上到下依次表示：

-sSVM類型（默認(rèn)0）；

-t核函數(shù)類型（默認(rèn)2）

-d核函數(shù)中的degree設(shè)置(針對(duì)多項(xiàng)式核函數(shù))(默認(rèn)3)；

-g核函數(shù)中的r(gamma）函數(shù)設(shè)置(針對(duì)多項(xiàng)式/rbf/sigmoid核函數(shù))(默認(rèn)類別數(shù)目的倒數(shù))；

-r核函數(shù)中的coef0設(shè)置(針對(duì)多項(xiàng)式/sigmoid核函數(shù))((默認(rèn)0)-nr_class:表示數(shù)據(jù)集中有多少類別，比如二分類時(shí)這個(gè)值即為2。-totalSV:表示支持向量的總數(shù)。-rho:決策函數(shù)wx+b中的常數(shù)項(xiàng)的相反數(shù)（-b）。-Label:表示數(shù)據(jù)集中類別的標(biāo)簽，比如二分類常見的1和-1。-ProbA:使用-b參數(shù)時(shí)用于概率估計(jì)的數(shù)值，否則為空。-ProbB:使用-b參數(shù)時(shí)用于概率估計(jì)的數(shù)值，否則為空。-nSV:表示每類樣本的支持向量的數(shù)目，和Label的類別標(biāo)簽對(duì)應(yīng)。如Label=[1;-1],nSV=[63;67]，則標(biāo)簽為1的樣本有63個(gè)支持向量，標(biāo)簽為-1的有67個(gè)。-sv_coef:表示每個(gè)支持向量在決策函數(shù)中的系數(shù)。-SVs:表示所有的支持向量，如果特征是n維的，支持向量一共有m個(gè)，則為mxn的稀疏矩陣。另外，如果在訓(xùn)練中使用了-v參數(shù)進(jìn)行交叉驗(yàn)證時(shí)，返回的不是一個(gè)模型，而是交叉驗(yàn)證的分類的正確率或者回歸的均方根誤差。2.4.5預(yù)測(cè)返回的內(nèi)容libsvmtrain函數(shù)有三個(gè)返回值，不需要的值在Matlab可以用~進(jìn)行代替。-predicted_label：第一個(gè)返回值，表示樣本的預(yù)測(cè)類標(biāo)號(hào)。-accuracy：第二個(gè)返回值，一個(gè)3x1的數(shù)組，表示分類的正確率、回歸的均方根誤差、回歸的平方相關(guān)系數(shù)。-decision_values/prob_estimates：第三個(gè)返回值，一個(gè)矩陣包含決策的值或者概率估計(jì)。對(duì)于n個(gè)預(yù)測(cè)樣本、k類的問題，如果指定“-b1”參數(shù)，則nxk的矩陣，每一行表示這個(gè)樣本分別屬于每一個(gè)類別的概率；如果沒有指定“-b1”參數(shù)，則為nxk*(k-1)/2的矩陣，每一行表示k(k-1)/2個(gè)二分類SVM的預(yù)測(cè)結(jié)果。2.5.6讀取或保存libsvmread函數(shù)可以讀取以LIBSVM格式存儲(chǔ)的數(shù)據(jù)文件。[label_vector,instance_matrix]=libsvmread(‘data.txt’);這個(gè)函數(shù)輸入的是文件的名字，輸出為樣本的類標(biāo)和對(duì)應(yīng)的特征。libsvmwrite函數(shù)可以把Matlab的矩陣存儲(chǔ)稱為L(zhǎng)IBSVM格式的文件。libsvmwrite(‘data.txt’,label_vector,instance_matrix]這個(gè)函數(shù)有三個(gè)輸入，分別為保存的文件名、樣本的類標(biāo)和對(duì)應(yīng)的特征（必須為double類型的稀疏矩陣）。2.5.7更新libsvm包從libsvm官網(wǎng)上下載svdd工具箱，目前使用libsvm3.18以及svdd3.18版本。svdd工具箱里面有一個(gè)matlab文件夾和3個(gè)文件svm.cpp、svm.h、svm-train.c。將matlab文件夾中的文件svmtrain.c覆蓋原libsvm的matlab文件夾中的文件。將svm.cpp、svm.h、svm-train.c這3個(gè)文件覆蓋libsvm文件夾下的相同文件。按本文剛開始講述的方法進(jìn)行mex-setup、make等完成安裝，根據(jù)需要進(jìn)行改名以及添加Path。三matlab程序的設(shè)計(jì)與實(shí)現(xiàn)3.1程序設(shè)計(jì)思想在項(xiàng)目中，數(shù)據(jù)集是由matlab隨機(jī)生成了100個(gè)正樣本和100個(gè)負(fù)樣本，正樣本與負(fù)樣本分別用紅色和藍(lán)色表示，然后把紅色的點(diǎn)與藍(lán)色的點(diǎn)分別圈出來，從而實(shí)現(xiàn)分類的效果。通過調(diào)用libsvm包里面的函數(shù)libsvmtrain去訓(xùn)練樣本，然后用函數(shù)libsvmpredict查看分類的結(jié)果并顯示在命令行上，實(shí)驗(yàn)結(jié)果見(四實(shí)驗(yàn)結(jié)果)。本項(xiàng)目kerneltypedefault=2（即Gaussiankernel），通過libsvmtrain(datalabel，data，'-c100-g4')設(shè)置了參數(shù)——C（c）和2σ2（g）分別為100和4。3.2matlab源程序的實(shí)現(xiàn)function[output_args]=Nonlinear_SVM(input_args)%NONLINEAR_SVMSummaryofthisfunctiongoeshere%Detailedexplanationgoeshere%generatedata1r=sqrt(rand(100,1));%generate100randomradiust=2*pi*rand(100,1);%generate100randomangles,inrange[0,2*pi]data1=[r.*cos(t),r.*sin(t)];%points%generatedata2r2=sqrt(3*rand(100,1)+1);%generate100randomradiust2=2*pi*rand(100,1);%generate100randomangles,inrange[0,2*pi]data2=[r2.*cos(t2),r2.*sin(t2)];%points%plotdatasplot(data1(:,1),data1(:,2),'r.')holdonplot(data2(:,1),data2(:,2),'b.')ezpolar(@(x)1);%在極坐標(biāo)下畫ρ=1，θ∈[0,2π]的圖像，即x^2+y^2=1ezpolar(@(x)2);axisequal%makexandyaxiswithequalscalarholdoff%buildavectorforclassificationdata=[data1;data2];%mergethetwodatasetintoonedatalabel=ones(200,1);%labelforthedatadatalabel(1:100)=-1;%trainwithNon-linearSVMclassifieruseGaussianKernelmodel=libsvmtrain(datalabel,data,'-c100-g4');[predicted_label,accuracy,decision_values]=libsvmpredict(datalabel,data,model);End四實(shí)驗(yàn)結(jié)果4.1運(yùn)行結(jié)果4.1.1matlab命令行輸出>>Nonlinear_SVM*optimizationfinished,#iter=197nu=0.007276obj=-72.771233,rho=-0.773878nSV=33,nBSV=0TotalnSV=33Accuracy=100%(200/200)(classification)4.2程序運(yùn)行界面五實(shí)驗(yàn)結(jié)論5.1結(jié)論通過上文的闡述，非常清晰的展示的libsvm包的安裝與使用。通過本實(shí)驗(yàn)，我進(jìn)一步理解了svm的工作原理及工作過程，對(duì)機(jī)器學(xué)習(xí)也有更深的領(lǐng)悟。SVM本質(zhì)上是一個(gè)二分類的算法，當(dāng)對(duì)于樣本數(shù)不是很多的情況，效果非常的好，如上所示，針對(duì)200個(gè)樣本，