數(shù)據(jù)挖掘?qū)д?-第5章-分類-5.5-SVM-2017

1、5.5支持向量機(jī)，支持向量機(jī)，SVM)統(tǒng)計(jì)學(xué)習(xí)理論的早期工作起源于瓦普尼克和切爾沃內(nèi)基斯。第一篇論文是博瑟、蓋恩和瓦普尼克的文章。它們不容易過度適合。支持向量機(jī)還提供了學(xué)習(xí)模型的一種簡潔表示。SVM可以用來預(yù)測(cè)和分類它們。它們已被應(yīng)用于許多領(lǐng)域，包括手寫數(shù)字識(shí)別、目標(biāo)識(shí)別、說話人識(shí)別和參考時(shí)間序列預(yù)測(cè)測(cè)試。支持向量機(jī)，兩個(gè)線性可分的類找到這樣一個(gè)超平面，所以所有的正方形都位于這個(gè)超平面的一邊，而所有的圓都位于它的另一邊。這種超平面可能有無限多的“最大邊”，也就是說，希望在正確分離兩類數(shù)據(jù)點(diǎn)的前提下，找到的決策邊界將具有相應(yīng)分類器的最大邊。這可以使新測(cè)試數(shù)據(jù)被錯(cuò)誤分類的概率盡可能小。如下圖所示，

2、情況(b)比情況(a)和(c)具有更強(qiáng)的泛化能力，因?yàn)槠浣涌谂c兩類樣本中最近鄰樣本之間的距離最大。(a)，(b)，(c)，判定邊界的邊緣，表示1表示-1、也就是說，給出了判定超平面，并且給出了更多的例子。應(yīng)考慮以下因素：經(jīng)驗(yàn)風(fēng)險(xiǎn)最小(樣本誤分類最少)最大泛化能力(新樣本誤分類可能性最小)，決策邊界的邊緣，表示1表示-1、決策邊界的邊緣，表示1表示-1、更多示例：決策邊界的邊緣，表示1表示-1，更多示例：決策邊界的邊緣，表示1表示-1、所有決策超平面但是應(yīng)該選擇哪個(gè)作為最優(yōu)決策超平面呢？更多示例：決策邊界的邊緣、分類器邊距、注釋1、注釋-1、將線性分類器的邊距定義為在到達(dá)數(shù)據(jù)點(diǎn)之前邊界可以增加的

3、寬度。更多示例：決策邊界的邊緣，最大邊距，表示1表示-1、最大邊距線性分類器是具有，嗯，最大邊距的線性分類器。這是一種簡單的svm(稱為lsvm)，線性SVM，更多的例子：決策邊界的邊緣，表示1表示-1、最大邊距線性分類器是具有最大邊距的線性分類器。這是最簡單的一種SVM(稱為LSVM)，支持向量，線性SVM，更多的例子：決策邊界的邊緣，決策邊界和SVM的邊緣，線性分類器的決策邊界可以寫成如下：wx b=0，其中w和b是模型的參數(shù)，邊緣，塊的類標(biāo)簽是1，類標(biāo)簽為1z的圓的類標(biāo)簽y調(diào)整決策邊界的參數(shù)w和b。兩個(gè)平行超平面bi1和bi2可以表示如下：bi1: wxb=1bi2: wxb=1?？梢宰C

4、明邊d、邊導(dǎo)數(shù)和w的方向垂直于判定邊界。如果xa和xb是位于判定邊界上的任意兩點(diǎn)，則wxa b=0，Wxb b=0，因此w (xbxa)=0。由于xbxa是決策超平面中的任意向量，w的方向必須垂直于決策邊界，因此x1是bi1上的數(shù)據(jù)點(diǎn)，x2是bi2上的數(shù)據(jù)點(diǎn)。用bi1和bi2代替減法，w (x1x2)=2通過u=w，v=x1x2，Get | | w | | | | x1x2 | | cos (w，x1x2)=2，邊緣求導(dǎo)(續(xù))，| | w | | | x1x2 | | cos (w，x1x2)=2同時(shí)| | x1x2 | | cos (w，x1x2)=d，然后|。在SVM的訓(xùn)練階段，從訓(xùn)練數(shù)據(jù)

5、中估計(jì)決策邊界的參數(shù)w和b，以最大化邊緣d并滿足wxi b1。如果yi=1 wxib 1，如果yi=1，即yi(wxi b)1，最大化d等價(jià)于最小化，這是一個(gè)凸二次優(yōu)化問題。它可以通過標(biāo)準(zhǔn)的拉格朗日乘子法，SVM(續(xù))，拉格朗日算子來求解，其中參數(shù)I被稱為拉格朗日乘子，以找到關(guān)于W和B的Lp的偏導(dǎo)數(shù)，并使它們等于零。因?yàn)槔窭嗜粘俗覫是未知的，所以仍然不能得到W和B的解，(5-38)，(5-39)，(5-40)使用卡魯-庫恩-圖舍爾(KKT)條件：I 0i yi (wxib) 1=0 (5.42)，除非訓(xùn)練實(shí)例滿足等式y(tǒng)i(wxi b)=1，否則拉格朗日乘子I必須為零。i0的訓(xùn)練實(shí)例位于超平面

6、bi1或bi2上。它們被稱為支持向量(5.39)和(5.40)，并被代入公式(5.38)，這是Lp的對(duì)偶問題(最大化問題)。它可以用數(shù)值計(jì)算技術(shù)來求解，如二次規(guī)劃，(5-43)，SVM(續(xù))，I求解后，w由(5.39)得到，然后(0.39)在數(shù)據(jù)污染和近似線性分類的情況下可能沒有最優(yōu)線性決策超平面；在噪聲數(shù)據(jù)的情況下，為了保證所有訓(xùn)練數(shù)據(jù)的準(zhǔn)確分類，可能會(huì)導(dǎo)致過度擬合，不可分：軟邊SVM，不可分：軟邊SVM，不可分：軟邊SVM，因此，有必要允許在一定范圍內(nèi)“誤分類”，而軟邊SVM的最優(yōu)分類面具有較大的邊界面積，允許通過引入松弛變量和懲罰因子在一定程度上誤分類樣本，從而增加分離距離。尋求分類準(zhǔn)確

7、性和泛化能力之間的平衡，不可分的情況：軟余量)SVM，引入松弛變量I，其中c和k是用戶指定的參數(shù)，將懲罰k=1添加到錯(cuò)誤分類訓(xùn)練示例中，并根據(jù)模型在確認(rèn)集拉格朗日算子上的性能選擇c，其中前兩項(xiàng)是要最小化的目標(biāo)函數(shù)，第三項(xiàng)表示與松弛變量相關(guān)的不等式約束，最后一項(xiàng)是要求I的值為非負(fù)的結(jié)果。KKT條件I 0，I 0，I 0 I yi (wxib) 1 I=0 I=0、不可分的情況：軟余量)SVM，其中c是罰因子，c越大，分類越嚴(yán)格，錯(cuò)誤的樣本越有限。虛線和實(shí)線是由C=1和104求解的決策超平面。不可分的情況：軟邊SVM，軟邊SVM的基本工作原理：在數(shù)據(jù)污染和近似線性分類的情況下，可能沒有最優(yōu)線性決策

8、超平面；當(dāng)存在噪聲數(shù)據(jù)時(shí)，為了保證所有訓(xùn)練數(shù)據(jù)的準(zhǔn)確分類，可能會(huì)導(dǎo)致過度擬合。因此，有必要允許最優(yōu)決策超平面具有一定程度的“誤分類”和較大的邊界區(qū)域，即軟區(qū)間支持向量機(jī)。軟區(qū)間支持向量機(jī)通過引入松弛變量和懲罰因子，允許在一定程度上對(duì)樣本進(jìn)行錯(cuò)誤分類，從而增加區(qū)間距離。尋求分類準(zhǔn)確性和泛化能力之間的平衡?？煞蛛x性情況：軟余量)SVM，非線性SVM，使用非線性變換示例：樣本可以通過映射到高維空間而線性分離，非線性SVM:從低維空間映射到高維空間，樣本可以通過映射到高維空間而線性分離。、 :x (x)，非線性SVM:從低維空間到高維空間的映射。因此，對(duì)于非線性問題，樣本X可以映射到高維特征空間H并在

9、H中使用。非線性SVM優(yōu)化問題的約束條件是：(W(Xi)B)1，I=1，2，非線性支持向量機(jī)的基本工作原理對(duì)于非線性可分問題，可以通過核變換將原始樣本映射到高維特征空間，從而將低維特征空間中原本非線性可分的樣本映射到新的高維，非線性SVM，核技術(shù)，美世定理：核函數(shù)K可以表示為k (u，v)=(u) (v)，當(dāng)且僅當(dāng)任何函數(shù)g(x)滿足g(x)2dx是有限的，那么K(x，Y) g(x) g(y) dx dy0。滿足定理5.1的核函數(shù)稱為正定核函數(shù)，它具有SVM的特征。SVM學(xué)習(xí)問題可以表示為凸優(yōu)化問題。因此，已知的有效算法可用于尋找目標(biāo)函數(shù)的全局最小值。SVM通過最大化決策邊界的邊緣來控制模型的

10、能力需要提供其他參數(shù)，例如所使用的核函數(shù)的類型、引入松弛變量所需的成本函數(shù)C等。每個(gè)分類屬性值都用一個(gè)虛擬變量處理，并轉(zhuǎn)換成一個(gè)二進(jìn)制變量。例如，如果婚姻狀態(tài)有三個(gè)值單身、已婚、離異，可以在每個(gè)屬性值中引入一個(gè)二元變量，這可以擴(kuò)展到多類問題。SVM是為二等問題設(shè)計(jì)的，有些方法也是針對(duì)二等問題的。如何處理多類問題？培訓(xùn)訂單Y=y1，y2，yK是一組類別標(biāo)簽。1-r方法：分解成k類ii問題，每個(gè)類伊一產(chǎn)生一個(gè)類ii問題，其中屬于yi的所有樣本被認(rèn)為是正類，而其他樣本被認(rèn)為是負(fù)類。1-1方法3360構(gòu)建k (k 1)/2個(gè)ii類分類器，每個(gè)分類器用于區(qū)分一對(duì)類別(。當(dāng)為類(yi，Yj)構(gòu)造類ii分類

11、器時(shí)，不屬于yi或yj的樣本被忽略。常用的SVM程序，LIBSVM:.tw/cjlin/mySVM http:/www-ai.cs.uni-dortmund.de/SOFTWARE/MYSVM/SVM-光/People/tj/SVM _光/，在MATLAB中使用SVM函數(shù)，1。數(shù)據(jù)預(yù)處理，2。數(shù)據(jù)加載和規(guī)范化，3。訓(xùn)練SVM分類器，4。分類的可選步驟：交叉檢驗(yàn)，選擇最佳核函數(shù)和參數(shù)，SVM訓(xùn)練和支持向量機(jī)分類函數(shù)，訓(xùn)練支持向量機(jī)分類器語法和調(diào)用參數(shù)：svmstruct=svmstrain(訓(xùn)練，組)sv

12、mstruct=svmstrain(.內(nèi)核函數(shù)，內(nèi)核函數(shù)值，)SVMStruct=svmtrain(.徑向基函數(shù)，徑向基函數(shù)值，)SVMStruct=svmtrain(.多訂單，多訂單價(jià)值，)SVMStruct=svmtrain(.Mlp_Params，Mlp_ParamsValue，)SVMStruct=svmtrain(.方法、方法值、)SVMStruct=svmtrain(.四進(jìn)制數(shù)值，四進(jìn)制數(shù)值，)SVMStruct=svmtrain(.SMO光電，SMO光電，)SVMStruct=svmtrain(.BoxConstraint、BoxConstraintValue、)SVMStruct=svmtr