支持向量機(jī)通俗導(dǎo)論理解svm的三層境界

IT創(chuàng)始 MDCC2013中國(guó)移動(dòng)開(kāi)發(fā)者大會(huì)社區(qū)贈(zèng)票申 Tag功能介紹—我們?yōu)槭裁? 訂閱CSDN社區(qū)，及時(shí)了解社區(qū)精華內(nèi)支持向量機(jī)通俗導(dǎo)論（SVM分類(lèi)：30.MachineL&DataMining2012-06-0122:48115293人閱讀評(píng)論(219)收藏支持向量機(jī)通俗導(dǎo)論（理解SVM的三層境界作者：July、pluskid；致謝：白石、JerryLeadblog。、1或-1分類(lèi)標(biāo)準(zhǔn)的：logistic回FunctionalmarginGeometricalFunctionalGeometricalmargin1.4、最大間隔分類(lèi)器umMarginClassifier的定義1.5Supportoutliers、SMO、SVM前動(dòng)筆寫(xiě)這個(gè)支持向量機(jī)(supportvectormachine)是費(fèi)了不少勁和的，從5月22日凌晨?jī)牲c(diǎn)在8月底，寫(xiě)這個(gè)SVM3個(gè)月)。原因很簡(jiǎn)單，一者本文作為T(mén)op10AlgorithmsinDataMining系列第二篇文章，將主要結(jié)合支持向量機(jī)導(dǎo)論、數(shù)據(jù)FreeMind的支持向量機(jī)系列而寫(xiě)(于此，還是一篇學(xué)習(xí)筆記，只是加入了自己的理解，有任何及原理細(xì)節(jié)，力求深入淺出&通俗易懂。SVMSVM(SVM有個(gè)大致的了解，知道它是個(gè)什么東西便已足夠SVM(SVM的內(nèi)部原理，通宵其各處脈絡(luò)，以為將來(lái)運(yùn)用它時(shí)第三層、證明SVM。chrome等瀏覽器，謝謝大家。本文中出現(xiàn)了諸多公式，若想真正理解本文之內(nèi)容，我希望讀者，能拿張紙和筆出來(lái)，把本文所有定理.公式都親自推導(dǎo)一遍或者直接打印下來(lái)，在文稿上演算（blog某一篇文章打印下來(lái)，隨時(shí)隨地思考.演算.討論。Ok&第一層、了解、什么是支持向量機(jī)分類(lèi)作為數(shù)據(jù)挖掘領(lǐng)域中一項(xiàng)非常重要的任務(wù)，目前在商業(yè)上應(yīng)用最多(比如分析型里面的客臨床指標(biāo)進(jìn)行推斷是否得了心臟病。如作為一個(gè)醫(yī)生，他可以根據(jù)他以往診斷的病例對(duì)很多個(gè)(假設(shè)是500個(gè))進(jìn)行徹底的臨床檢測(cè)之后，已經(jīng)能夠完全確定了哪些具有心臟病，哪些沒(méi)有。因?yàn)?，在這個(gè)診斷的過(guò)程中，醫(yī)生理所當(dāng)然的記錄了他們的，膽固醇等10多項(xiàng)的相關(guān)指標(biāo)。那么，以后，醫(yī)生可以根據(jù)這些臨床資料，對(duì)后來(lái)新的通過(guò)檢測(cè)那0多項(xiàng)、膽固醇等指標(biāo)，以此能推斷或者判定是否有心臟病（雖這個(gè)做法不能達(dá)到0%0、的正確率），而這一根據(jù)以往臨場(chǎng)病例指標(biāo)分析來(lái)推斷新來(lái)的病例的技術(shù)，即成為分類(lèi)classificaon技術(shù)。假定是否患有心臟病與的和膽固醇水平密切相關(guān)下表對(duì)應(yīng)10個(gè)的臨床數(shù)據(jù)(用[x1]表這樣，問(wèn)題就變成了一個(gè)在二上的分類(lèi)問(wèn)題，可以在平面直角坐標(biāo)系中描述如下：根據(jù)SoSVM所謂支持向量機(jī)，顧名思義，分為兩個(gè)部分了解，一什么是支持向量簡(jiǎn)單來(lái)說(shuō)，就是支持支撐平面上把兩類(lèi)類(lèi)別劃分開(kāi)來(lái)的超平面的向量點(diǎn)，下文將具體解釋?zhuān)@里的機(jī)是什么意思。我先來(lái)回答第二點(diǎn)：這里的機(jī)（machine機(jī)器）習(xí)的方法(MachineL&DataMining第一支持向量機(jī)(SVM)90年代中期發(fā)展起來(lái)的基于統(tǒng)計(jì)學(xué)習(xí)理論的一種機(jī)器學(xué)習(xí)方法，通過(guò)尋求結(jié)構(gòu)SVM原理的同學(xué)(SVM是干嘛的)，那么，了解到這里便足夠了，不、線性分OKSVM之前，咱們必須先弄清楚一個(gè)概念：線性分類(lèi)器(也可以叫做感知機(jī)，這里的機(jī)表示SVM中會(huì)詳細(xì)闡述)。、分類(lèi)標(biāo)xny來(lái)表1或者-1n維的數(shù)據(jù)空間中找到一y1或者-1來(lái)表示兩個(gè)不同的類(lèi)別呢？其實(shí)，這個(gè)1或-1的分類(lèi)標(biāo)準(zhǔn)于logistic回歸，為了完整和過(guò)渡的自然性，咱們就再來(lái)看logistic回歸。、1或-1分類(lèi)標(biāo)準(zhǔn)的：logistic回Logistic0/1分類(lèi)模型，而這個(gè)模型是將特性的線性組合作為自變量，由于自變量的取值范圍是負(fù)無(wú)窮到正無(wú)窮。因此，使用logistic函數(shù)（或稱作sigmoid函數(shù)）將自變量映射到(0,1)y=1的概率。x是nglogistic 的圖像y=1再審視一下發(fā)現(xiàn)只和有關(guān)，>0，那么，g(z)只不過(guò)是用來(lái)映射，真實(shí)的類(lèi)別決定權(quán)還在。還有當(dāng)時(shí)，=1，反之=0。如果我們只從出發(fā)，希望模型達(dá)到的目標(biāo)無(wú)非就是讓訓(xùn)練數(shù)據(jù)中y=1的特 。Logistic回歸就是要學(xué)習(xí)得到，使得正例的特征遠(yuǎn)大于0，負(fù)例的特征遠(yuǎn)小于0，強(qiáng)調(diào)在全部訓(xùn)練實(shí)例上達(dá)到這個(gè)目標(biāo)。、形式化標(biāo)我們這次使用的結(jié)果是y=-1,y=1，替換在logistic回歸中使用的y=0和y=1。同時(shí)將替換成w和b。以前的，其中認(rèn)為?，F(xiàn)在我們替換 為（ 。也就是說(shuō)除了y由y=0變?yōu)閥=-1，只是標(biāo)記不同外，與logistic回歸的形式化表示沒(méi)區(qū)別。上面提到過(guò)我們只需考 y=-1y=11或者-1來(lái)標(biāo)示。jerrylead所作的斯坦福機(jī)器學(xué)習(xí)課程的筆記。、線性分類(lèi)的一個(gè)例下面舉個(gè)簡(jiǎn)單的例子，一個(gè)二維平面(一個(gè)超平面，在二中的例子就是一條直線)，如下圖所y全是-1，而在另一邊全是1。f(x)=0xf(x)<0的點(diǎn)，y等于-1f(x)>0y=1的數(shù)據(jù)點(diǎn)。（有一朋友飛狗來(lái)自Mare_Desiderii，看了上面的定義之后，問(wèn)道：請(qǐng)教一下SVMfunctionalmargin為γ?=y(wTx+b)=yf(x)Y1和-1嗎？y的唯一作用就是確保functionalmargin的非負(fù)性？真是這樣的么？當(dāng)然不是，見(jiàn)本文評(píng)論下第43樓）xf(x)0，則賦予其類(lèi)別-1，如果大于0則賦予類(lèi)別1f(x)=0，則很難辦了，分到哪一類(lèi)都不是。請(qǐng)讀者注意3咱們就要確定上述分類(lèi)函數(shù)f(x)=w.x+b（w.x表示w與x的內(nèi)積）中的兩個(gè)參數(shù)wb，通w是法向量，b是截距；那如何確定w和b呢？答案是尋找兩條邊界端或劃分直線中間的最大間隔（之所以要尋最大間隔是為了能更好的劃分不同類(lèi)的點(diǎn)，下文你將看到：為尋最大間隔，導(dǎo)出1/2||w||^2，繼aa，從hyperplane和分類(lèi)函數(shù)；f(xw.xbw，b總結(jié)成一句話即是：從最大間隔出發(fā)（目的本就是為了確定法向量w），轉(zhuǎn)化為求對(duì)變量w和b的、函數(shù)間隔Functionalmargin與幾何間隔Geometricalw*x+b=0確定的情況下，|w*x+b|xw*x+by的符度f(wàn)unctionalmargin的概念。、函數(shù)間Functionalfunctionalmargin(xi，yi)的函數(shù)間隔最小值，其中，x是特征，y是結(jié)果，i表示第i個(gè)樣本，有 (i=1，..選擇分類(lèi)超平面時(shí)，只有函數(shù)間隔還遠(yuǎn)遠(yuǎn)不夠，因?yàn)槿绻杀壤母淖僿和b，如將他們改變?yōu)?w和2b，雖然此時(shí)超平面沒(méi)有改變，但函數(shù)間隔的值f(x)卻變成了原來(lái)的4倍。其實(shí)，我們可以對(duì)法向量w間geometricalmargin的概念。、點(diǎn)到超平面的距離定義：幾何間隔Geometricalx，令其垂直投影到超平面上的對(duì)應(yīng)的為x0，由于w是垂直于超平面的一個(gè)向量，我們有 又由于x0是超平面上的點(diǎn)，滿足f(x0)=0，代入超平面的方程即可算出：γ（有的書(shū)上會(huì)寫(xiě)成把||w||9，其中，||w||w的二階γy即幾何間隔geometricalmargin為(注：別忘了，上面?γ的定義，（代人相關(guān)式子可以得出：yi*(w/||w||想想二里的點(diǎn)到直線公式：假設(shè)一條直線的方程為ax+by+c=0,點(diǎn)P的坐標(biāo)是(x0,y0)，則點(diǎn)那么如果用向量表示，設(shè)w=(a,b),f(x)=wx+c,那么這個(gè)距離正是|f(p)|/||w||、最大間隔分類(lèi)器umMarginClassifier的定functionalmargingeometricalmargin相差∥w的縮放因子。按照我們前面的分析，對(duì)一個(gè)數(shù)據(jù)點(diǎn)進(jìn)行分類(lèi)，當(dāng)它的margin越大的時(shí)confidencenmarginnmarginconfidence高，我們希望所選擇的hyperplane能夠最大化這個(gè)margin值。1、functionalmarginhyperplane固定以后，我們wbf(x)=wTx+b的值任意大，亦即functionalmarginγ?hyperplane2geometricalmargin∥wwb的γ?的值是不會(huì)改變的，它只隨著hyperplane的變動(dòng)而變動(dòng)，因此，這是更加合適的一個(gè)margin ummarginclassifier的目標(biāo)函數(shù)可以定義為maxγ??marginγ?=γ?∥w(?γ?γ/∥wγ?=1?γ1||w||)γ?=1(42樓回復(fù)，貌似博4242+81123樓顯示)?γ(其中，s.t.subjectto的意思，它導(dǎo)出的是約束條件marginclassifier，如下圖所示，中間的紅色線條是OptimalHyperPlane，另外兩條線到紅線的距離都是等于γ?的γ?便是上文所定義的geometricalmargin，當(dāng)γ?=1γ?1/||w||，而我們上面得到的目標(biāo)函數(shù)便是1/||w||值)：通過(guò)最大化margin，我們使得該分類(lèi)器對(duì)數(shù)據(jù)進(jìn)行分類(lèi)時(shí)具有了最大的confidence。但，這個(gè)最大分類(lèi)間隔器到底是用來(lái)干嘛的呢？很簡(jiǎn)單，SVM通過(guò)使用最大分類(lèi)間隙umMarginClassifier來(lái)設(shè)計(jì)決策最優(yōu)分類(lèi)超平面，而為何是最大間隔，卻不是最小間隔呢？因?yàn)樽畲箝g隔能獲得SoSupportVectorMachine，我們可以先這樣理解，如上圖所示，我們可以看到hyperplane兩邊的那個(gè)gap分別對(duì)應(yīng)的兩條平行的線（在高中也應(yīng)該是兩個(gè)hyperplane）上hyperplane上都會(huì)有點(diǎn)存在，否則我們就可以進(jìn)一步擴(kuò)大gap，也就是γ?supportvector1.5、到底什么是Support上節(jié)，我們介紹了umMarginClassifierSupportVector，本1.4節(jié)最后一張圖：gapseparatinghyperplane的距離相等，即我們所能得到的最大的geometricalmarginγ?。而“支撐”這兩個(gè)超平面的必定會(huì)有一些點(diǎn)，而這些“支撐”SupportVector。supportingvectory(wTx+b)=1（還記得我們把functionalmargin定為1了嗎？上節(jié)中：“γ?=1”），而對(duì)于所有不是支持向量的點(diǎn)，也就是在“陣地后方”的點(diǎn)，則顯然有y(wTx+b)>1。當(dāng)然，通常除了K-NearestNeighbor之類(lèi)的Memory-basedLearning算法，通常算法也都不會(huì)直接把所有的點(diǎn)下來(lái)，并全inferenceKernel方法進(jìn)行非線性化推廣的話，就會(huì)遇到這個(gè)問(wèn)題了。Kernel2.2節(jié)中介紹）。OK，到此為止，算是了解到了SVM的第一層，對(duì)于那些只關(guān)心怎么用SVM的朋友便已足夠，不必第二層、深入、從線性可分到線性不可、從原始問(wèn)題到對(duì)偶問(wèn)題的求之前得到的目標(biāo)函數(shù)（subjectto導(dǎo)出的則是約束條件）：由于求的最大值相當(dāng)于求 的最小值所以上述問(wèn)題等價(jià)（w由分母變成分子，從而也有原來(lái)的max問(wèn)題變?yōu)閙in問(wèn)題，很明顯，兩者問(wèn)題等價(jià)：二次優(yōu)化問(wèn)題——QP(QuadraticProgramming)的優(yōu)化包進(jìn)行求解；QPLagrangeDuality變換到對(duì)偶變量(dualvariable)的優(yōu)化問(wèn)題之后，可以找到一種更加有效的方法來(lái)進(jìn)行求解，而且通常情況下這種方法比直接使用通用的QP優(yōu)化包進(jìn)行優(yōu)化要高效得多。ok，接下來(lái)，你將看到“對(duì)偶變量dualvariable的優(yōu)化問(wèn)題”等類(lèi)似的頻繁出現(xiàn)，便是解決至于上述提到，關(guān)于什么是Lagrangeduality？簡(jiǎn)單地來(lái)說(shuō)，通過(guò)給每一個(gè)約束條件加上一容易驗(yàn)證，當(dāng)某個(gè)約束條件不滿足時(shí)，例如yi(wTxi+b)<1，那么我們顯然有θ(w)=∞（只要令αi=∞即可）。而當(dāng)所有約束條件都滿足時(shí)，則有θ(w)=12∥w∥2， 的量。因此，在要求約束條件得到滿足的情況下最小化12∥w∥2 化 （當(dāng)然，這里也有約束條件，就是 p?小和最大的位置交換一下（dP的對(duì)偶形d?d?≤p?之，第二個(gè)問(wèn)題dp?的一個(gè)下界，在滿足某些條件注：上段說(shuō)“在滿足某些條件的情況下”，這所謂的“滿足某些條件”就是要先滿足Slater'sCondition，進(jìn)而就KKT條件3點(diǎn)所述（觀點(diǎn)來(lái)自frestyle）：在convexproblem中，d*p*Slater'sCondition，Slater'scondition保證臨界點(diǎn)saddlepoint存在。至于KKT條件，首先原問(wèn)題的最優(yōu)值可以通過(guò)求Lagrangian的臨界點(diǎn)saddlepoint（如果有的話）來(lái)得到，再者，KKTtheoremSlatercondition的同時(shí)（前面說(shuō)了，Slater'scondition保證臨界點(diǎn)saddlepoint存在），f和gisaddlepoint不僅存在，而且能通過(guò)對(duì)Lagrangian求導(dǎo)得到，所以KKTd*=p*KKTdual那KKT條件的表現(xiàn)形式是什么呢？據(jù)百科：KKT條件的介紹，一般地，一個(gè)最優(yōu)化數(shù)學(xué)模型能夠表示成下列Karush-Kuhn-Tuckerx*KKT條件的（Slaterconditionf和gi也都是可微的，即Lw和b都可導(dǎo)），因此現(xiàn)在我們便轉(zhuǎn)化為求解第二個(gè)問(wèn)題。也就是說(shuō)，現(xiàn)在，咱們的原問(wèn)題通3個(gè)步驟，首先要讓L(w，b，a)wb最小化，α的極大，最后利用SMO、首先固定α，要讓Lwb最小化，我們分別對(duì)w，b求偏導(dǎo)數(shù)，即?L/?w?L/?b等于零（對(duì)w45樓回復(fù)）： ，jerrylead所說(shuō)：“4步”推導(dǎo)到“3步”aiyi都是實(shí)數(shù)，因此轉(zhuǎn)置后與自身一樣?！?步”推導(dǎo)到“2步”使用了下文的第2步，求出了ai便能求出w，和b，由此可見(jiàn)，上文第1.2節(jié)提出來(lái)的問(wèn)題：分類(lèi)函數(shù)w^Tb常比原問(wèn)題更容易處理，因?yàn)橹苯犹幚聿坏仁郊s束是的，而對(duì)偶問(wèn)題通過(guò)引入拉格朗日乘子(又稱、求對(duì)α的極大，即是關(guān)于對(duì)偶變量dualvariableα（下文將一直用粗體+下劃線表示）的優(yōu)化(不得不提醒下讀者：經(jīng)過(guò)上面第一個(gè)步驟的求w和b，得到的拉格朗日函數(shù)式子已經(jīng)沒(méi)有了變量w，b，只有a，而反過(guò)來(lái)，求得的a將能導(dǎo)出w，b的解，最終得出分離超平面和分類(lèi)決策函數(shù)。為何呢？因?yàn)槿绻蟪隽薬i ，根據(jù)， 即可求出w。然后通過(guò)bSMO、SMOα的值可能依然aSMO算法，這里簡(jiǎn)要簡(jiǎn)單介紹下。 上求最大值W的問(wèn)題至于 中是一個(gè)參數(shù)用于控制目標(biāo)函數(shù)中兩（“尋找margin最大的超平面”和“保證數(shù)據(jù)點(diǎn)偏差量最小”）之間的權(quán)重。和上文最后的式子對(duì)比一下，可以看到唯一的區(qū)別就是現(xiàn)在dualvariable 限，關(guān)于的具體由來(lái)請(qǐng)查看下文第2.3節(jié)。 ， 他參數(shù)表示出來(lái)。這樣回帶到W中，W就只是關(guān)于 這樣，SMO第一步選取一 ，使用啟發(fā)式方法第二步，固定除和W極值條件下的，由代的計(jì)算量比較小，所以該算法表現(xiàn)出整理的快速收斂性，且不需要核矩陣，也沒(méi)有矩陣運(yùn)算?！吨С窒蛄繖C(jī)《統(tǒng)計(jì)4節(jié)。、線性不可分的情式。首先就是關(guān)于我們的hyperplanexx帶入到 w=∑ni=1αiyixi，x的預(yù)測(cè)，只需要計(jì)算它與訓(xùn)練數(shù)據(jù)點(diǎn)的內(nèi)積即可（?,?表示向量?jī)?nèi)積），這一點(diǎn)至關(guān)重要，是之后使用Kernel進(jìn)行非線廣的基本前提。此外，所謂SupportingVector也在這里顯示出來(lái)——事實(shí)上，所有非SupportingVectorα都是等α等于零呢？直觀上來(lái)理解的話，就是這些“后方”的點(diǎn)——2.1.1Lagrangemultiplierxi是支持向量的話，上式中紅顏色的部分是等于0的（因?yàn)橹С窒蛄康膄unctionalmargin1），而對(duì)于非支持向量來(lái)說(shuō)，functionalmargin1，因此紅顏色部分是大于零αi又是非負(fù)的，為了滿足最大化，αi必須等于0。這也就是這些非SupportingVector的點(diǎn)從15到上述所有這些東西，便得到了一個(gè) ummarginhyprplaneclassfier，這就是所的支持向量機(jī)（SuppotVctorMachne）。當(dāng)然，到目前為止，我們的SVM還比較弱，只能處理線性的情況不過(guò)，在得到了對(duì)偶dual形式之，通過(guò)Kernel推廣到非線性的情就變成了一件非常容易的事情了(相信，你還記得本節(jié)開(kāi)頭所說(shuō)的：通過(guò)求解對(duì)偶問(wèn)題得到最優(yōu)解，這就是線性可分條件下支持向量機(jī)的對(duì)偶算法，這樣做的優(yōu)點(diǎn)在于：一者對(duì)偶問(wèn)題往往更容易求解；二者可以自然的引入核函數(shù)，進(jìn)而推廣到非線性分類(lèi)問(wèn)題)。、核函在上文中，我們已經(jīng)了解到了SVM處理線性可分的情況，而對(duì)于非線性的情況，SM的處理方法是選擇一個(gè)核函數(shù)κ(,)，通過(guò)將數(shù)據(jù)映射到高，來(lái)解決在原始空間中線性不可分的問(wèn)題。由于核函數(shù)的優(yōu)良品質(zhì)，這樣的非線性擴(kuò)展在計(jì)算量上并沒(méi)有比原來(lái)復(fù)雜多少，這一點(diǎn)是非常難得的。當(dāng)然，這要?dú)w功于核方法除了SVM也就是說(shuō)，Minsky和Papert早就在20世紀(jì)60年代就已經(jīng)明確線性學(xué)習(xí)器計(jì)算能力有限。為而下文具體介紹的核函數(shù)則提供了此種問(wèn)題的解決途徑，從下文你將看到，核函數(shù)通過(guò)把數(shù)據(jù)映射到高來(lái)增加第一節(jié)所述的線性學(xué)習(xí)器的能力，使得線性學(xué)習(xí)器對(duì)偶空間的表達(dá)方式讓分類(lèi)操作更具靈活性和可操作性。我們知道，訓(xùn)練樣例一般是不會(huì)獨(dú)立出現(xiàn)的，它們總是以成對(duì)樣例的內(nèi)積形式出現(xiàn)對(duì)偶形式表示學(xué)習(xí)器的優(yōu)勢(shì)在為在該表示中可調(diào)參數(shù)的個(gè)數(shù)不依賴輸入屬性的個(gè)數(shù)，通過(guò)使用恰當(dāng)?shù)暮撕瘮?shù)來(lái)替代內(nèi)積，可以隱式得將非線性的訓(xùn)練數(shù)據(jù)映射到高，而不增加可調(diào)參數(shù)的個(gè)數(shù)(當(dāng)然，前提是核函數(shù)能夠計(jì)算對(duì)應(yīng)著兩個(gè)輸入特征向量的內(nèi)積)。1、簡(jiǎn)而言之：性不可分的情況下，支持向量機(jī)通過(guò)某種事先選擇的非線性映射(核函數(shù))將輸入的過(guò)程首先是同預(yù)先選定的一些非線性映射將輸入空間映射到高維特征空間(下圖很清晰的表達(dá)了通過(guò)映射2、具體點(diǎn)說(shuō)：在我們遇到核函數(shù)之前，如果用原始的方法，那么在用線性學(xué)習(xí)器學(xué)個(gè)非線性關(guān)這里?：X->F是從輸入空間到某個(gè)特征空間的映射，這意味著建立非線性學(xué)習(xí)器分為兩步K，對(duì)所有xz(-X，滿足φXF3phy(x1)phy(x2),phy(x1)phy(x2)的通用表達(dá)式子：phy(x1)，phy(x2)>=k(<x1,x2>)計(jì)算出來(lái)，注意到這里的<，>表示內(nèi)積，k(,)就是對(duì)應(yīng)的核函數(shù)，這個(gè)表達(dá)往OK，接下來(lái)，咱們就進(jìn)一步從外到里，來(lái)探探這個(gè)核函數(shù)的、如何處理非線性2.1節(jié)中我們介紹了線性情況下的支持向量機(jī)，它通過(guò)尋找一個(gè)線性的超平面來(lái)達(dá)到對(duì)數(shù)據(jù)進(jìn)行這兩類(lèi)數(shù)據(jù)分開(kāi)呢(下文將會(huì)有一個(gè)相應(yīng)的三圖)？想的分界應(yīng)該是一個(gè)“圓圈”而不是一條線（超平面）X1X2來(lái)表示這個(gè)二維平面的兩個(gè)坐Z1=X1Z2=X21Z3=X2Z4=X22Z5=X1X2，那么顯然，上面的方程在新的坐標(biāo)系下可以寫(xiě)Zhyperplane?:R2→R5XZKernel方法處理非線性問(wèn)題的基本、特征空間的隱式映射：核函Kernel的細(xì)節(jié)之前，不妨再來(lái)看看這個(gè)例子映射過(guò)后的直觀例子。當(dāng)然，你我可能無(wú)法把5畫(huà)出來(lái)，不過(guò)由于我這里生成數(shù)據(jù)的時(shí)候就是用了特殊的情形，具體來(lái)說(shuō)，我這里超平面實(shí)際的方程是這個(gè)樣子（X2軸上的一個(gè)正圓因此我只需要把它映射到Z1=X21,Z2=X22,Z3=X2這樣一個(gè)三 (pluskid：gif動(dòng)畫(huà)，先用畫(huà)出一張張Imagemagick拼貼成SVM?(?到一個(gè)高中，數(shù)據(jù)變得線性可分了，這個(gè)時(shí)候，我們就可以使用原來(lái)的推導(dǎo)來(lái)進(jìn)行計(jì)算，只是所w，但是如果映射之后得到的新空間的維度是無(wú)窮維的（實(shí)會(huì)出現(xiàn)這樣的情況，比如后面會(huì)提到的高斯核GaussianKernel），要表示一個(gè)無(wú)窮維的向量描述起來(lái)就比較α也是通過(guò)求解如dual問(wèn)題 ，然后一股腦把原SVM即可。不過(guò)事實(shí)上沒(méi)有這么簡(jiǎn)單！其實(shí)剛才的方法稍想一下就會(huì)發(fā)現(xiàn)有問(wèn)題：在最初的例子里，我們對(duì)一個(gè)二做映射，選擇的新空間是原始空間的所有一階和二階的組合，得到了五個(gè)維度；如果原始空間是三維，那么我們會(huì)得到19性增長(zhǎng)的，這給的計(jì)算帶來(lái)了非常大的，而且如果遇到無(wú)窮維的情況，就根本無(wú)從計(jì)算了。所以就需要Kernel出馬了。不妨還是從最開(kāi)始的簡(jiǎn)單例子出發(fā)，設(shè)兩個(gè)向量和，而即是到前面2.2.1節(jié)說(shuō)的五的映射，因此映射過(guò)后的內(nèi)積為：（公式說(shuō)明：上面的這兩個(gè)推導(dǎo)過(guò)程中，所說(shuō)的前面的五的映射，這里說(shuō)的前面便是文 的結(jié)果是相等的，那么區(qū)別在于什么地方呢一個(gè)是映射到高中，然后再根據(jù)內(nèi)積的公式進(jìn)行計(jì)算而另一個(gè)則直接在原來(lái)的低中進(jìn)行計(jì)算，而不需要顯式地寫(xiě)出映射后的結(jié)果回憶剛才提到的映射的維度，法已經(jīng)無(wú)法計(jì)算的情況下，后法卻依舊能從容我們把這里的計(jì)算兩個(gè)向量在隱式映射過(guò)后的空間中的內(nèi)積的函數(shù)叫做核函數(shù)(KernelFunction)，核函數(shù)能簡(jiǎn)化映射空間中的內(nèi)積運(yùn)算——?jiǎng)偤谩芭銮伞盨VM里需要計(jì)算的地方數(shù)據(jù)其 由如下dual問(wèn)題計(jì)算而得這樣一來(lái)計(jì)算的問(wèn)題就算解決了，避開(kāi)了直接在高中進(jìn)行計(jì)算，而結(jié)果卻是等價(jià)的！當(dāng)然，因?yàn)槲覀冞@里的例子非常簡(jiǎn)單，所以我可以手工構(gòu)造出對(duì)應(yīng)于的核函數(shù)出來(lái)，如果對(duì)于任意一個(gè)映射，想要構(gòu)造出對(duì)應(yīng)的核函數(shù)就很了。、幾個(gè)核函可分 ，然后通過(guò)這 得出對(duì)應(yīng) 進(jìn)行內(nèi)積計(jì)算。然而，第二步通常是非常Kerl空間是一個(gè)向量空間的假設(shè)了，只要核函數(shù)支持，原始數(shù)據(jù)可以是任意的“對(duì)象”——比如文本字符多項(xiàng)式核，顯然剛才我們舉的例子是這里多項(xiàng)式核的一個(gè)特例（R=1，d=。雖然比較麻 高斯 ，這個(gè)核就是最開(kāi)始提到過(guò)的會(huì)將原始空間射為無(wú)窮的那個(gè)家伙。不過(guò)，如果選得很大的話，高次特征上的權(quán)重實(shí)際上衰減得非常快，所以實(shí)際上（數(shù)值上近似一下）相當(dāng)于一個(gè)低維的子空間；反過(guò)來(lái)，如果選得很小，常嚴(yán)重的過(guò)擬合問(wèn)題。不過(guò)，總的來(lái)說(shuō)，通過(guò)調(diào)控參數(shù)，高斯核實(shí)際上具有相當(dāng)高的靈活函數(shù)映射到了高線性核，這實(shí)際上就是原始空間中的內(nèi)積。這個(gè)核存在的主要目的是使得映射后空間中的問(wèn)題和映射前空間中的問(wèn)題兩者在形式上統(tǒng)一起來(lái)了的時(shí)候，寫(xiě)代碼，或?qū)懝降臅r(shí)候，只要寫(xiě)個(gè)模板或通用表達(dá)式，然后再代入不同的核，便可以了，于此，便在形式上統(tǒng)一了起來(lái)，不用再分別寫(xiě)一個(gè)線性的，和一個(gè)非線性的)。、核函數(shù)的本空間中去(如上文2.2節(jié)最開(kāi)始的那幅圖所示，映射到高 但進(jìn)一步，如果凡是遇到線性不可分的樣例，一律映射到高，那么這個(gè)維度大小是會(huì)上文所說(shuō)的避免了直接在高中的復(fù)雜計(jì)算。InaSVMwithoutusingslackvariables,ifweremoveoneofthesupportvectorsfromthetrainingset,whatwillhappentothe almargin?Listallthepossibilitiesandgiveasampleforeachpossiblesituation,i.e.,generateatrainingset,indicatewhichpointistoberemovedandclarifythechangeofthe almargin.，大意是：在沒(méi)有松弛變量的svm中，如果我們移去訓(xùn)練集中的一個(gè)支持向量，那最大margin會(huì)怎么margin怎么變。，你可能會(huì)說(shuō)最終的almargin不如實(shí)際推導(dǎo).計(jì)算.證明！接下來(lái)，咱們回顧下上文「所有截取自上文ummarginremove后(w,b)變了，w一變， ummargin自然也就會(huì)變了，至于如何變，請(qǐng)讀者繼續(xù)計(jì)算看具體結(jié)果。此外，還這里的分析：α再到后來(lái)，有了核函數(shù)，解決高α的求解：SMO算法，w，bα..、使用松弛變量處理outliers方2.2Kernel的線性SVM進(jìn)行了推廣，使得非線性的的情況也能處理。雖然通過(guò)映 將原始數(shù)據(jù)映射到outlier，在我們?cè)瓉?lái)的SVM模型里，outlier的存在有可能造成很大的影響，因?yàn)槌矫姹旧砭褪侵挥猩贁?shù)幾個(gè)supportvector組成的，如果這些supportvector里又存在outlier的話，其影響就很大outlier，它偏離了自己原本所應(yīng)該在的那個(gè)半空間，如果直接忽略掉它的話，原來(lái)的分隔超平面還是挺好的，但是由于這個(gè)outlier的出現(xiàn)，導(dǎo)致分隔超平面不得不被擠歪了，變成途中黑色虛線所示（這只是一個(gè)示意圖，并沒(méi)有嚴(yán)格計(jì)算精確坐標(biāo)），margin也相應(yīng)變小了。當(dāng)然，更嚴(yán)重的情況是，如果這個(gè)outlier再往右上移動(dòng)一些距離的話，無(wú)法構(gòu)造出能為了處理這種情況，SVM允許數(shù)據(jù)點(diǎn)在一定程度上偏離一下超平面。例如上圖中，黑色實(shí)線所對(duì)應(yīng)的距離，就是該outlier偏離的距離，如果把它移動(dòng)回來(lái)，就剛好落在原來(lái)的超平面上，而不會(huì)使得超其中稱為松弛變量(slackvariable)，對(duì)應(yīng)數(shù)據(jù)點(diǎn) 允許偏離的functionalmargin的量。當(dāng)然，如果我們運(yùn)行任意大的話，那任意的超平面都是符合條件的了。所以，我們?cè)谠瓉?lái)的目標(biāo)函數(shù)后面加上一項(xiàng)，使得這些的總和也要最?。浩渲惺且粋€(gè)參數(shù)，用于控制目標(biāo)函數(shù)中兩項(xiàng)（“尋找margin最大的超平面”和“保證數(shù)據(jù)點(diǎn)偏差量最小”）之間的權(quán)重。注意，其中是需要優(yōu)化的變量（之一），而是一個(gè)事先確定好的常量。分析方法和前面一樣，轉(zhuǎn)換為另一個(gè)問(wèn)題之后，我們先讓針對(duì) 和最小化 帶回并化簡(jiǎn)，得到和原來(lái)一樣的目標(biāo)函數(shù)不過(guò)，由于我們得到而又有（作為L(zhǎng)agrangemultiplier的條件），因此有，所以整個(gè)dual問(wèn)題現(xiàn)在寫(xiě)作：可以看到唯一的區(qū)別就是現(xiàn)在dualvariable多了一個(gè)上限。而Kernel化的非線性形式也是一樣的，只要把換成即可。這樣一來(lái)，一個(gè)完整的，可以處理線性和非線性并能噪音和outliers的支持向量機(jī)才終于介紹完畢了。、小direction2的分類(lèi)效果要比direction1direction2direction1大。我們需要在這各個(gè)分類(lèi)器中選擇一個(gè)最優(yōu)的。SVM是根據(jù)統(tǒng)計(jì)學(xué)習(xí)理論依照結(jié)構(gòu)風(fēng)險(xiǎn)最小化的原則，要求實(shí)現(xiàn)兩個(gè)目的：1）兩類(lèi)問(wèn)題能夠分開(kāi)（經(jīng)驗(yàn)風(fēng)險(xiǎn)最小）2）margin最g(x)1這樣我們就有邊界margin：，這里滿足這樣條件的樣本點(diǎn)就是我們所謂的支持向量。這樣我們就轉(zhuǎn)化為一個(gè)優(yōu)化問(wèn)題SergiosTh KKTCx映射到高，在低不可分的問(wèn)題映射到高后就有可能是線性可分的。這里我們不需要知道是Chih-WeiHsu故確的說(shuō)，SVM它本質(zhì)上即是一個(gè)分類(lèi)方法，用w^T+b定義分類(lèi)函數(shù)，于是求w、b，為尋1/2||w||^2a（求解過(guò)程中會(huì)涉及到一系列最優(yōu)化或凸二次規(guī)劃等問(wèn)題），w.baaSMO，OKSVM原理的好奇心，然對(duì)于那些想在證明層面SVM的則還很不夠，但進(jìn)入第三層理解境界之前，你必須要有比較好的數(shù)理基礎(chǔ)和邏輯證明能第三層、證明.理論，便一般不是怎么好惹的東西。絕大部分時(shí)候，看懂一個(gè)東明創(chuàng)造這個(gè)東西的時(shí)候，則顯艱難因?yàn)槿魏螘r(shí)代，大部分人的得都不過(guò)是基于前人的研究成果，前人所做的是開(kāi)創(chuàng)性工作，而這往往是最艱難最有價(jià)值的，他們被稱為真正的先驅(qū)。牛頓也曾，他不過(guò)是站在巨人的肩上。正如陳希孺在他的著作「數(shù)理統(tǒng)計(jì)學(xué)簡(jiǎn)史」的第4章、最小二乘法中所講：在科研上諸多觀念本部分導(dǎo)3.13個(gè)東西，感知機(jī)算法，松弛變量，及最小二乘理論，同；3.23.3節(jié)、SMO3.4SVM、線性學(xué)習(xí)、感知機(jī)算算法性條件下收斂，說(shuō)白了，為了得到一個(gè)界，不至于無(wú)窮循環(huán)下去。、松弛變xi出現(xiàn)的位置不該是那里，而是該左圖中左邊那個(gè)箭頭所示，被“拉回去”，而既然出現(xiàn)在了這個(gè)不正常的位置，那么有什么內(nèi)，這就導(dǎo)致了所謂的被誤分，使得最終的松弛變量>0；同理，oj也不該出現(xiàn)在那個(gè)位置，而應(yīng)該被“拉沒(méi)有以正常的間隔被分開(kāi)。還是如上面所示左圖，xk顯然沒(méi)有被以正常的間隔分開(kāi)，而是過(guò)于1.4節(jié)中，有：“這樣一來(lái)，我們的ummarginclassifier的maxγ??margin、最小二乘

yi(wTxi+b)=γ?i≥γ?,i=1,…,n我們口頭中經(jīng)常說(shuō)：一般來(lái)說(shuō)，平均來(lái)說(shuō)。如平均來(lái)說(shuō)，不吸煙的健康優(yōu)于吸煙者，之所以要加“均”二字，是因?yàn)榉彩陆杂欣?，總存在某個(gè)特別的人他吸煙但由于經(jīng)常鍛煉所以他的健康狀況可能會(huì)優(yōu)于他身邊不吸煙的朋友。而最小二乘法的一個(gè)最簡(jiǎn)單的例子便是算術(shù)平均。最小二乘法（又稱最小平方法）是一種數(shù)學(xué)優(yōu)化技術(shù)。它通過(guò)最小化誤差的平方和尋找數(shù)據(jù)的最佳平方和為最小。用函數(shù)表示為：有效的最小二乘法是勒讓德在1805年的，基本思想就是認(rèn)為測(cè)量中有誤差，所以所有方程的勒讓德在中對(duì)最小二乘法的優(yōu)良性做了幾點(diǎn)說(shuō)明 最小二乘使得誤差平方和最小，并在各個(gè)方程的誤差之間建立了一種平衡，從而防止某一個(gè)誤θx1,?,xn次測(cè)量值,ei=xi?θθL(θxˉ=∑ni=1xin最小二乘法之后很快得到了大家的認(rèn)可接受，并迅速的在數(shù)據(jù)分析實(shí)踐中被廣泛使用。不過(guò)歷史上又有人把最小二乘法的發(fā)明歸功于高斯，這又是怎么一回事呢。高斯在1809年也了最小二乘 請(qǐng)參看陳希 的「數(shù)理統(tǒng)計(jì)學(xué)簡(jiǎn)史」的第4章、最小二乘法、核函數(shù)特征空經(jīng)過(guò)前面第一、二部分，我們已經(jīng)知道，當(dāng)把內(nèi)積就變成 新空間中去求內(nèi)積。以多項(xiàng)式為例，對(duì)其進(jìn)行變 ，，，得到：，也就是說(shuō)通過(guò)把輸入空間從二維向映射后，樣本由線性不可分變成了線性可分，但是這種轉(zhuǎn)化帶來(lái)的直接問(wèn)題是維度變高了，這意味著，首先可能導(dǎo)致后續(xù)計(jì)算變復(fù)雜，其次可能出現(xiàn)維度之，對(duì)于學(xué)習(xí)器而言就是：特征空間維數(shù)可能最終無(wú)法計(jì)算，可能會(huì)使得內(nèi)積無(wú)法求出，于是也就失去了這種轉(zhuǎn)化的優(yōu)勢(shì)了空間中而能夠在輸入空間中直接計(jì)算出內(nèi)積。它其實(shí)是對(duì)輸入空間向高維間的一種隱式映射，它不需要顯式的給出那個(gè)映射，在輸入空間就可以計(jì)算，這就是 OK，不再做過(guò)多介紹了，對(duì)核函數(shù)有進(jìn)一步的，還此文 .html、SMO算SMO算法是<<MinimalOptimization:AFastAlgorithmforTrainingSupportVectorMachines》一文 ，作者信息：/en-us/people/jplatt/，其基本思想是將Vapnik在1982年Chunking方法推到極致，即：通過(guò)將原問(wèn)題分解為一系列小規(guī)模凸二次規(guī)劃問(wèn)題而獲得原問(wèn)題解的方法，每次迭代只優(yōu)化由2個(gè)點(diǎn)組成的工作集，SMO算法每次啟發(fā)式地選擇兩上文2.1.1節(jié)已經(jīng)提到過(guò)，SMO算法不過(guò)是為了解決對(duì)偶問(wèn)題中對(duì)偶因子α的求解問(wèn)題，這兩篇文 、SVM的應(yīng)或許我們已經(jīng)聽(tīng)到過(guò)，SVM在很多諸如文本分類(lèi)，圖像分類(lèi)，生物序列分析和生物數(shù)據(jù)挖掘，手寫(xiě)字符識(shí)別等領(lǐng)域有很多的應(yīng)用，但或許你并沒(méi)，SVM可以成功應(yīng)用的領(lǐng)域遠(yuǎn)遠(yuǎn)超出現(xiàn)在、文本分，本節(jié)雖取標(biāo)題為證明（特此致歉），pluskid及諸多朋友&牛人們的文章及著作，讓我有機(jī)會(huì)在其基礎(chǔ)上總結(jié)、深入，本參考文獻(xiàn)及推薦閱《支持向量機(jī)導(dǎo)論[美NelloCristianiniJohnShawe-Taylor支持向量機(jī)導(dǎo)論一書(shū)的支持：[美Pang-NingTanMichaelSteinbachVipinKumar(加)JiaweiHan;MichelineKamber《支持向量機(jī)--理論、算法和擴(kuò)展支持向量機(jī)系列，pluskid： C.J.CBurges《統(tǒng)計(jì)學(xué)習(xí)方法(7章有不少內(nèi)容參考自支持向量機(jī)導(dǎo)論一書(shū)，不過(guò)，可以翻翻看SVM入門(mén)系列，Jasper：SVM 斯坦福機(jī)器學(xué)習(xí)課程筆記 數(shù)學(xué)系推薦 《神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)(原書(shū)第三版)[加SimonHaykin正態(tài)分布的前世今生 《數(shù)理統(tǒng)計(jì)學(xué)簡(jiǎn)史，陳希孺著《最優(yōu)化理論與算法(2版)AGentleIntroductiontoSupportVectorMachinesinPPT圖很，本文有幾張圖便引自此PPT中；來(lái)自卡梅隆大學(xué)的講解SVM的 到下一篇：九月十月人搜，阿里巴巴，騰訊筆試面試八十題(第331-410題頂踩4查看評(píng)110110樓澀兔子_deepin2013-10-15 [回復(fù) 強(qiáng)大！不知道 War是否有研究呢 LZing:)109109樓AMOS6182013-10-11 [回復(fù)你好大神~有個(gè)問(wèn)題想請(qǐng)教一下?！皐*x+by的符號(hào)是否一致表示分類(lèi)是否正確，”何理解？w*x+by的符號(hào)難道不應(yīng)該是一樣的么？因?yàn)橹疤徇^(guò)“f(x)<0的點(diǎn)，其對(duì)應(yīng)的y等于-1，而f(x)>0則對(duì)應(yīng)y=1的數(shù)據(jù)點(diǎn)。”108108樓pai_jianglong2013-09-23 [回復(fù)花了幾天看完了，太牛了107107樓Uraplutonium2013-09-04 [回復(fù)106106樓waitfor_2013-08-21 [回復(fù)31、高內(nèi)積運(yùn)算一定可以轉(zhuǎn)換（或存在）為低維的核函數(shù)嗎2、請(qǐng)問(wèn)您構(gòu)造的五（2.2.1）中，五中的五個(gè)維度并不是相互獨(dú)立的，這樣在五維向量運(yùn)算時(shí)會(huì)3SVM105105樓sdeed2013-08-19 [回復(fù)19維的新空間我不明白這個(gè)怎么算的。要是枚舉的話，從x1,x2,x319維新空間是。x1,x2,x3,x1^2,x2^2,x3^2,x1^3,x2^3,x3^3(9個(gè)，對(duì)應(yīng)x,x的平方，x的三次方)x1^2*x2,x1^2*x3,x2^2*x1,x2^2*x3,x3^2*x1,x3^2*x2(6個(gè))x1*x2*x31個(gè)x1*x2,x1*x3x2*x3(3個(gè))19維。（面的評(píng)論里面，48樓victor0535提出了這個(gè)問(wèn)題，也自問(wèn)自答了，但是我沒(méi)看懂，所以再問(wèn)問(wèn)ReRewaitfor_2013-08-21 [回復(fù)回復(fù)sdeedReRev_JULY_v2013-08-20 [回復(fù)回復(fù)sdeed：公式一言半語(yǔ)說(shuō)不清，你自己可以試著總結(jié)推導(dǎo)下104104樓bzbrady2013-08-15 [回復(fù)103103樓pyemma2013-08-14 [回復(fù)好文章，最近的學(xué)長(zhǎng)推薦我去看一看PR和ML的東西，正好看到這個(gè)，對(duì)SVM有了初步的認(rèn)識(shí)102102樓星夜落塵2013-08-09 [回復(fù)SVMVCSVM101101樓goodstudy_linux2013-08-08 [回復(fù)例如：給定樣本數(shù)據(jù)ReRev_JULY_v2013-08-09 [回復(fù)100100樓cdlh31415_12013-07-11 [回復(fù)9999樓wangcong07552013-06-28 [回復(fù)SVM的研究是出于理論上的研究還是編程實(shí)現(xiàn)過(guò)呢？如果編程實(shí)現(xiàn)過(guò)，使用的是什么語(yǔ)ReRev_JULY_v2013-08-06 [回復(fù)回復(fù)wangcong0755：給你看看上@余凱_西二旗民工貼的偽代碼[plain][plain]view5fdf,lbfgs，完畢9898樓zhangen002013-06-25 [回復(fù)我這邊刷新無(wú)數(shù)次小全掛了實(shí)在打不開(kāi)能不能發(fā)份pdf給我非常感謝郵箱ReRev_JULY_v2013-06-25 [回復(fù)回復(fù)zhangen00：你好，是用的chrome如果仍然無(wú)法正常顯示的話，可以到這里找到： 截止2013年6月12日前，本博客內(nèi)所有博錦的PDF文檔:-)ReRezhangen002013-06-25 [回復(fù)回復(fù)v_JULY_v9797樓LucienDuan2013-06-24 [回復(fù)9696樓Bikong22013-06-08 [回復(fù)高水平博文，非常感謝9595樓陳江-V2013-06-05 [回復(fù)簡(jiǎn)單的問(wèn)題，如何確認(rèn)一個(gè)分類(lèi)需求是否是線性可分的？是否使用Re:Re:月光海苔2013-07-05 [回復(fù)ChenJiangVABA,B的所有點(diǎn)都擴(kuò)展一個(gè)維度即(X,1),形成一個(gè)新的A1與B1,D=A1∪(-B1).D1S,S不包含原點(diǎn)則線性可分否則不可分9494樓陳江-V2013-06-04 [回復(fù)9393樓sharling_lin2013-05-30 [回復(fù)SVM對(duì)于outlier，假設(shè)第k個(gè)樣本是outlier，那么優(yōu)化帶松弛因子的拉格朗日函數(shù)后，一定會(huì)得到第k個(gè)松弛因子不為0，而由kkt條件rk=0；那么可以得到alpha_k=C。想問(wèn)的是分類(lèi)函數(shù)，這個(gè)alpha_k，以及對(duì)應(yīng)的xk是alpha_k=C;但是和其他非支撐向量一樣對(duì)最后的分類(lèi)函數(shù)不起作用？9292樓zyawf8102013-05-18 [回復(fù)兩類(lèi)的時(shí)候，結(jié)果用-1和1來(lái)表示，如果到劃分多類(lèi)的情況下，該如何表示呢？多類(lèi)的情況下，是兩兩ReRev_JULY_v2013-05-19 [回復(fù)回復(fù)zyawf810SVM。ReRezyawf8102013-05-19 [回復(fù)回復(fù)v_JULY_v：謝謝~受益匪淺9191樓cuimiao_19902013-04-28 [回復(fù)mercer3.3.1中證明特征值非負(fù)的那段，關(guān)于特征空間中的點(diǎn)：zReRev_JULY_v2013-04-28 [回復(fù)回復(fù)fubannian9090樓xiaofuchang2013-04-20 [回復(fù)zM*yi(xi+-0yi=1而在負(fù)類(lèi)中找不到這樣的點(diǎn)，使得其成為支持向量。這個(gè)怎樣從公式的角度來(lái)理解。多謝。8989樓ImgHJK2013-04-09 [回復(fù)ReRev_JULY_v2013-04-09 [回復(fù)回復(fù)hjkhjk007：你好，咱們可以在 /julyweibo，用私信聊:-8888樓miluzhiyu2013-04-09 [回復(fù)wx+b-y0wx+b0（這個(gè)是一條平行于x軸的直線?。?，Re:Re:夏青2013-04-15 [回復(fù)miluzhiyu：1.3.2章節(jié)剛開(kāi)始看也不太懂，也想問(wèn)下博主在二維中：ax+by+c=0中的y是否考慮為向量中的一個(gè)，比如二維向量我們用（x,y）表示,也可以用（x0,x1）表示，在ax+by+c/sqrt(a*a+b*b)表示為)ReRev_JULY_v2013-04-20 [回復(fù)WishLifeHappy：可以，上文本來(lái)就是這樣說(shuō)的嘛：“ax+by+c=0,P的坐標(biāo)Re:Re:夏青2013-04-21 [回復(fù)回復(fù)v_JULY_vReRemiluzhiyu2013-04-09 [回復(fù)miluzhiyuax+by+c=0ReRemiluzhiyu2013-04-09 [回復(fù)=ReRev_JULY_v2013-04-20 [回復(fù)8787樓frestyle2013-04-03 [回復(fù)<這所謂的“滿足某些條件”KKT條件KKT的角色，在convexproblem中，d*和p*相同的條件是Slater'sCondition。至于KKT條件：首先原問(wèn)題的最優(yōu)值可Lagrangiansaddlepoint（如果有的話）Slater'sconditionsaddlepoint存在；KKTtheoremSlatercondition的同時(shí)，f和gi都是可微的，這樣saddlepointLagrangianKKT條件是一個(gè)點(diǎn)是最優(yōu)解的條件，而不d*=p*KKTdualproblem很關(guān)鍵。ReRev_JULY_v2013-04-04 [回復(fù)回復(fù)frestyleReRefrestyle2013-04-04 [回復(fù)回復(fù)v_JULY_v8686樓miluzhiyu2013-03-30 [回復(fù)ReRev_JULY_v2013-04-04 [回復(fù)miluzhiyuReRemiluzhiyu2013-04-04 [回復(fù)回復(fù)v_JULY_v：貌似還是不行~查看評(píng)論只能按一次。然后也沒(méi)有翻頁(yè)ReRev_JULY_v2013-04-04 [回復(fù)回復(fù)miluzhiyu：恩，我仔細(xì)看了下，雖然我這邊能顯示也能查看評(píng)論，但實(shí)際上本文的評(píng)論標(biāo)號(hào)是81123樓..818283樓4545+81=126樓ReRemiluzhiyu2013-04-08 [回復(fù)回復(fù)v_JULY_v：作者好細(xì)心！謝謝！灰常感動(dòng)Re:Re:v_JULY_v2013-04-08[回復(fù) outlier。2.3節(jié)所述，“outlier，它偏離了自己原本所應(yīng)該在的那個(gè)半空supportvectorRe:Re:miluzhiyu2013-04-08[回復(fù)Re:Re:v_JULY_v2013-08[回復(fù)miluzhiyu[回復(fù)v_JULY_v：好的~十分感謝~回復(fù)v_JULY_v：木有。他也不太懂這個(gè)方面，就只會(huì)用。喊我學(xué)下在討論會(huì)上，8585樓neiblegy2013-03-27 [回復(fù)從2.2.2我這里公式加載失敗，是我個(gè)人網(wǎng)絡(luò)問(wèn)題么？樓主有word版的沒(méi)？謝謝學(xué)ReRev_JULY_v2013-04-08 [回復(fù)回復(fù)neiblegy：你好，我已經(jīng)處理好了，現(xiàn)在加載應(yīng)該顯示正常了:-ReRereal007fei2013-03-27 [回復(fù)回復(fù)neiblegy：目測(cè)是加載上的時(shí)，出了錯(cuò)誤。wordpdf版本呢？ReRev_JULY_v2013-03-28 [回復(fù)1、盡量用有線網(wǎng)絡(luò)，顯示的情況好于無(wú)線網(wǎng)絡(luò)；2、在這里下載 全部博錦的 文件：。ReReyongli20112013-03-27 [回復(fù)ReRereal007fei2013-03-27 [回復(fù)回復(fù)yongli2011：對(duì)，我也是，很多公式的加載不了。ReRev_JULY_v2013-04-03 [回復(fù)回復(fù)real007fei：Hi，朋友，上文中大部我都已經(jīng)全部重新上傳了，現(xiàn)在可以正常顯示，感謝你的反8484樓zhulinniao2013-03-26 [回復(fù)8383樓chenfeilong1012013-03-22 [回復(fù)8282樓lailai19902013-03-22 [回復(fù)42ReRev_JULY_v2013-04-04 [回復(fù)1238181樓real007fei2013-03-20 [回復(fù)8080樓 2013-03-16 [回復(fù)2.1中很長(zhǎng)的那段推導(dǎo)，為什么最后就把含bai*yi=0ReRev_JULY_v2013-04-04 [回復(fù)回復(fù) ：你好，因?yàn)閍iyi=0，故b∑αiyi=0，所以，才把含b的項(xiàng)給消除了呢2.1α，要讓L關(guān)于w和bw，b?L/?w?L/?b等于零，∑αiyi=07979樓 2013-03-16 [回復(fù)yi(wTxi+b)<1θ(w)=∞（αi=∞即可）2.1中很長(zhǎng)的那段推導(dǎo)，為什么最后就把含b7878樓鐵兵2013-03-11 [回復(fù)7777樓Emilywohappy2013-02-26 [回復(fù)ReRev_JULY_v2013-02-26 [回復(fù)PDF，然后打印之，細(xì)細(xì)品讀呢。7676樓gogo000072013-02-25 [回復(fù)這個(gè)準(zhǔn)確么？因?yàn)?wx+b）y7575樓lijil1682013-01-20 [回復(fù)Mercervtis.t.i=1:nVt列，即特征向量Vt,我習(xí)慣vits.t.i=1:n記作特征向量Vt,用描述就是v(:,t),更自然些，對(duì)Vit,i表示行，t表示列7474樓ljb16722013-01-20 [回復(fù)感謝博主的無(wú)私的精神，博主是否能將博文制作成.pdf7373樓lijil1682013-01-19 [回復(fù)7272樓kehaar00282013-01-18 [回復(fù)2.2.2里面這一段（等式?jīng)]有粘貼過(guò)來(lái)”不妨還是從最開(kāi)始的簡(jiǎn)單例子出發(fā)，設(shè)兩個(gè)向量和，而即是到前面2.2.1節(jié)說(shuō)的五的映射，因此映2.3處理outlier“outlier偏離的距離，如果把它移動(dòng)回來(lái)，就剛好落在原來(lái)的超BURGESNello的向量機(jī)導(dǎo)論還是7171樓star_twinkle2013-01-09 [回復(fù)樓主，牛啊，很感謝你的文章7070樓ga68402013-01-03 [回復(fù)“帶回上述的L”那個(gè)式子用一個(gè)∑去表示兩個(gè)嵌套的∑ReRev_JULY_v2013-01-04 [回復(fù)6969樓 2012-12-21 [回復(fù)弱弱的建議一下，γ?=yγ=γ?∥w∥雖然可以這樣寫(xiě)，但是不細(xì)看γ?，γ?6868樓 2012-12-20 [回復(fù)lzC(懲罰因子)aiC的選擇有什么原則？還有我理解的C應(yīng)該是迭代變化的還有一點(diǎn)不明白的地方，高內(nèi)積運(yùn)算一定可以轉(zhuǎn)換（或存在）為低維的核函數(shù)嗎？6767樓 2012-12-17 [回復(fù)6666樓 2012-12-05 [回復(fù)謝謝6565樓 2012-12-03 [回復(fù)統(tǒng)計(jì)學(xué)習(xí)方法的哪里可以到呢？看到你截圖了里面的許多內(nèi)容，應(yīng)該是由的了，下啊ReRev_JULY_v2012-12-03 [回復(fù)回復(fù)zxy ：你好，原文只截取了統(tǒng)計(jì)學(xué)習(xí)方法一書(shū)僅一張圖，在原文1.1節(jié)。到這里可以前3章的：http 6464樓Noadvanceistogoback2012-11-30 [回復(fù)膜拜下高手。是嗎ReRev_JULY_v2012-11-30 [回復(fù)回復(fù)6363樓CanaanShen2012-11-25 [回復(fù)6262樓我要學(xué)技術(shù)2012-11-20 [回復(fù)6161樓hack_net2012-11-06 [回復(fù)6060樓hack_net2012-10-30 [回復(fù)wT1.1的圖中標(biāo)示的，b為原點(diǎn)到超平面的距離是不是有問(wèn)題？？？如wT本身便是單位法向量那么，還用引入幾何距離這個(gè)概念嗎？？ReRehack_net2012-10-30 [回復(fù)回復(fù)shuaiccs1.1介紹中，圖中標(biāo)示的bReRev_JULY_v2012-10-30 [回復(fù)回復(fù)shuaiccs1.1中的b只是零點(diǎn)（0,0）到超平面的垂直距離，也就是所謂的截距，非具體的點(diǎn)(x,y)1.3ReRehack_net2012-10-31 [回復(fù)回復(fù)v_JULY_vReRev_JULY_v2012-10-30 [回復(fù)geometricalmargin的概念。5959樓hack_net2012-10-30 [回復(fù)樓主,1.1wTx+b0wT5858樓小班得瑞2012-10-23 [回復(fù)s.225x1,x25另一種是在原始二維平面直接計(jì)算。我看不出差別...ReRev_JULY_v2012-10-23 [回復(fù)回復(fù)a ："我們對(duì)一個(gè)二做映射，選擇的新空間是原始空間的所有一階和二階的組合，得到了五個(gè)維度；如果原始空間是三維，那么我們會(huì)得到19維的新空間，這個(gè)數(shù)目是呈性增長(zhǎng)的，這給的計(jì)算帶來(lái)了非常大的，而且如果遇到無(wú)窮維的情況，就根本無(wú)從計(jì)算了。所以就需要Kernel出馬了。(KernelFunction現(xiàn)在，相信你已經(jīng)明白如果不用核函數(shù)，先將x1,x2映射到5維，然后做內(nèi)積的話，會(huì)出現(xiàn)維度，甚至例子就是上文中的例子：“我們對(duì)一個(gè)二做映射，選擇的新空間是原始空間的所有一階和二階的組合，得到了五個(gè)維度；如果原始空間是三維，那么我們會(huì)得到19維的新空間，這個(gè)數(shù)目是呈性增長(zhǎng)的，這給的計(jì)算帶來(lái)了非常大的，而且如果遇到無(wú)窮維的情況，就根本無(wú)從計(jì)算了”你可以再仔細(xì)體會(huì)下核函數(shù)的意義5757樓linluyisb2012-10-21 [回復(fù)5656樓小班得瑞2012-10-21 [回復(fù)樓主你好ReRev_JULY_v2012-10-21 [回復(fù)回a：你看下這篇文章，看是否有無(wú)幫助Re:小班得瑞2012-10-22 [回復(fù)回復(fù)v_JULY_v5555樓奇異果2012-10-20 [回復(fù)ReRev_JULY_v2012-10-20 [回復(fù) 5454樓奇異果2012-10-19 [回復(fù)1.3FunctionalmarginGeometricalw*x+b=0確定的情況下，|w*x+b|能夠相對(duì)的表示點(diǎn)x到距離超平面的遠(yuǎn)近。這句不懂，為什么|w*x+b|xReRev_JULY_v2012-10-20 [回復(fù)Re:Re:奇異果2012-10-21 [回復(fù)v_JULY_v：點(diǎn)到直線的距離公式應(yīng)該是分子|ax＋by＋c|sqrt(a方＋b方)ReRev_JULY_v2012-10-25 [回復(fù)距離為|ax0+by0+c|/sqrt(a^2+b^2)。那么如果用向量表示，設(shè)w=(a,b),f(x)=wx+c,5353樓Doubling2012-10-17 [回復(fù)MMO不過(guò)是優(yōu)化SVMQP目標(biāo)svmkerlkerel數(shù)i本質(zhì)上都一樣并不是說(shuō)kernel就能避免i函數(shù)造成的維度你對(duì)錯(cuò)誤界的理解有點(diǎn)問(wèn)題還有，目前的狀況是kerelat么多年都在做priml的原因。5252樓 2012-10-10 [回復(fù)有一個(gè)問(wèn)題沒(méi)想明白，為什么引入松弛變量之后，目標(biāo)函數(shù)要加入-∑riεiReRev_JULY_v2012-10-10 [回復(fù)回復(fù)y 而之所以加入這一項(xiàng)是因?yàn)橐蠡パa(bǔ)松弛變量大于等于零。5151樓少年行2012-09-03 [回復(fù)多謝了5050樓beikeali2012-08-25 [回復(fù)ReRev_JULY_v2012-08-25 [回復(fù)beikeali18樓回復(fù)：“這個(gè)系列第一篇和第二篇的參考文獻(xiàn)4949樓xdyang2012-08-24 [回復(fù)pdfReRev_JULY_v2012-08-24 [回復(fù)ReRexdyang2012-08-24 [回復(fù)回復(fù)v_JULY_v：期待中，pdfReRev_JULY_v2012-08-24 [回復(fù)回復(fù)dcraw：EN，不過(guò)網(wǎng)頁(yè)是適時(shí)更新的，且評(píng)論亦4848樓victor05352012-08-24 [回復(fù)“19維的新空間29呢？4的平方+3的平方+2的平方+1(x1+……+xn)n次方項(xiàng)數(shù)為：(n+1)n-1方+n的n-1方+n-2的n-1方ReRevictor05352012-08-24 [回復(fù)回復(fù)victor0535ReResdeed2013-08-19 [回復(fù)回復(fù)victor0535：‘19維的新空間x1,x2,x3得到的19維新空間是。x1,x2,x3,x1^2,x2^2,x3^2,x1^3,x2^3,x3^3(9個(gè))x1^2x2x1^2x3x2^2x1,x2^2x3,x3^2x1,x3^2x2(6個(gè))x1x2x3(1個(gè))x1x2x1x3x2x3(3個(gè))4747樓victor05352012-08-23 [回復(fù)0在為“是不是”在于“1訓(xùn)練樣例一般是不會(huì)獨(dú)立出現(xiàn)的，它們總是以成對(duì)樣例的內(nèi)積形式出現(xiàn)”“公式中”以內(nèi)積形式出現(xiàn)嗎？還是現(xiàn)實(shí)中這樣的樣本成對(duì)出現(xiàn)？2這個(gè)“對(duì)偶形式”是什么意思？是指次解釋的”對(duì)偶問(wèn)題“嗎還是指公式中內(nèi)積的”成對(duì)“形式3”可調(diào)參數(shù)的個(gè)數(shù)不依賴輸入屬性的個(gè)數(shù)“α”不依賴輸入屬性的個(gè)數(shù)“”本點(diǎn)的維數(shù)（即樣本的特征數(shù)目）“更好些，是這個(gè)意思吧？ReRev_JULY_v2012-08-24 [回復(fù)回復(fù)victor0535：?jiǎn)栴}越多，代表你思考的越多，挺好的。（若是一些概念性的問(wèn)題可看看相關(guān)書(shū)籍，如本文參考文獻(xiàn)里面的支持向量機(jī)導(dǎo)論一書(shū)4646樓victor05352012-08-23 [回復(fù)“使用拉格朗日定理解凸最優(yōu)化問(wèn)題可以使用一個(gè)對(duì)偶變量表示，用對(duì)偶問(wèn)題表示之后，通常比原問(wèn)題更容易處理，因?yàn)橹苯犹幚聿坏仁郊s束是的。對(duì)偶問(wèn)題通過(guò)引入又稱為對(duì)偶變量的拉格朗日乘子來(lái)解?！盧eRev_JULY_v2012-08-23 [回復(fù)回復(fù)victor0535：1.改成這樣，你就明白了：“對(duì)偶問(wèn)題通過(guò)引入拉格朗日乘子(又稱為對(duì)偶變量)來(lái)解”“MAX，〈=”“MIN，〉=”相對(duì)應(yīng)。ReRevictor05352012-08-23 [回復(fù)v_JULY_vαi>=0θ（w）=w2/2在用拉格朗日定理引入的系數(shù)求極值時(shí)，是要對(duì)所有的變量一起求導(dǎo)數(shù)的（包括系數(shù) 這αi可以隨便給范圍不影響L函數(shù)和||w||的極值嗎？理解很啊我謝ReRevictor05352012-08-23 [回復(fù)回復(fù)victor0535：我再補(bǔ)充一下我的問(wèn)題，L=f(x,y)-λg(x,y)求f的極值，我記得里，是要對(duì)x,yλλ會(huì)能求出一個(gè)定值來(lái)吧，為什么α可以人為的讓它>=0不影響我們最后求Re:Re:v_JULY_v2012-08-24[回復(fù)回復(fù)victor0535：1.2.1節(jié)，“這個(gè)P就是式，而稍后給出的“maα,(,b,=”，這個(gè)dT這樣，對(duì)應(yīng)起來(lái)了么？2.a為什么要>=0,你要先明白為什么要引入這個(gè)變量,2.1節(jié)開(kāi)頭處multiplier(拉格朗日乘值)：α，我們可以將約束條件融和到目標(biāo)函數(shù)里去(數(shù)里頭，現(xiàn)在只用一個(gè)函數(shù)表達(dá)式便能清楚的表達(dá)出我們的問(wèn)題我們便要求3."L=f(x,y)-λg(x,y)求f的極值，我記得里，是要對(duì)x,yλ都求偏導(dǎo)的求極值的這樣λ會(huì)能求出本文不就是這么做的么"L(w，b，a)關(guān)于wb（1）Lwbw，b?L/?w?L/?b等于零（w45樓回復(fù)（評(píng)論里無(wú)法編輯公式，所以公式無(wú)法正常顯示，見(jiàn)諒4545樓victor05352012-08-23 [回復(fù)"（1）Lwb最小化，我們分別對(duì)w，b求偏導(dǎo)數(shù)……“對(duì)1/2||w||2求導(dǎo)為什么是變成一個(gè)向量w??ReRev_JULY_v2012-08-23 [回復(fù)=0

ReRev_JULY_v2012-08-23 [回復(fù)回復(fù)v_JULY_v：白石補(bǔ)充說(shuō)明：為什么對(duì)１／２｜｜w｜｜^2w,而不是w=（w1,w2),x1=(1,2),y1=-1，則\\W\\^2=w1^2+w2^2,w*x1=w1+2*w2將L對(duì)w1對(duì)w21/2||w||^2=1/2(x^2+y^2+z^2),wx,y,z求導(dǎo)，對(duì)xx，對(duì)y的等于y（x,,z)4444樓zlj47002012-08-21 [回復(fù)在不清楚自變量（10個(gè)）10090組做訓(xùn)練樣10組數(shù)據(jù)進(jìn)行預(yù)測(cè)，結(jié)果每次運(yùn)行都發(fā)現(xiàn)誤差都很大，請(qǐng)問(wèn)支持向量機(jī)的訓(xùn)練ReRev_JULY_v2012-08-21 [回復(fù)ReRezlj47002012-08-21 [回復(fù)回復(fù)v_JULY_v：不知道這樣考慮對(duì)不對(duì)，根據(jù)經(jīng)驗(yàn)，盡量選擇能表現(xiàn)因變量特性的典型數(shù)據(jù)，避免大量相有一個(gè)實(shí)例，需要用模型來(lái)做預(yù)測(cè)，用BP試過(guò)效果也不好，數(shù)據(jù)容易獲得，可能關(guān)鍵是樣本的選擇。ReRev_JULY_v2012-08-21 [回復(fù)4343樓v_JULY_v2012-08-21 [回復(fù)1.2節(jié)中，有：“f(x)=wTx+bf(x)=0xf(x)<0y等于-1，而f(x)>0則對(duì)應(yīng)y=1的數(shù)據(jù)點(diǎn)?！庇幸慌笥扬w狗來(lái)自Mare_Desiderii，看了上面的定義之后，問(wèn)道：請(qǐng)教一下SVMfunctionalmarginγ?=y(wTx+b)=yf(x)Y1和-1嗎？y的唯一作用就是確保functionalmargin與白石討論后，我來(lái)具體回答下這個(gè)問(wèn)題：你把問(wèn)題搞混了。y是個(gè)分類(lèi)，二分時(shí)y就取兩個(gè)值，而剛好具體闡述如下：1.y只取兩個(gè)值，這兩個(gè)是可以任意取的，只要是取兩個(gè)值就行；2.支持；總而言之：你要明白，二類(lèi)問(wèn)題的y是可以取任意兩個(gè)值的，不管取怎樣的值對(duì)于相同的樣本點(diǎn)，只要分類(lèi)相同，所有的y的不同取值都是等價(jià)的，之所以取某些特殊的值，只是因?yàn)檫@樣一來(lái)計(jì)算會(huì)變得方便，理解正如朋友張磊所言，svmy1或-1的歷史原因是因?yàn)楦兄髯畛醯亩x，實(shí)際取值可以任意，總能明確表示輸入樣本是否被誤分，但是用+1、-1可以起碼可以是問(wèn)題描述簡(jiǎn)單化、式子表示簡(jiǎn)潔化、幾何意義明確化。y12，比如原來(lái)取-1112，這樣一來(lái)，分類(lèi)正確的判定標(biāo)準(zhǔn)變?yōu)椋▂-1.5）*f（X)>01和-1只是為了計(jì)算簡(jiǎn)單方便，沒(méi)有實(shí)質(zhì)變化，更非一定必須取一4242樓victor05352012-08-21 [回復(fù)“我們可以令γ?=1對(duì)目標(biāo)函數(shù)的優(yōu)化沒(méi)有影響)”問(wèn)了好多（包括在你群里也看了網(wǎng)上別的資料都是一筆代過(guò)也思考了很久始終不明白他子里也包含了向量W在我們平時(shí)就一個(gè)簡(jiǎn)單函數(shù)時(shí)f(x)/||x||分子分母都包含一個(gè)變量怎么可以為了“求的方便”就反分子變成應(yīng)該怎么解釋?zhuān)磕芙o個(gè)讓人信服的解釋嗎？？還是有？謝謝ReRev_JULY_v2012-08-21 [回復(fù)方便書(shū)寫(xiě)，記做r^，這個(gè)r^，是方向向量wb的函數(shù)，因?yàn)榉诸?lèi)的點(diǎn)是給定的;的條件是任意給定的一個(gè)點(diǎn)的函數(shù)間隔大于等于r^，也就是yi（wxi+b）>=r^;ww/r^,bb/r^wb,wb的函數(shù)，所以最大化仍然可以進(jìn)行。于是，把這兩個(gè)新的變量代入到原來(lái)的約束最大化問(wèn)題中，就變成了，在yi(w'xi+b')>=11/||w'||最大化的w，b。wbw',b'的問(wèn)題，這就是支持向量機(jī)所采用ReRev_JULY_v2012-08-21 [回復(fù)回復(fù)v_JULY_v3點(diǎn)補(bǔ)充說(shuō)明兩個(gè)問(wèn)題問(wèn):為什么要做那兩個(gè)變換,"ww/r^,bb/r^w1.