《機(jī)器學(xué)習(xí)項目案例開發(fā)》課件 15.支持向量機(jī)

人工智能技術(shù)與應(yīng)用6.支持向量機(jī)課程概況—基本情況PART01支持向量機(jī)線性可分支持向量機(jī)線性不可分支持向量機(jī)非線性支持向量機(jī)線性可分支持向量機(jī)支持向量機(jī)(SupportVectorMachine)：要解決的問題：什么樣的決策邊界才是最好的呢？支持向量機(jī)(SupportVectorMachine)，通?？s寫為SVM，是一種用于回歸和分類的監(jiān)督學(xué)習(xí)算法，但更常用于分類。SVM在各種設(shè)置下均表現(xiàn)出色，通常被認(rèn)為是最好的“開箱即用”分類器。個體支持向量機(jī)(SupportVectorMachine)：求解決策邊界：選出來離雷區(qū)最遠(yuǎn)的（雷區(qū)就是邊界上的點，要LargeMargin）線性可分支持向量機(jī)線性可分支持向量機(jī)：線性可分支持向量機(jī)距離的計算：目的：讓機(jī)器學(xué)習(xí)效果線性可分支持向量機(jī)數(shù)據(jù)標(biāo)簽定義：數(shù)據(jù)集：(X1,Y1)(X2,Y2)…(Xn,Yn)Y為樣本的類別：當(dāng)X為正例時候Y=+1當(dāng)X為負(fù)例時候Y=-1決策方程：線性可分支持向量機(jī)優(yōu)化目標(biāo)：（實際問題轉(zhuǎn)為數(shù)學(xué)問題，優(yōu)化化簡）通俗解釋：找到一個條線（w和b），使得離該線最近的點（雷區(qū)）能夠最遠(yuǎn)將點到直線的距離化簡得：（由于所以將絕對值展開原始依舊成立）

線性可分支持向量機(jī)目標(biāo)函數(shù)：（實際問題轉(zhuǎn)為數(shù)學(xué)問題，優(yōu)化化簡）放縮變換：對于決策方程（w,b）可以通過放縮使得其結(jié)果值|Y|>=1：優(yōu)化目標(biāo)：min求最近的點，在找什么樣的w和b使得距離最大由于，只需要考慮

線性可分支持向量機(jī)目標(biāo)函數(shù)：（實際問題轉(zhuǎn)為數(shù)學(xué)問題，優(yōu)化化簡）當(dāng)前目標(biāo)：約束條件：

將求解極大值問題轉(zhuǎn)換成極小值問題如何求解：應(yīng)用拉格朗日乘子法求解

線性可分支持向量機(jī)線性支持向量機(jī)：（soft-margin）軟間隔：有時候數(shù)據(jù)中有一些噪音點，如果考慮它們咱們的線就不太好了：之前的方法要求要把兩類點完全分得開，這個要求有點過于嚴(yán)格了，我們來放松一點！為了解決該問題，引入松弛因子線性支持向量機(jī)線性支持向量機(jī)：（soft-margin）當(dāng)數(shù)據(jù)線性不可分，則增加松弛因子，使得函數(shù)間隔加上松弛變量大于等于1，這樣，約束條件變成目標(biāo)函數(shù)當(dāng)C趨近于很大時：意味著分類嚴(yán)格不能有錯誤當(dāng)C趨近于很小時：意味著可以有更大的錯誤容忍C是我們需要指定的一個參數(shù)！線性支持向量機(jī)損失函數(shù)線性支持向量機(jī)非線性支持向量機(jī)：核函數(shù)非線性支持向量機(jī)非線性支持向量機(jī)：核函數(shù)非線性支持向量機(jī)非線性支持向量機(jī)：高斯核函