機(jī)器學(xué)習(xí)及應(yīng)用 第5章 支持向量機(jī)

第05章支持向量機(jī)

學(xué)習(xí)II標(biāo)

函數(shù)間隔

幾何間隔

對偶問題

線性支持向量機(jī) 非線性支持向量機(jī) 序列最小優(yōu)化算法 5.1引言

支持向量機(jī)(supportvectormachine,SVM)是一種基于統(tǒng)計學(xué)習(xí)理論(StatisticalLearningTheory,SLT)的監(jiān)督學(xué)習(xí)方法。 支持向量機(jī)在各個領(lǐng)域內(nèi)的模式識別問題中都有廣泛應(yīng)用，包括人臉識別、文本分類、筆跡識別等。它不僅在解決小樣本、非線性及高維模式識別等問題中表現(xiàn)出了許多特有的優(yōu)勢，同時在函數(shù)模擬、模式識別和數(shù)據(jù)分類等領(lǐng)域也取得了極好的應(yīng)用效果，是機(jī)器學(xué)習(xí)最成功的算法之一。臺灣大學(xué)資訊工程研究所開發(fā)的LIBSVM是使用最廣的SVM工具，包含標(biāo)準(zhǔn)SVM算法、概率輸出、支持向量回歸、多分類SVM等功能，其源代碼由C編寫，并有JAVA、Python、R、MATLAB等語言的調(diào)用接口等。scikit-learn提供預(yù)封裝的SVM工具，其設(shè)計參考了LIBSVM。5.1引言 1963年，前蘇聯(lián)學(xué)者VladimirN.Vapnik和AlexanderY.Lernerjt研究模式識別的廣義肖像算法(generalizedportraitalgorithm)中提出支持向量方法。1964年，他們進(jìn)一步建立了函數(shù)間隔(硬邊距)的線性SVM。并于上世紀(jì)70年代，隨著最大邊距決策邊界的理論研究、基于松弛變量的規(guī)劃問題求解技術(shù)的出現(xiàn)，以及VC維的提出，SVM被逐步理論化并稱為統(tǒng)計學(xué)習(xí)理論的重要組成部分。 1992年，BernhardE.Boser,IsabelleM.Guyon和VladimirN.Vapnik運(yùn)用核技巧(kerneltrick)最大化邊緣平面，解決非線性分類器的方法。 1995年，VladimirN.Vapnik提出了統(tǒng)計學(xué)習(xí)理論，較好地解決了線性不可分的問題，正式奠定了SVM的理論基礎(chǔ)。5.6綜合案例ax.set_title("SVC_sigmoid_r")

ax.set_xlabel(r"r")

ax.set^ylabelf^score")

ax.set_ylim(0,1.05)

ax.legend(loc="best",framealpha=0.5)

pltshowQif_name_=="_main_": X_train,X_test,y_train,y_test=load_data_classficationO

test_SVC_linear(X_train,X_test,y_train,y_test)

test_SVC_poly(X_train,X_test,y_train,y_test)

test_SVC_rbf(X_train,X_test,y_train,y_test)

test_SVC_sigmoid(X_train,X_test,y_train,y_test)

Coefficients:[[-0.169903040.47442881-0.93075307-0.51249447]

[0.024391780.21890135-0.52833486-0.25913786]

[0.522897710.95783924-1.82516872-2.0029277