統(tǒng)計學(xué)習(xí)理論和支持向量機(jī)演示文稿

統(tǒng)計學(xué)習(xí)理論和支持向量機(jī)演示文稿目前一頁\總數(shù)三十三頁\編于二十點（優(yōu)選）統(tǒng)計學(xué)習(xí)理論和支持向量機(jī)目前二頁\總數(shù)三十三頁\編于二十點13.1機(jī)器學(xué)習(xí)問題的表示

目前三頁\總數(shù)三十三頁\編于二十點13.1.1機(jī)器學(xué)習(xí)與模式識別的關(guān)系機(jī)器學(xué)習(xí)——讓機(jī)器擁有類似人類的學(xué)習(xí)能力；機(jī)器學(xué)習(xí)是人工智能的重要分支；模式識別可以看作是機(jī)器學(xué)習(xí)的特例。如果在人工智能上有所突破，以至于機(jī)器能夠?qū)W習(xí)，那么它將價值10個微軟?！狟.Gates，2004目前四頁\總數(shù)三十三頁\編于二十點13.1.2機(jī)器學(xué)習(xí)的發(fā)展歷史起源:上世紀(jì)50年代中葉

70年代中葉——80年代中葉：探索各種學(xué)習(xí)方法;50年代中葉——60年代中葉：研究各種自適應(yīng)系統(tǒng)；

代表作:Samuel的下棋程序60年代中葉——70年代中葉：模擬人類的概念學(xué)習(xí)過程;

代表作:Winston的結(jié)構(gòu)學(xué)習(xí)系統(tǒng)

目前五頁\總數(shù)三十三頁\編于二十點13.1.2機(jī)器學(xué)習(xí)的發(fā)展歷史（續(xù)）90年代中葉——當(dāng)前：分類器集成、海量樣本學(xué)習(xí)、增強(qiáng)學(xué)習(xí)、學(xué)習(xí)復(fù)雜隨機(jī)模型、核機(jī)器學(xué)習(xí)等;吸引了越來越多的學(xué)者進(jìn)行機(jī)器學(xué)習(xí)研究;1980年,在卡內(nèi)基-梅隆大學(xué)（CMU）:召開了第一屆機(jī)器學(xué)習(xí)國際研討會,標(biāo)志著機(jī)器學(xué)習(xí)研究在全世界興起。

80年代中葉——90年代中葉：主要研究人工神經(jīng)網(wǎng)絡(luò);目前六頁\總數(shù)三十三頁\編于二十點13.1.3機(jī)器學(xué)習(xí)研究領(lǐng)域的細(xì)分即人工神經(jīng)網(wǎng)絡(luò)（ANN）學(xué)習(xí)今天要講的內(nèi)容目前七頁\總數(shù)三十三頁\編于二十點13.1.4機(jī)器學(xué)習(xí)問題的表示已知：

學(xué)習(xí)樣本及其相應(yīng)的目標(biāo)值使期望風(fēng)險最小

三類最基本的學(xué)習(xí)問題：

分類：

回歸：

密度估計：損失函數(shù)目前八頁\總數(shù)三十三頁\編于二十點13.2統(tǒng)計學(xué)習(xí)理論的發(fā)展歷程

目前九頁\總數(shù)三十三頁\編于二十點13.2.1統(tǒng)計學(xué)習(xí)歷程發(fā)展歷程簡介20世紀(jì)60年代由Vapnik等人開始研究。這一階段的研究成果見教材第7章；這一階段的成果理論艱澀，實踐性差，沒有引起關(guān)注；20世紀(jì)90年代開始形成一個較完善的理論體系。同時人工神經(jīng)網(wǎng)絡(luò)（ANN）的研究則遇到重要困難（過學(xué)習(xí)等），因此統(tǒng)計學(xué)習(xí)理論受到關(guān)注；1992年在統(tǒng)計學(xué)習(xí)理論的基礎(chǔ)上發(fā)展出一種新的模式識別方法———支持向量機(jī)；當(dāng)前統(tǒng)計學(xué)習(xí)理論正成為機(jī)器學(xué)習(xí)和模式識別領(lǐng)域新的研究熱點；目前十頁\總數(shù)三十三頁\編于二十點13.3統(tǒng)計學(xué)習(xí)理論的主要內(nèi)容

目前十一頁\總數(shù)三十三頁\編于二十點經(jīng)驗風(fēng)險：期望風(fēng)險：13.3.1期望風(fēng)險與經(jīng)驗風(fēng)險（理想）（現(xiàn)實）（不易計算）（易計算）盡管在n趨于無窮大時能保證趨近于，但n有限時上述結(jié)論不一定成立。目前十二頁\總數(shù)三十三頁\編于二十點13.3.1期望風(fēng)險與經(jīng)驗風(fēng)險（續(xù)）例：直線擬合01230.010.010.010.220.010.010.220.010.010.220.010.010.220.010.010.01012312345目前十三頁\總數(shù)三十三頁\編于二十點13.3.1期望風(fēng)險與經(jīng)驗風(fēng)險（續(xù)）損失函數(shù)：經(jīng)驗風(fēng)險：期望風(fēng)險：經(jīng)驗風(fēng)險最小化（ERM）：通過使最小求a和b。目前十四頁\總數(shù)三十三頁\編于二十點13.3.2VC維的概念VC維是衡量函數(shù)集分類能力的指標(biāo)，也是到目前為止對函數(shù)集學(xué)習(xí)性能的最好描述。打散（shattering）：一個含h個樣本的樣本集能夠被一個函數(shù)集中的函數(shù)按照所有可能的2**h種形式分為兩類（即函數(shù)集對樣本集具有完全二分能力），則稱函數(shù)集能夠把樣本數(shù)為h的樣本集打散。函數(shù)集的VC維：函數(shù)集中的函數(shù)所能夠打散的最大樣本集的樣本數(shù)目。2維直線構(gòu)成的函數(shù)集的VC維是3。

目前十五頁\總數(shù)三十三頁\編于二十點13.3.2VC維的概念（續(xù)）對于兩類分類問題，以下結(jié)論以概率成立：簡記為：置信范圍上式表達(dá)了期望風(fēng)險、經(jīng)驗風(fēng)險與VC維三者間的關(guān)系；(h是VC維)目前十六頁\總數(shù)三十三頁\編于二十點13.3.3結(jié)構(gòu)風(fēng)險最小化s1s2s3期望風(fēng)險的上界：目前十七頁\總數(shù)三十三頁\編于二十點13.4最優(yōu)分類面目前十八頁\總數(shù)三十三頁\編于二十點13.4.1最優(yōu)分類面的概念

最優(yōu)分類面H：（1）H能完全分開樣本集；（2）H使得H1、H2間的距離最大。其中H1、H2為過各類樣本中離H最近的點且平行于H的直線。最優(yōu)分類面非最優(yōu)分類面目前十九頁\總數(shù)三十三頁\編于二十點X2MarginMarginWNote:13.4.2最優(yōu)分類面的求取樣本：類別：分類面：（2）（3）（1）（0）目前二十頁\總數(shù)三十三頁\編于二十點13.4.2最優(yōu)分類面的求取（續(xù)）將（3）式代入（2）式，可得（1）式的對偶規(guī)劃maxs.t.解上式可得最優(yōu)的

代入（3）式可得權(quán)向量代入（0）式可得分類面（4）目前二十一頁\總數(shù)三十三頁\編于二十點13.4.2最優(yōu)分類面的求取（續(xù)）目前二十二頁\總數(shù)三十三頁\編于二十點例：求兩個樣本間的最優(yōu)分類面13.4.2最優(yōu)分類面的求?。ɡm(xù)）已知條件約束優(yōu)化問題：mins.t.分類面：mins.t.目前二十三頁\總數(shù)三十三頁\編于二十點13.4.2最優(yōu)分類面的求取（續(xù)）maxs.t.對偶規(guī)劃maxs.t.（1）（2）將（2）式代入（1）式，同時將已知條件代入max分類面：權(quán)值：目前二十四頁\總數(shù)三十三頁\編于二十點13.5支持向量機(jī)的基本原理目前二十五頁\總數(shù)三十三頁\編于二十點13.5.1支持向量機(jī)的基本思路首先將樣本從輸入空間映射到高維空間中，然后在高維空間中求取最優(yōu)分類面；目前二十六頁\總數(shù)三十三頁\編于二十點13.5.2支持向量機(jī)原理與拓?fù)浣Y(jié)構(gòu)min樣本：類別：樣本：類別：min目前二十七頁\總數(shù)三十三頁\編于二十點13.5.2支持向量機(jī)原理與拓?fù)浣Y(jié)構(gòu)（續(xù)）核函數(shù)：目前二十八頁\總數(shù)三十三頁\編于二十點13.5.2支持向量機(jī)原理與拓?fù)浣Y(jié)構(gòu)（續(xù)）目前二十九頁\總數(shù)三十三頁\編于二十點13.5.3支持向量機(jī)與徑向基函數(shù)網(wǎng)絡(luò)的比較SVMRBF網(wǎng)絡(luò)目前三十頁\總數(shù)三十三頁\編于二十點13.5.4支持向量機(jī)當(dāng)前的研究狀況與其它學(xué)習(xí)模型的等價性SVM快速算法多類SVM分類機(jī)LS—SVM與LP—SVMSVM與其它分類器的融合

算法改進(jìn)與性能分析核函數(shù)設(shè)計及模型選擇

“科研反哺教學(xué)”；目前三十一頁\總數(shù)三十三頁\編于二十點算法改進(jìn)與性能分析13.5.4支持向量機(jī)當(dāng)前的研究狀況（續(xù)）例：剪輯支持向量機(jī)原始樣本集SVM初分類去除錯分樣本與重疊區(qū)樣本得