第13章-統(tǒng)計(jì)學(xué)習(xí)理論與支持機(jī)簡(jiǎn)介課件

模式識(shí)別統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)簡(jiǎn)介模式識(shí)別統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)簡(jiǎn)介要點(diǎn)實(shí)例學(xué)習(xí)能力與推廣能力復(fù)雜性與推廣能力期望風(fēng)險(xiǎn)最小化與期望風(fēng)險(xiǎn)最小化支持向量機(jī)原理要點(diǎn)實(shí)例學(xué)習(xí)能力與推廣能力主要內(nèi)容統(tǒng)計(jì)學(xué)習(xí)理論的研究?jī)?nèi)容學(xué)習(xí)問題研究的四個(gè)階段人物簡(jiǎn)介統(tǒng)計(jì)學(xué)習(xí)理論的理論介紹應(yīng)用領(lǐng)域網(wǎng)絡(luò)資源主要內(nèi)容統(tǒng)計(jì)學(xué)習(xí)理論的研究?jī)?nèi)容統(tǒng)計(jì)學(xué)習(xí)理論的研究?jī)?nèi)容人的智慧：實(shí)例學(xué)習(xí)能力與推廣能力基于數(shù)據(jù)的機(jī)器學(xué)習(xí)問題：是現(xiàn)代智能技術(shù)中的重要方面研究通過對(duì)已知數(shù)據(jù)的學(xué)習(xí)，找到數(shù)據(jù)內(nèi)在的相互依賴關(guān)系，從而對(duì)未知數(shù)據(jù)的預(yù)測(cè)或?qū)π再|(zhì)進(jìn)行判斷統(tǒng)計(jì)學(xué)習(xí)理論的研究?jī)?nèi)容人的智慧：統(tǒng)計(jì)學(xué)習(xí)理論的研究?jī)?nèi)容目前機(jī)器學(xué)習(xí)方法存在的問題現(xiàn)有機(jī)器學(xué)習(xí)方法（模式識(shí)別、神經(jīng)網(wǎng)絡(luò)等）共同的理論基礎(chǔ)之一是統(tǒng)計(jì)學(xué)傳統(tǒng)統(tǒng)計(jì)學(xué)基礎(chǔ)是樣本數(shù)目趨于無窮大時(shí)的漸近理論,現(xiàn)有學(xué)習(xí)方法也多是基于此假設(shè)實(shí)際問題中,樣本數(shù)有限的,因此理論上優(yōu)秀的學(xué)習(xí)方法實(shí)際中表現(xiàn)不盡人意統(tǒng)計(jì)學(xué)習(xí)理論的研究?jī)?nèi)容目前機(jī)器學(xué)習(xí)方法存在的問題統(tǒng)計(jì)學(xué)習(xí)理論的研究?jī)?nèi)容統(tǒng)計(jì)學(xué)習(xí)理論：把學(xué)習(xí)問題看成是一個(gè)基于經(jīng)驗(yàn)數(shù)據(jù)進(jìn)行函數(shù)估計(jì)的一般問題，研究關(guān)于學(xué)習(xí)和推廣性的統(tǒng)計(jì)理論的基本思想。針對(duì)小樣本情況研究統(tǒng)計(jì)學(xué)習(xí)規(guī)律的理論，核心思想是通過控制學(xué)習(xí)機(jī)器的容量實(shí)現(xiàn)對(duì)推廣能力的控制。SVM是基于統(tǒng)計(jì)學(xué)習(xí)理論而發(fā)明的一種工具。統(tǒng)計(jì)學(xué)習(xí)理論的研究?jī)?nèi)容統(tǒng)計(jì)學(xué)習(xí)理論：學(xué)習(xí)問題研究的四個(gè)階段第一個(gè)學(xué)習(xí)機(jī)器的創(chuàng)立（60年代）起源與20世紀(jì)30年代的Fisher理論沒有考慮歸納推斷問題，不屬于機(jī)器學(xué)習(xí)理論1962Rosenblatt第一個(gè)學(xué)習(xí)機(jī)器模型，感知器，感知器為神經(jīng)元選擇適當(dāng)?shù)南禂?shù)1962Novikoff關(guān)于感知器的第一個(gè)定理，學(xué)習(xí)理論的開始。學(xué)習(xí)問題研究的四個(gè)階段第一個(gè)學(xué)習(xí)機(jī)器的創(chuàng)立（60年代）學(xué)習(xí)問題研究的四個(gè)階段應(yīng)用分析學(xué)派認(rèn)為，使學(xué)習(xí)機(jī)器具有推廣能力的唯一因素是訓(xùn)練集誤差最小，這是不言而喻的；理論分析學(xué)派認(rèn)為需要更智能化的歸納原則。學(xué)習(xí)問題研究的四個(gè)階段應(yīng)用分析學(xué)派認(rèn)為，使學(xué)習(xí)機(jī)器具有推廣能學(xué)習(xí)問題研究的四個(gè)階段學(xué)習(xí)理論的創(chuàng)立（60~70年代）其它類型學(xué)習(xí)機(jī)器：Widrow的Madaline自適應(yīng)學(xué)習(xí)機(jī)；Steinbuch的學(xué)習(xí)矩陣等。作為解決實(shí)際問題的工具來研究，沒有作為學(xué)習(xí)現(xiàn)象的一般模型。為了解決實(shí)際問題的的各種邏輯函數(shù)程序（決策樹等）、隱馬爾可夫模型有沒有涉及一般學(xué)習(xí)現(xiàn)象的研究。

學(xué)習(xí)問題研究的四個(gè)階段學(xué)習(xí)理論的創(chuàng)立（60~70年代）學(xué)習(xí)問題研究的四個(gè)階段經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的理論：

1968Vapnik&Chervonenkis模式識(shí)別問題的VC熵和VC維概念；泛函空間的大數(shù)定律，得到收斂速度的非漸進(jìn)界；

1971Vapnik&Chervonenkis上述理論的證明，為結(jié)構(gòu)風(fēng)險(xiǎn)最小化奠定基礎(chǔ)。

1976~1981，實(shí)函數(shù)集VC熵和VC維概念；大數(shù)定律、完全有界的函數(shù)集和無界函數(shù)集一致收斂速度的界，以及結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則。

學(xué)習(xí)問題研究的四個(gè)階段經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的理論：學(xué)習(xí)問題研究的四個(gè)階段

1989Vapnik&Chervonenkis經(jīng)驗(yàn)風(fēng) 險(xiǎn)最小化歸納原則和最大似然方法的一致 性的充分條件。90年代，能夠控制推廣 性能的新學(xué)習(xí)機(jī)器的合成，SVM學(xué)習(xí)問題研究的四個(gè)階段 1989Vapnik&Che學(xué)習(xí)問題研究的四個(gè)階段

解決不適定問題的理論：Tikhonov,Ivanov和Phillips發(fā)現(xiàn)解決不適定問題的正則化原則。密度估計(jì)的非參數(shù)方法：Parzen，Rosenblatt和Chentsov發(fā)現(xiàn)的非參數(shù)統(tǒng)計(jì)學(xué)。算法復(fù)雜度思想：Kolmogorov，Solomonoff和Chaitin發(fā)現(xiàn)的算法復(fù)雜性及其與歸納推理的關(guān)系。

學(xué)習(xí)問題研究的四個(gè)階段 學(xué)習(xí)問題研究的四個(gè)階段神經(jīng)網(wǎng)絡(luò)的創(chuàng)立（80年代）1986LeCun，Rumelhart，Hinton和Williams多層感知器的后向傳播算法三個(gè)失?。ㄗ匀徽Z(yǔ)言翻譯，通用問題求解器，大系統(tǒng)自動(dòng)控制機(jī)）理論分析目標(biāo)的簡(jiǎn)化,強(qiáng)調(diào)復(fù)雜理論無用，提倡簡(jiǎn)單的算法術(shù)語(yǔ)改變（感知器-神經(jīng)網(wǎng)絡(luò)）；與生理學(xué)家合作；構(gòu)造利用大腦來推廣的模型。1984可能近似正確（probablyapproximatelycorrect，PAC）模型，統(tǒng)計(jì)分析用于人工智能領(lǐng)域。學(xué)習(xí)問題研究的四個(gè)階段神經(jīng)網(wǎng)絡(luò)的創(chuàng)立（80年代）學(xué)習(xí)問題研究的四個(gè)階段回到起點(diǎn)（90年代）統(tǒng)計(jì)學(xué)習(xí)理論開始吸引更多學(xué)者結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則和最小描述長(zhǎng)度原則成為一個(gè)研究熱點(diǎn)小樣本數(shù)理論開始展開。開始研究對(duì)任意數(shù)目的觀測(cè)，如何得到最高的推廣能力。學(xué)習(xí)問題研究的四個(gè)階段回到起點(diǎn)（90年代）人物簡(jiǎn)介VladimirVapnik：1958年碩士畢業(yè)于蘇聯(lián)烏茲別克的UzbekStateUniversity1961~1990莫斯科控制科學(xué)研究所，計(jì)算機(jī)科學(xué)研究處的負(fù)責(zé)人AT&T實(shí)驗(yàn)室研究中心的技術(shù)領(lǐng)導(dǎo)；倫敦大學(xué)教授

人物簡(jiǎn)介VladimirVapnik：理論介紹:機(jī)器學(xué)習(xí)的基本問題機(jī)器學(xué)習(xí)問題表示

根據(jù)n個(gè)獨(dú)立同分布觀測(cè)樣本:(x1,y1),(x2,y2),…,(xn,yn),

在一組函數(shù)中求一個(gè)最優(yōu)的函數(shù)對(duì)依賴關(guān)系進(jìn)行估計(jì),使期望風(fēng)險(xiǎn) 最小理論介紹:機(jī)器學(xué)習(xí)的基本問題機(jī)器學(xué)習(xí)問題表示理論介紹:機(jī)器學(xué)習(xí)的基本問題經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化 學(xué)習(xí)的目標(biāo)在于使期望風(fēng)險(xiǎn)最小化，傳統(tǒng)的學(xué)習(xí)方法中采用了所謂經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化(ERM)準(zhǔn)則,即用樣本定義經(jīng)驗(yàn)風(fēng)險(xiǎn)

作為對(duì)期望風(fēng)險(xiǎn)的估計(jì),設(shè)計(jì)學(xué)習(xí)算法使它最小化用ERM準(zhǔn)則代替期望風(fēng)險(xiǎn)最小化沒有充分的理論論證理論介紹:機(jī)器學(xué)習(xí)的基本問題經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化理論介紹:機(jī)器學(xué)習(xí)的基本問題復(fù)雜性與推廣能力過學(xué)習(xí)問題過學(xué)習(xí)現(xiàn)象原因：一是因?yàn)闃颖静怀浞?二是學(xué)習(xí)機(jī)器設(shè)計(jì)不合理,這兩個(gè)問題是互相關(guān)聯(lián)的。一個(gè)簡(jiǎn)單的例子,假設(shè)有一組實(shí)數(shù)樣本{x,y},y取值在[0,1]之間,那么不論樣本是依據(jù)什么模型產(chǎn)生的,只要用函數(shù)f(x,α)=sin(αx)去擬合它們(α是待定參數(shù)),總能夠找到一個(gè)α使訓(xùn)練誤差為零由此可看出,有限樣本情況下,1)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小并不一定意味著期望風(fēng)險(xiǎn)最小;2)學(xué)習(xí)機(jī)器的復(fù)雜性不但應(yīng)與所研究的系統(tǒng)有關(guān),而且要和有限數(shù)目的樣本相適應(yīng)理論介紹:機(jī)器學(xué)習(xí)的基本問題復(fù)雜性與推廣能力第13章-統(tǒng)計(jì)學(xué)習(xí)理論與支持機(jī)簡(jiǎn)介課件統(tǒng)計(jì)學(xué)習(xí)理論的核心內(nèi)容統(tǒng)計(jì)學(xué)習(xí)理論就是研究小樣本統(tǒng)計(jì)估計(jì)和預(yù)測(cè)的理論,主要內(nèi)容包括四個(gè)方面:1)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則下統(tǒng)計(jì)學(xué)習(xí)一致性的條件;2)在這些條件下關(guān)于統(tǒng)計(jì)學(xué)習(xí)方法推廣性的界的結(jié)論;3)在這些界的基礎(chǔ)上建立的小樣本歸納推理準(zhǔn)則;4)實(shí)現(xiàn)新的準(zhǔn)則的實(shí)際方法(算法).其中,最有指導(dǎo)性的理論結(jié)果是推廣性的界,與此相關(guān)的一個(gè)核心概念是VC維.統(tǒng)計(jì)學(xué)習(xí)理論的核心內(nèi)容統(tǒng)計(jì)學(xué)習(xí)理論就是研究小樣本統(tǒng)計(jì)估計(jì)和預(yù)統(tǒng)計(jì)學(xué)習(xí)理論的核心內(nèi)容VC維直觀定義:對(duì)一個(gè)指示函數(shù)集,如果存在h個(gè)樣本能夠被函數(shù)集中的函數(shù)按所有可能的種形式分開,則稱函數(shù)集能夠把h個(gè)樣本打散;函數(shù)集的VC維就是它能打散的最大樣本數(shù)目h例如，n維實(shí)數(shù)空間中線性分類器和線性實(shí)函數(shù)的VC維是n+1；f(x,α)=sin(αx)的VC維則為無窮大VC維反映了函數(shù)集的學(xué)習(xí)能力,VC維越大則學(xué)習(xí)機(jī)器越復(fù)雜(容量越大)尚沒有通用的關(guān)于任意函數(shù)集VC維計(jì)算的理論統(tǒng)計(jì)學(xué)習(xí)理論的核心內(nèi)容VC維統(tǒng)計(jì)學(xué)習(xí)理論的核心內(nèi)容推廣性的界經(jīng)驗(yàn)風(fēng)險(xiǎn)和實(shí)際風(fēng)險(xiǎn)之間以至少1-η的概率滿足如下關(guān)系該結(jié)論從理論上說明學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)是由兩部分組成的:一是經(jīng)驗(yàn)風(fēng)險(xiǎn)(訓(xùn)練誤差),另一部分稱作置信范圍,它和學(xué)習(xí)機(jī)器的VC維及訓(xùn)練樣本數(shù)有關(guān)它表明,在有限訓(xùn)練樣本下,學(xué)習(xí)機(jī)器的VC維越高(復(fù)雜性越高)則置信范圍越大,導(dǎo)致真實(shí)風(fēng)險(xiǎn)與經(jīng)驗(yàn)風(fēng)險(xiǎn)之間可能的差別越大統(tǒng)計(jì)學(xué)習(xí)理論的核心內(nèi)容推廣性的界理論介紹:機(jī)器學(xué)習(xí)的基本問題結(jié)構(gòu)風(fēng)險(xiǎn)最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)原則在樣本有限時(shí)是不合理的,我們需要同時(shí)最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍在傳統(tǒng)方法中,選擇學(xué)習(xí)模型和算法的過程就是調(diào)整置信范圍的過程.因?yàn)槿狈碚撝笇?dǎo),這種選擇過分依賴使用者“技巧”結(jié)構(gòu)風(fēng)險(xiǎn)最小化(StructuralRiskMinimization或譯有序風(fēng)險(xiǎn)最小化)即SRM準(zhǔn)則實(shí)現(xiàn)SRM原則可以有兩種思路: 1）在每個(gè)子集中求最小經(jīng)驗(yàn)風(fēng)險(xiǎn),然后選擇使最小經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍之和最小的子集;理論介紹:機(jī)器學(xué)習(xí)的基本問題結(jié)構(gòu)風(fēng)險(xiǎn)最小化第13章-統(tǒng)計(jì)學(xué)習(xí)理論與支持機(jī)簡(jiǎn)介課件理論介紹:機(jī)器學(xué)習(xí)的基本問題 2）設(shè)計(jì)函數(shù)集的某種結(jié)構(gòu)使每個(gè)子集中都能取得最小的經(jīng)驗(yàn)風(fēng)險(xiǎn)(如使訓(xùn)練誤差為0),然后只需選擇選擇適當(dāng)?shù)淖蛹怪眯欧秶钚±碚摻榻B:機(jī)器學(xué)習(xí)的基本問題 2）設(shè)計(jì)函數(shù)集的某種結(jié)構(gòu)使每支持向量機(jī)核心內(nèi)容是在1992到1995年間提出的廣義最優(yōu)分類面SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來的基本思想可用兩維情況說明：所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開(訓(xùn)練錯(cuò)誤率為0),而且使分類間隔最大.使分類間隔最大實(shí)際上就是對(duì)推廣能力的控制,這是SVM的核心思想之一支持向量機(jī)核心內(nèi)容是在1992到1995年間提出的第13章-統(tǒng)計(jì)學(xué)習(xí)理論與支持機(jī)簡(jiǎn)介課件支持向量機(jī)公式表示最優(yōu)超平面：假定訓(xùn)練數(shù)據(jù)(x1,y1)…(xl,yl),y=+1或-1可以被超平面分開。則，可以得到下面的緊湊形式表示的不等式： 使最小化的就是最優(yōu)超平面支持向量機(jī)公式表示最優(yōu)超平面：假定訓(xùn)練數(shù)據(jù)(x1,y1)…支持向量機(jī)拉格朗日函數(shù)對(duì)w和b求偏導(dǎo)數(shù)代入L函數(shù)，消去w和b支持向量機(jī)拉格朗日函數(shù)對(duì)w和b求偏導(dǎo)數(shù)代入L函數(shù)，消去w和b支持向量機(jī)最終的分類函數(shù)為： 其中：支持向量機(jī)最終的分類函數(shù)為：支持向量機(jī)支持向量機(jī)對(duì)非線性問題,可以通過非線性變換轉(zhuǎn)化為某個(gè)高維空間中的線性問題在最優(yōu)分類面中采用適當(dāng)?shù)膬?nèi)積函數(shù)K(xi,xj)取代點(diǎn)積，就可以實(shí)現(xiàn)某一非線性變換后的線性分類支持向量機(jī)支持向量機(jī)支持向量機(jī)高維空間的推廣：支持向量機(jī)高維空間的推廣：SVM與神經(jīng)網(wǎng)絡(luò)的類似性SVM與神經(jīng)網(wǎng)絡(luò)的類似性支持向量機(jī)核函數(shù)有三類多項(xiàng)式核函數(shù)，所得到q階多項(xiàng)式分類器徑向基函數(shù)(RBF)所得分類器采用Sigmoid函數(shù)作為內(nèi)積

支持向量機(jī)核函數(shù)有三類支持向量機(jī)收斂算法標(biāo)準(zhǔn)chunking算法(投影共軛梯度PCG,二次的動(dòng)態(tài)規(guī)劃)分解算法SMO算法

支持向量機(jī)收斂算法應(yīng)用領(lǐng)域模式識(shí)別方面貝爾實(shí)驗(yàn)室對(duì)美國(guó)郵政手寫數(shù)字庫(kù)進(jìn)行的實(shí)驗(yàn) 人工識(shí)別錯(cuò)誤率2.5%

決策樹錯(cuò)誤率16.2%

兩層神經(jīng)網(wǎng)絡(luò)錯(cuò)誤率5.9%

五層神經(jīng)網(wǎng)絡(luò)錯(cuò)誤率為5.1%

應(yīng)用領(lǐng)域模式識(shí)別方面應(yīng)用領(lǐng)域

三種SVM方法(不同核函數(shù))得到的錯(cuò)誤率分別為4.0%、4.1%和4.2%

直接采用了16×16的字符點(diǎn)陣作為SVM的輸入,并沒有進(jìn)行專門的特征提取說明:

不同的SVM方法可以得到性能相近的結(jié)果 三種SVM求出的支持向量中有80%以上是重合的應(yīng)用領(lǐng)域 三種SVM方法(不同核函數(shù))得到的錯(cuò)誤率分別應(yīng)用領(lǐng)域SVM與神經(jīng)網(wǎng)絡(luò)相結(jié)合對(duì)筆跡進(jìn)行在線適應(yīng)MIT用SVM進(jìn)行的人臉檢測(cè)實(shí)驗(yàn)也取得了較好的效果可以較好地學(xué)會(huì)在圖像中找出可能的人臉位置人臉識(shí)別、三維物體識(shí)別用于識(shí)別的主動(dòng)學(xué)習(xí)、基于支撐向量機(jī)的說話人確認(rèn)系統(tǒng)、基于支持向量機(jī)與無監(jiān)督聚類相結(jié)合的中文網(wǎng)頁(yè)分類器、特征提取、特征選擇和學(xué)習(xí)目標(biāo)檢測(cè)、遙感圖像分析、圖像分類、基于支持向量機(jī)的相關(guān)反饋圖像檢索算法應(yīng)用領(lǐng)域SVM與神經(jīng)網(wǎng)絡(luò)相結(jié)合對(duì)筆跡進(jìn)行在線適應(yīng)應(yīng)用領(lǐng)域非線性時(shí)間序列預(yù)測(cè)支撐向量決策樹用于數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)濃縮在函數(shù)擬合方面,主要實(shí)驗(yàn)尚屬于原理性研究,包括函數(shù)逼近、時(shí)間序列預(yù)測(cè)及數(shù)據(jù)壓縮等其它有關(guān)研究還有對(duì)SVM中優(yōu)化算法實(shí)現(xiàn)的研究、改進(jìn)的SVM方法甚至硬件實(shí)現(xiàn)研究等應(yīng)用領(lǐng)域非線性時(shí)間序列預(yù)測(cè)網(wǎng)絡(luò)資源//nips97/book.html/isabelle/Projects/SVM/applist.htmlhttp://kiew.cs.uni-dortmund.de:8001/mlnet/instances/81d91eaae1752fe0be/~jplatt/svm.htmlhttp://www.dcs.rhbnc.ac.uk/research/compint/areas/comp_learn/sv/index.shtml/projects/cbcl/res-area/theory/index-theory-learning.html網(wǎng)絡(luò)資源http://www.kernel-machinesSupportVectors源程序Nearest

PointAlgorithm.bySathiyaKeerthi(inFORTRAN).SVM

JavaApplet.byChrisBurgesetal.BSVM.Adecompositionmethodforbound-constrainedSVMformulations.QP

SVMClassificationandRegression.FortranImplementation.ChunkingCode.byC.Saunders,M.O.Stitson,J.Weston,L.Bottou,B.Sch?lkopf,andA.SmolaatRoyalHolloway,AT&T,andGMDFIRST(Documentation).InteriorPoint

OptimizerforSVMPattern

Recognition.byAlexSmola.HeroSvm1.0.AhighperformanceDLLfortrainingSVMonaverylargetrainingsetefficiently.LEARNSC.SVM,NNandFLMATLABbaseduser-friendlyroutines.LIBSVM.AnSVMlibrarywithagraphicinterface.looms.aleave-one-outmodelselectionsoftwarebasedonBSVM.M-SVM.Multi-classsupportvectormachineforverylargeproblems.SupportVectors源程序SupportVectors源程序M-SVM.Multi-classsupportvectormachineforverylargeproblems.mySVM.SVMimplementationforpatternrecognitionandregression.mySVMandSVMlightforWindows.SVMimplementationforWindows,usesMicrosoftVisualC++6.0.mySVM/db.SVMimplementationtoberuninsideadatabase.Sequential

MinimalOptimization.byXianpingGe.SMOBR.SMOBRisanimplementationoftheoriginalSequentialMinimalOptimisationproposedbyPlattwritteninC++.SvmFu.byRyanRifkin.SVMLight.byThorstenJoachims.SVM/LOO.MatlabcodeforSVMincrementallearninganddecrementalunlearning(LOOvalidation).SVM/optima.SVMQProutinesinFortranforclassification/regression.SVMTorch.SupportVectorMachineforLarge-ScaleRegressionandClassificationProblems.Matlab

SVMToolbox.bySteveGunn.Matlab

SVMToolbox.MatlabimplementationinthestyleofSVMlight,cantrain1-normand2-normSVMs.OSUSVMClassifier

MatlabToolbox.AmatlabtoolboxwithaC++mexcoretofastimplementtheSVMclassifiers.SVMToolbox.ObjectOrientedMATLABSupportVectorMachineToolbox,includingC++MEXimplementationofthesequentialminimaloptimisationalgorithm.WinSVM.SVMprogramforrunningunderWindows.ItusesSMOalgorithm,soitisveryfastandeasytouse.WinSVM.SVMforwindows,easytouse.SupportVectors源程序模式識(shí)別統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)簡(jiǎn)介模式識(shí)別統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)簡(jiǎn)介要點(diǎn)實(shí)例學(xué)習(xí)能力與推廣能力復(fù)雜性與推廣能力期望風(fēng)險(xiǎn)最小化與期望風(fēng)險(xiǎn)最小化支持向量機(jī)原理要點(diǎn)實(shí)例學(xué)習(xí)能力與推廣能力主要內(nèi)容統(tǒng)計(jì)學(xué)習(xí)理論的研究?jī)?nèi)容學(xué)習(xí)問題研究的四個(gè)階段人物簡(jiǎn)介統(tǒng)計(jì)學(xué)習(xí)理論的理論介紹應(yīng)用領(lǐng)域網(wǎng)絡(luò)資源主要內(nèi)容統(tǒng)計(jì)學(xué)習(xí)理論的研究?jī)?nèi)容統(tǒng)計(jì)學(xué)習(xí)理論的研究?jī)?nèi)容人的智慧：實(shí)例學(xué)習(xí)能力與推廣能力基于數(shù)據(jù)的機(jī)器學(xué)習(xí)問題：是現(xiàn)代智能技術(shù)中的重要方面研究通過對(duì)已知數(shù)據(jù)的學(xué)習(xí)，找到數(shù)據(jù)內(nèi)在的相互依賴關(guān)系，從而對(duì)未知數(shù)據(jù)的預(yù)測(cè)或?qū)π再|(zhì)進(jìn)行判斷統(tǒng)計(jì)學(xué)習(xí)理論的研究?jī)?nèi)容人的智慧：統(tǒng)計(jì)學(xué)習(xí)理論的研究?jī)?nèi)容目前機(jī)器學(xué)習(xí)方法存在的問題現(xiàn)有機(jī)器學(xué)習(xí)方法（模式識(shí)別、神經(jīng)網(wǎng)絡(luò)等）共同的理論基礎(chǔ)之一是統(tǒng)計(jì)學(xué)傳統(tǒng)統(tǒng)計(jì)學(xué)基礎(chǔ)是樣本數(shù)目趨于無窮大時(shí)的漸近理論,現(xiàn)有學(xué)習(xí)方法也多是基于此假設(shè)實(shí)際問題中,樣本數(shù)有限的,因此理論上優(yōu)秀的學(xué)習(xí)方法實(shí)際中表現(xiàn)不盡人意統(tǒng)計(jì)學(xué)習(xí)理論的研究?jī)?nèi)容目前機(jī)器學(xué)習(xí)方法存在的問題統(tǒng)計(jì)學(xué)習(xí)理論的研究?jī)?nèi)容統(tǒng)計(jì)學(xué)習(xí)理論：把學(xué)習(xí)問題看成是一個(gè)基于經(jīng)驗(yàn)數(shù)據(jù)進(jìn)行函數(shù)估計(jì)的一般問題，研究關(guān)于學(xué)習(xí)和推廣性的統(tǒng)計(jì)理論的基本思想。針對(duì)小樣本情況研究統(tǒng)計(jì)學(xué)習(xí)規(guī)律的理論，核心思想是通過控制學(xué)習(xí)機(jī)器的容量實(shí)現(xiàn)對(duì)推廣能力的控制。SVM是基于統(tǒng)計(jì)學(xué)習(xí)理論而發(fā)明的一種工具。統(tǒng)計(jì)學(xué)習(xí)理論的研究?jī)?nèi)容統(tǒng)計(jì)學(xué)習(xí)理論：學(xué)習(xí)問題研究的四個(gè)階段第一個(gè)學(xué)習(xí)機(jī)器的創(chuàng)立（60年代）起源與20世紀(jì)30年代的Fisher理論沒有考慮歸納推斷問題，不屬于機(jī)器學(xué)習(xí)理論1962Rosenblatt第一個(gè)學(xué)習(xí)機(jī)器模型，感知器，感知器為神經(jīng)元選擇適當(dāng)?shù)南禂?shù)1962Novikoff關(guān)于感知器的第一個(gè)定理，學(xué)習(xí)理論的開始。學(xué)習(xí)問題研究的四個(gè)階段第一個(gè)學(xué)習(xí)機(jī)器的創(chuàng)立（60年代）學(xué)習(xí)問題研究的四個(gè)階段應(yīng)用分析學(xué)派認(rèn)為，使學(xué)習(xí)機(jī)器具有推廣能力的唯一因素是訓(xùn)練集誤差最小，這是不言而喻的；理論分析學(xué)派認(rèn)為需要更智能化的歸納原則。學(xué)習(xí)問題研究的四個(gè)階段應(yīng)用分析學(xué)派認(rèn)為，使學(xué)習(xí)機(jī)器具有推廣能學(xué)習(xí)問題研究的四個(gè)階段學(xué)習(xí)理論的創(chuàng)立（60~70年代）其它類型學(xué)習(xí)機(jī)器：Widrow的Madaline自適應(yīng)學(xué)習(xí)機(jī)；Steinbuch的學(xué)習(xí)矩陣等。作為解決實(shí)際問題的工具來研究，沒有作為學(xué)習(xí)現(xiàn)象的一般模型。為了解決實(shí)際問題的的各種邏輯函數(shù)程序（決策樹等）、隱馬爾可夫模型有沒有涉及一般學(xué)習(xí)現(xiàn)象的研究。

學(xué)習(xí)問題研究的四個(gè)階段學(xué)習(xí)理論的創(chuàng)立（60~70年代）學(xué)習(xí)問題研究的四個(gè)階段經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的理論：

1968Vapnik&Chervonenkis模式識(shí)別問題的VC熵和VC維概念；泛函空間的大數(shù)定律，得到收斂速度的非漸進(jìn)界；

1971Vapnik&Chervonenkis上述理論的證明，為結(jié)構(gòu)風(fēng)險(xiǎn)最小化奠定基礎(chǔ)。

1976~1981，實(shí)函數(shù)集VC熵和VC維概念；大數(shù)定律、完全有界的函數(shù)集和無界函數(shù)集一致收斂速度的界，以及結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則。

學(xué)習(xí)問題研究的四個(gè)階段經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則的理論：學(xué)習(xí)問題研究的四個(gè)階段

1989Vapnik&Chervonenkis經(jīng)驗(yàn)風(fēng) 險(xiǎn)最小化歸納原則和最大似然方法的一致 性的充分條件。90年代，能夠控制推廣 性能的新學(xué)習(xí)機(jī)器的合成，SVM學(xué)習(xí)問題研究的四個(gè)階段 1989Vapnik&Che學(xué)習(xí)問題研究的四個(gè)階段

解決不適定問題的理論：Tikhonov,Ivanov和Phillips發(fā)現(xiàn)解決不適定問題的正則化原則。密度估計(jì)的非參數(shù)方法：Parzen，Rosenblatt和Chentsov發(fā)現(xiàn)的非參數(shù)統(tǒng)計(jì)學(xué)。算法復(fù)雜度思想：Kolmogorov，Solomonoff和Chaitin發(fā)現(xiàn)的算法復(fù)雜性及其與歸納推理的關(guān)系。

學(xué)習(xí)問題研究的四個(gè)階段 學(xué)習(xí)問題研究的四個(gè)階段神經(jīng)網(wǎng)絡(luò)的創(chuàng)立（80年代）1986LeCun，Rumelhart，Hinton和Williams多層感知器的后向傳播算法三個(gè)失?。ㄗ匀徽Z(yǔ)言翻譯，通用問題求解器，大系統(tǒng)自動(dòng)控制機(jī)）理論分析目標(biāo)的簡(jiǎn)化,強(qiáng)調(diào)復(fù)雜理論無用，提倡簡(jiǎn)單的算法術(shù)語(yǔ)改變（感知器-神經(jīng)網(wǎng)絡(luò)）；與生理學(xué)家合作；構(gòu)造利用大腦來推廣的模型。1984可能近似正確（probablyapproximatelycorrect，PAC）模型，統(tǒng)計(jì)分析用于人工智能領(lǐng)域。學(xué)習(xí)問題研究的四個(gè)階段神經(jīng)網(wǎng)絡(luò)的創(chuàng)立（80年代）學(xué)習(xí)問題研究的四個(gè)階段回到起點(diǎn)（90年代）統(tǒng)計(jì)學(xué)習(xí)理論開始吸引更多學(xué)者結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則和最小描述長(zhǎng)度原則成為一個(gè)研究熱點(diǎn)小樣本數(shù)理論開始展開。開始研究對(duì)任意數(shù)目的觀測(cè)，如何得到最高的推廣能力。學(xué)習(xí)問題研究的四個(gè)階段回到起點(diǎn)（90年代）人物簡(jiǎn)介VladimirVapnik：1958年碩士畢業(yè)于蘇聯(lián)烏茲別克的UzbekStateUniversity1961~1990莫斯科控制科學(xué)研究所，計(jì)算機(jī)科學(xué)研究處的負(fù)責(zé)人AT&T實(shí)驗(yàn)室研究中心的技術(shù)領(lǐng)導(dǎo)；倫敦大學(xué)教授

人物簡(jiǎn)介VladimirVapnik：理論介紹:機(jī)器學(xué)習(xí)的基本問題機(jī)器學(xué)習(xí)問題表示

根據(jù)n個(gè)獨(dú)立同分布觀測(cè)樣本:(x1,y1),(x2,y2),…,(xn,yn),

在一組函數(shù)中求一個(gè)最優(yōu)的函數(shù)對(duì)依賴關(guān)系進(jìn)行估計(jì),使期望風(fēng)險(xiǎn) 最小理論介紹:機(jī)器學(xué)習(xí)的基本問題機(jī)器學(xué)習(xí)問題表示理論介紹:機(jī)器學(xué)習(xí)的基本問題經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化 學(xué)習(xí)的目標(biāo)在于使期望風(fēng)險(xiǎn)最小化，傳統(tǒng)的學(xué)習(xí)方法中采用了所謂經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化(ERM)準(zhǔn)則,即用樣本定義經(jīng)驗(yàn)風(fēng)險(xiǎn)

作為對(duì)期望風(fēng)險(xiǎn)的估計(jì),設(shè)計(jì)學(xué)習(xí)算法使它最小化用ERM準(zhǔn)則代替期望風(fēng)險(xiǎn)最小化沒有充分的理論論證理論介紹:機(jī)器學(xué)習(xí)的基本問題經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化理論介紹:機(jī)器學(xué)習(xí)的基本問題復(fù)雜性與推廣能力過學(xué)習(xí)問題過學(xué)習(xí)現(xiàn)象原因：一是因?yàn)闃颖静怀浞?二是學(xué)習(xí)機(jī)器設(shè)計(jì)不合理,這兩個(gè)問題是互相關(guān)聯(lián)的。一個(gè)簡(jiǎn)單的例子,假設(shè)有一組實(shí)數(shù)樣本{x,y},y取值在[0,1]之間,那么不論樣本是依據(jù)什么模型產(chǎn)生的,只要用函數(shù)f(x,α)=sin(αx)去擬合它們(α是待定參數(shù)),總能夠找到一個(gè)α使訓(xùn)練誤差為零由此可看出,有限樣本情況下,1)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小并不一定意味著期望風(fēng)險(xiǎn)最小;2)學(xué)習(xí)機(jī)器的復(fù)雜性不但應(yīng)與所研究的系統(tǒng)有關(guān),而且要和有限數(shù)目的樣本相適應(yīng)理論介紹:機(jī)器學(xué)習(xí)的基本問題復(fù)雜性與推廣能力第13章-統(tǒng)計(jì)學(xué)習(xí)理論與支持機(jī)簡(jiǎn)介課件統(tǒng)計(jì)學(xué)習(xí)理論的核心內(nèi)容統(tǒng)計(jì)學(xué)習(xí)理論就是研究小樣本統(tǒng)計(jì)估計(jì)和預(yù)測(cè)的理論,主要內(nèi)容包括四個(gè)方面:1)經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化準(zhǔn)則下統(tǒng)計(jì)學(xué)習(xí)一致性的條件;2)在這些條件下關(guān)于統(tǒng)計(jì)學(xué)習(xí)方法推廣性的界的結(jié)論;3)在這些界的基礎(chǔ)上建立的小樣本歸納推理準(zhǔn)則;4)實(shí)現(xiàn)新的準(zhǔn)則的實(shí)際方法(算法).其中,最有指導(dǎo)性的理論結(jié)果是推廣性的界,與此相關(guān)的一個(gè)核心概念是VC維.統(tǒng)計(jì)學(xué)習(xí)理論的核心內(nèi)容統(tǒng)計(jì)學(xué)習(xí)理論就是研究小樣本統(tǒng)計(jì)估計(jì)和預(yù)統(tǒng)計(jì)學(xué)習(xí)理論的核心內(nèi)容VC維直觀定義:對(duì)一個(gè)指示函數(shù)集,如果存在h個(gè)樣本能夠被函數(shù)集中的函數(shù)按所有可能的種形式分開,則稱函數(shù)集能夠把h個(gè)樣本打散;函數(shù)集的VC維就是它能打散的最大樣本數(shù)目h例如，n維實(shí)數(shù)空間中線性分類器和線性實(shí)函數(shù)的VC維是n+1；f(x,α)=sin(αx)的VC維則為無窮大VC維反映了函數(shù)集的學(xué)習(xí)能力,VC維越大則學(xué)習(xí)機(jī)器越復(fù)雜(容量越大)尚沒有通用的關(guān)于任意函數(shù)集VC維計(jì)算的理論統(tǒng)計(jì)學(xué)習(xí)理論的核心內(nèi)容VC維統(tǒng)計(jì)學(xué)習(xí)理論的核心內(nèi)容推廣性的界經(jīng)驗(yàn)風(fēng)險(xiǎn)和實(shí)際風(fēng)險(xiǎn)之間以至少1-η的概率滿足如下關(guān)系該結(jié)論從理論上說明學(xué)習(xí)機(jī)器的實(shí)際風(fēng)險(xiǎn)是由兩部分組成的:一是經(jīng)驗(yàn)風(fēng)險(xiǎn)(訓(xùn)練誤差),另一部分稱作置信范圍,它和學(xué)習(xí)機(jī)器的VC維及訓(xùn)練樣本數(shù)有關(guān)它表明,在有限訓(xùn)練樣本下,學(xué)習(xí)機(jī)器的VC維越高(復(fù)雜性越高)則置信范圍越大,導(dǎo)致真實(shí)風(fēng)險(xiǎn)與經(jīng)驗(yàn)風(fēng)險(xiǎn)之間可能的差別越大統(tǒng)計(jì)學(xué)習(xí)理論的核心內(nèi)容推廣性的界理論介紹:機(jī)器學(xué)習(xí)的基本問題結(jié)構(gòu)風(fēng)險(xiǎn)最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)原則在樣本有限時(shí)是不合理的,我們需要同時(shí)最小化經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍在傳統(tǒng)方法中,選擇學(xué)習(xí)模型和算法的過程就是調(diào)整置信范圍的過程.因?yàn)槿狈碚撝笇?dǎo),這種選擇過分依賴使用者“技巧”結(jié)構(gòu)風(fēng)險(xiǎn)最小化(StructuralRiskMinimization或譯有序風(fēng)險(xiǎn)最小化)即SRM準(zhǔn)則實(shí)現(xiàn)SRM原則可以有兩種思路: 1）在每個(gè)子集中求最小經(jīng)驗(yàn)風(fēng)險(xiǎn),然后選擇使最小經(jīng)驗(yàn)風(fēng)險(xiǎn)和置信范圍之和最小的子集;理論介紹:機(jī)器學(xué)習(xí)的基本問題結(jié)構(gòu)風(fēng)險(xiǎn)最小化第13章-統(tǒng)計(jì)學(xué)習(xí)理論與支持機(jī)簡(jiǎn)介課件理論介紹:機(jī)器學(xué)習(xí)的基本問題 2）設(shè)計(jì)函數(shù)集的某種結(jié)構(gòu)使每個(gè)子集中都能取得最小的經(jīng)驗(yàn)風(fēng)險(xiǎn)(如使訓(xùn)練誤差為0),然后只需選擇選擇適當(dāng)?shù)淖蛹怪眯欧秶钚±碚摻榻B:機(jī)器學(xué)習(xí)的基本問題 2）設(shè)計(jì)函數(shù)集的某種結(jié)構(gòu)使每支持向量機(jī)核心內(nèi)容是在1992到1995年間提出的廣義最優(yōu)分類面SVM從線性可分情況下的最優(yōu)分類面發(fā)展而來的基本思想可用兩維情況說明：所謂最優(yōu)分類線就是要求分類線不但能將兩類正確分開(訓(xùn)練錯(cuò)誤率為0),而且使分類間隔最大.使分類間隔最大實(shí)際上就是對(duì)推廣能力的控制,這是SVM的核心思想之一支持向量機(jī)核心內(nèi)容是在1992到1995年間提出的第13章-統(tǒng)計(jì)學(xué)習(xí)理論與支持機(jī)簡(jiǎn)介課件支持向量機(jī)公式表示最優(yōu)超平面：假定訓(xùn)練數(shù)據(jù)(x1,y1)…(xl,yl),y=+1或-1可以被超平面分開。則，可以得到下面的緊湊形式表示的不等式： 使最小化的就是最優(yōu)超平面支持向量機(jī)公式表示最優(yōu)超平面：假定訓(xùn)練數(shù)據(jù)(x1,y1)…支持向量機(jī)拉格朗日函數(shù)對(duì)w和b求偏導(dǎo)數(shù)代入L函數(shù)，消去w和b支持向量機(jī)拉格朗日函數(shù)對(duì)w和b求偏導(dǎo)數(shù)代入L函數(shù)，消去w和b支持向量機(jī)最終的分類函數(shù)為： 其中：支持向量機(jī)最終的分類函數(shù)為：支持向量機(jī)支持向量機(jī)對(duì)非線性問題,可以通過非線性變換轉(zhuǎn)化為某個(gè)高維空間中的線性問題在最優(yōu)分類面中采用適當(dāng)?shù)膬?nèi)積函數(shù)K(xi,xj)取代點(diǎn)積，就可以實(shí)現(xiàn)某一非線性變換后的線性分類支持向量機(jī)支持向量機(jī)支持向量機(jī)高維空間的推廣：支持向量機(jī)高維空間的推廣：SVM與神經(jīng)網(wǎng)絡(luò)的類似性SVM與神經(jīng)網(wǎng)絡(luò)的類似性支持向量機(jī)核函數(shù)有三類多項(xiàng)式核函數(shù)，所得到q階多項(xiàng)式分類器徑向基函數(shù)(RBF)所得分類器采用Sigmoid函數(shù)作為內(nèi)積

支持向量機(jī)核函數(shù)有三類支持向量機(jī)收斂算法標(biāo)準(zhǔn)chunking算法(投影共軛梯度PCG,二次的動(dòng)態(tài)規(guī)劃)分解算法SMO算法

支持向量機(jī)收斂算法應(yīng)用領(lǐng)域模式識(shí)別方面貝爾實(shí)驗(yàn)室對(duì)美國(guó)郵政手寫數(shù)字庫(kù)進(jìn)行的實(shí)驗(yàn) 人工識(shí)別錯(cuò)誤率2.5%

決策樹錯(cuò)誤率16.2%

兩層神經(jīng)網(wǎng)絡(luò)錯(cuò)誤率5.9%

五層神經(jīng)網(wǎng)絡(luò)錯(cuò)誤率為5.1%

應(yīng)用領(lǐng)域模式識(shí)別方面應(yīng)用領(lǐng)域

三種SVM方法(不同核函數(shù))得到的錯(cuò)誤率分別為4.0%、4.1%和4.2%

直接采用了16×16的字符點(diǎn)陣作為SVM的輸入,并沒有進(jìn)行專門的特征提取說明:

不同的SVM方法可以得到性能相近的結(jié)果 三種SVM求出的支持向量中有80%以上是重合的應(yīng)用領(lǐng)域 三種SVM方法(不同核函數(shù))得到的錯(cuò)誤率分別應(yīng)用領(lǐng)域SVM與神經(jīng)網(wǎng)絡(luò)相結(jié)合對(duì)筆跡進(jìn)行在線適應(yīng)MIT用SVM進(jìn)行的人臉檢測(cè)實(shí)驗(yàn)也取得了較好的效果可以較好地學(xué)會(huì)在圖像中找出可能的人臉位置人臉識(shí)別、三維物體識(shí)別用于識(shí)別的主動(dòng)學(xué)習(xí)、基于支撐向量機(jī)的說話人確認(rèn)系統(tǒng)、基于支持向量機(jī)與無監(jiān)督聚類相結(jié)合的中文網(wǎng)頁(yè)分類器、特征提取、特征選擇和學(xué)習(xí)目標(biāo)檢測(cè)、遙感圖像分析、圖像分類、基于支持向量機(jī)的相關(guān)反饋圖像檢索算法應(yīng)用領(lǐng)域SVM與神經(jīng)網(wǎng)絡(luò)相結(jié)合對(duì)筆跡進(jìn)行在線適應(yīng)應(yīng)用領(lǐng)域非線性時(shí)間序列預(yù)測(cè)支撐向量決策樹用于數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)濃縮在函數(shù)擬合方面,主要實(shí)驗(yàn)尚屬于原理性研究,包括函數(shù)逼近、時(shí)間序列預(yù)測(cè)及數(shù)據(jù)壓縮等其它有關(guān)研究還有對(duì)SVM中優(yōu)化算法實(shí)現(xiàn)的研究、改進(jìn)的SVM方法甚至硬件實(shí)現(xiàn)研究等應(yīng)用領(lǐng)域非線性時(shí)間序列預(yù)測(cè)網(wǎng)絡(luò)資源//nips97/book.html/isabelle/Projects/SVM/applist.htmlhttp://kiew.cs.uni-dortmund.de:8001/mlnet/instances/81d91eaae1752fe0be/~jplatt/svm.htmlhttp://www.dcs.rhbnc.ac.uk/research/compint/areas/comp_learn/sv/index.shtml/projects/cbcl/res-area/theory/index-theory-learning.html網(wǎng)絡(luò)資源http://www.kernel-machinesSupportVectors源程序Nearest

PointAlgorithm.bySathiyaKeerthi(inFORTRAN).SVM

JavaApplet.byChrisBurgesetal.BSVM.Adecompositionmethodforbound-constrainedSVMformulations.QP

SVMClassificationandRegression.FortranImplementation.ChunkingCode.byC.Saunders,M.O.Stitson,J.Weston,L.Bottou,B.Sch?lkopf,andA.SmolaatRoyalHolloway,AT&T,andGMDFIRST(Documentation).InteriorPoint

OptimizerforSVMPattern

Recognition.byAlexSmola.HeroSvm1.0.AhighperformanceDLLfortrainingSVMonaverylargetrainingsetefficiently.LEARNSC.S