統(tǒng)計學(xué)習(xí)理論的本質(zhì)

1、第七章 統(tǒng)計學(xué)習(xí)理論的本質(zhì)7.1 統(tǒng)計學(xué)習(xí)的本質(zhì)統(tǒng)計學(xué)習(xí)的本質(zhì)n系統(tǒng)系統(tǒng)S為研究對象，通過一系列的觀測樣本來求得為研究對象，通過一系列的觀測樣本來求得學(xué)習(xí)機(jī)學(xué)習(xí)機(jī)LM，使得，使得LM的輸出的輸出 能夠盡量準(zhǔn)確的預(yù)測能夠盡量準(zhǔn)確的預(yù)測S的輸出的輸出y。 (x1,y1)，(x2,y2)，(xn,yn) y風(fēng)險風(fēng)險n學(xué)習(xí)機(jī)學(xué)習(xí)機(jī)LM的輸出的輸出 與輸入與輸入x之間可以看作是一個函之間可以看作是一個函數(shù)關(guān)系：數(shù)關(guān)系：n一般需要將函數(shù)一般需要將函數(shù) 限定在特定的一組函數(shù)限定在特定的一組函數(shù) 中求取。中求取。n定義風(fēng)險：定義風(fēng)險：均方誤差：均方誤差：似然函數(shù)：似然函數(shù)： y yfx f x,f x w,L

2、 y f x w2,L y fyfx wx w,ln,L pp x wx w期望風(fēng)險期望風(fēng)險ny與與x之間存在一定的依賴關(guān)系，可以用一個未之間存在一定的依賴關(guān)系，可以用一個未知的聯(lián)合概率知的聯(lián)合概率F(x,y)描述。描述。n期望風(fēng)險定義為：期望風(fēng)險定義為：n統(tǒng)計學(xué)習(xí)的目的就是要尋找到一個最優(yōu)的函數(shù)統(tǒng)計學(xué)習(xí)的目的就是要尋找到一個最優(yōu)的函數(shù)f(x,w*)，使得，使得R(w*)最小。最小。 ,RL y fdFywx wx經(jīng)驗風(fēng)險經(jīng)驗風(fēng)險n期望風(fēng)險一般來說無法計算，在工程上轉(zhuǎn)而計期望風(fēng)險一般來說無法計算，在工程上轉(zhuǎn)而計算經(jīng)驗風(fēng)險：算經(jīng)驗風(fēng)險：n求取最優(yōu)參數(shù)求取最優(yōu)參數(shù)w*，使得經(jīng)驗風(fēng)險，使得經(jīng)驗風(fēng)險R

3、emp(w*)最小。最小。n當(dāng)學(xué)習(xí)過程具有一致性時，統(tǒng)計學(xué)有如下關(guān)系：當(dāng)學(xué)習(xí)過程具有一致性時，統(tǒng)計學(xué)有如下關(guān)系： 11,nempiiiRL yfnwx w limsup0,0empnPRR www期望風(fēng)險與經(jīng)驗風(fēng)險的關(guān)系期望風(fēng)險與經(jīng)驗風(fēng)險的關(guān)系 empRRww7.2 函數(shù)集的函數(shù)集的VC維與推廣性的界維與推廣性的界n統(tǒng)計學(xué)習(xí)的推廣能力不僅同訓(xùn)練樣本數(shù)統(tǒng)計學(xué)習(xí)的推廣能力不僅同訓(xùn)練樣本數(shù)n有關(guān)系，有關(guān)系，而且同學(xué)習(xí)機(jī)的函數(shù)集選擇有關(guān)系，而且同學(xué)習(xí)機(jī)的函數(shù)集選擇有關(guān)系，“簡單簡單”的的函數(shù)集合推廣能力強(qiáng)，函數(shù)集合推廣能力強(qiáng)，“復(fù)雜復(fù)雜”的函數(shù)集合推廣的函數(shù)集合推廣能力差。能力差。n當(dāng)函數(shù)集過于當(dāng)函數(shù)

4、集過于“復(fù)雜復(fù)雜”時，很容易產(chǎn)生時，很容易產(chǎn)生“過學(xué)習(xí)過學(xué)習(xí)”現(xiàn)象：對于訓(xùn)練樣本風(fēng)險很小，而對非訓(xùn)練樣本現(xiàn)象：對于訓(xùn)練樣本風(fēng)險很小，而對非訓(xùn)練樣本風(fēng)險卻很大。風(fēng)險卻很大。過學(xué)習(xí)過學(xué)習(xí)VC維維n打散：如果存在一個有打散：如果存在一個有h個樣本的樣本集能夠被一個樣本的樣本集能夠被一個函數(shù)集中的函數(shù)按照所有可能的個函數(shù)集中的函數(shù)按照所有可能的2h種形式分為兩種形式分為兩類，則稱函數(shù)集能夠?qū)颖緮?shù)為類，則稱函數(shù)集能夠?qū)颖緮?shù)為h的樣本集打散；的樣本集打散；nVC維：如果函數(shù)集能夠打散維：如果函數(shù)集能夠打散h個樣本的樣本集，而個樣本的樣本集，而不能打散不能打散h+1個樣本的樣本集，則稱函數(shù)集的個樣本的樣

5、本集，則稱函數(shù)集的VC維維為為h。1.d維空間中線性函數(shù)的維空間中線性函數(shù)的VC維：維：h = d+1；2.正弦函數(shù)集合正弦函數(shù)集合sin(wx)的的VC維：維：h = 。推廣性的界推廣性的界n函數(shù)集合的函數(shù)集合的VC維描述了函數(shù)的復(fù)雜程度，利用維描述了函數(shù)的復(fù)雜程度，利用VC維可以確定推廣性的界，下列不等式右半部維可以確定推廣性的界，下列不等式右半部分至少以概率分至少以概率1-成立：成立：其中其中h為函數(shù)集合的為函數(shù)集合的VC維，維，n為訓(xùn)練樣本數(shù)。為訓(xùn)練樣本數(shù)。n當(dāng)當(dāng)n/h較小時，置信范圍較大；較小時，置信范圍較大；n/h較大時，置信較大時，置信范圍較?。悍秶^?。簂n 21ln4empe

6、mphn hRRRnwwwempempnRRRhwww7.3 提高推廣能力的方法提高推廣能力的方法n提高推廣能力的本質(zhì)方法是由原來只優(yōu)化經(jīng)驗風(fēng)險提高推廣能力的本質(zhì)方法是由原來只優(yōu)化經(jīng)驗風(fēng)險 變?yōu)閮?yōu)化期望風(fēng)險的上界變?yōu)閮?yōu)化期望風(fēng)險的上界 ： empRn hw empRw過學(xué)習(xí)欠學(xué)習(xí)empRw empnRhw結(jié)構(gòu)風(fēng)險最小化原則結(jié)構(gòu)風(fēng)險最小化原則（SRM，Structural Risk Minimization）n首先把函數(shù)集首先把函數(shù)集 分解為一個函分解為一個函數(shù)子集序列：數(shù)子集序列： 各個子集按照各個子集按照VC維的大小排序：維的大小排序：在子集序列中尋找經(jīng)驗風(fēng)險與置信范圍之和最在子集序列中尋找

7、經(jīng)驗風(fēng)險與置信范圍之和最小的子集，這個子集中使經(jīng)驗風(fēng)險最小的函數(shù)小的子集，這個子集中使經(jīng)驗風(fēng)險最小的函數(shù)就是所求的最優(yōu)函數(shù)。就是所求的最優(yōu)函數(shù)。,Sfx ww12kSSSS12khhhSRM在線性分類器上的應(yīng)用（在線性分類器上的應(yīng)用（SVM）nd維空間中的線性函數(shù)的維空間中的線性函數(shù)的VC維為維為d+1，但當(dāng)限制判別界，但當(dāng)限制判別界面的分類間隔時，其面的分類間隔時，其VC有可能更小。有可能更小。n定理定理：在：在d維空間中，設(shè)所有維空間中，設(shè)所有n個樣本都在一個超球范圍個樣本都在一個超球范圍之內(nèi)，超球的半徑為之內(nèi)，超球的半徑為R，那么，那么- -間隔分類超平面間隔分類超平面集合集合的的VC維

8、維h h滿足如下不等式：滿足如下不等式：n而間隔而間隔 ，因此根據(jù)，因此根據(jù)SRM的原則，只需在保證的原則，只需在保證經(jīng)驗風(fēng)險為經(jīng)驗風(fēng)險為0的條件下（超平面能夠正確分類全部訓(xùn)練的條件下（超平面能夠正確分類全部訓(xùn)練樣本），最小化權(quán)值矢量的長度樣本），最小化權(quán)值矢量的長度 。22min,1Rhd1 ww驗證技術(shù)（驗證技術(shù)（Validation）n當(dāng)無法計算函數(shù)集的當(dāng)無法計算函數(shù)集的VC維時，可以采用驗證技術(shù)。將樣本集維時，可以采用驗證技術(shù)。將樣本集分為訓(xùn)練集和驗證集，用訓(xùn)練集的樣本訓(xùn)練網(wǎng)絡(luò)，用驗證集分為訓(xùn)練集和驗證集，用訓(xùn)練集的樣本訓(xùn)練網(wǎng)絡(luò)，用驗證集的樣本測試網(wǎng)絡(luò)，尋找一個驗證集風(fēng)險最小的模型和參數(shù)。的樣本測試網(wǎng)絡(luò)，尋找一個驗證集風(fēng)險最小的模型和參數(shù)。權(quán)值衰減權(quán)值衰減n實驗表明，多層感知器網(wǎng)絡(luò)中比較小的權(quán)值往實驗