統(tǒng)計學(xué)習(xí)理論的本質(zhì)_第1頁
統(tǒng)計學(xué)習(xí)理論的本質(zhì)_第2頁
統(tǒng)計學(xué)習(xí)理論的本質(zhì)_第3頁
統(tǒng)計學(xué)習(xí)理論的本質(zhì)_第4頁
統(tǒng)計學(xué)習(xí)理論的本質(zhì)_第5頁
已閱讀5頁,還剩10頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

1、第七章 統(tǒng)計學(xué)習(xí)理論的本質(zhì)7.1 統(tǒng)計學(xué)習(xí)的本質(zhì)統(tǒng)計學(xué)習(xí)的本質(zhì)n系統(tǒng)系統(tǒng)S為研究對象,通過一系列的觀測樣本來求得為研究對象,通過一系列的觀測樣本來求得學(xué)習(xí)機(jī)學(xué)習(xí)機(jī)LM,使得,使得LM的輸出的輸出 能夠盡量準(zhǔn)確的預(yù)測能夠盡量準(zhǔn)確的預(yù)測S的輸出的輸出y。 (x1,y1),(x2,y2),(xn,yn) y風(fēng)險風(fēng)險n學(xué)習(xí)機(jī)學(xué)習(xí)機(jī)LM的輸出的輸出 與輸入與輸入x之間可以看作是一個函之間可以看作是一個函數(shù)關(guān)系:數(shù)關(guān)系:n一般需要將函數(shù)一般需要將函數(shù) 限定在特定的一組函數(shù)限定在特定的一組函數(shù) 中求取。中求取。n定義風(fēng)險:定義風(fēng)險:均方誤差:均方誤差:似然函數(shù):似然函數(shù): y yfx f x,f x w,L

2、 y f x w2,L y fyfx wx w,ln,L pp x wx w期望風(fēng)險期望風(fēng)險ny與與x之間存在一定的依賴關(guān)系,可以用一個未之間存在一定的依賴關(guān)系,可以用一個未知的聯(lián)合概率知的聯(lián)合概率F(x,y)描述。描述。n期望風(fēng)險定義為:期望風(fēng)險定義為:n統(tǒng)計學(xué)習(xí)的目的就是要尋找到一個最優(yōu)的函數(shù)統(tǒng)計學(xué)習(xí)的目的就是要尋找到一個最優(yōu)的函數(shù)f(x,w*),使得,使得R(w*)最小。最小。 ,RL y fdFywx wx經(jīng)驗風(fēng)險經(jīng)驗風(fēng)險n期望風(fēng)險一般來說無法計算,在工程上轉(zhuǎn)而計期望風(fēng)險一般來說無法計算,在工程上轉(zhuǎn)而計算經(jīng)驗風(fēng)險:算經(jīng)驗風(fēng)險:n求取最優(yōu)參數(shù)求取最優(yōu)參數(shù)w*,使得經(jīng)驗風(fēng)險,使得經(jīng)驗風(fēng)險R

3、emp(w*)最小。最小。n當(dāng)學(xué)習(xí)過程具有一致性時,統(tǒng)計學(xué)有如下關(guān)系:當(dāng)學(xué)習(xí)過程具有一致性時,統(tǒng)計學(xué)有如下關(guān)系: 11,nempiiiRL yfnwx w limsup0,0empnPRR www期望風(fēng)險與經(jīng)驗風(fēng)險的關(guān)系期望風(fēng)險與經(jīng)驗風(fēng)險的關(guān)系 empRRww7.2 函數(shù)集的函數(shù)集的VC維與推廣性的界維與推廣性的界n統(tǒng)計學(xué)習(xí)的推廣能力不僅同訓(xùn)練樣本數(shù)統(tǒng)計學(xué)習(xí)的推廣能力不僅同訓(xùn)練樣本數(shù)n有關(guān)系,有關(guān)系,而且同學(xué)習(xí)機(jī)的函數(shù)集選擇有關(guān)系,而且同學(xué)習(xí)機(jī)的函數(shù)集選擇有關(guān)系,“簡單簡單”的的函數(shù)集合推廣能力強(qiáng),函數(shù)集合推廣能力強(qiáng),“復(fù)雜復(fù)雜”的函數(shù)集合推廣的函數(shù)集合推廣能力差。能力差。n當(dāng)函數(shù)集過于當(dāng)函數(shù)

4、集過于“復(fù)雜復(fù)雜”時,很容易產(chǎn)生時,很容易產(chǎn)生“過學(xué)習(xí)過學(xué)習(xí)”現(xiàn)象:對于訓(xùn)練樣本風(fēng)險很小,而對非訓(xùn)練樣本現(xiàn)象:對于訓(xùn)練樣本風(fēng)險很小,而對非訓(xùn)練樣本風(fēng)險卻很大。風(fēng)險卻很大。過學(xué)習(xí)過學(xué)習(xí)VC維維n打散:如果存在一個有打散:如果存在一個有h個樣本的樣本集能夠被一個樣本的樣本集能夠被一個函數(shù)集中的函數(shù)按照所有可能的個函數(shù)集中的函數(shù)按照所有可能的2h種形式分為兩種形式分為兩類,則稱函數(shù)集能夠?qū)颖緮?shù)為類,則稱函數(shù)集能夠?qū)颖緮?shù)為h的樣本集打散;的樣本集打散;nVC維:如果函數(shù)集能夠打散維:如果函數(shù)集能夠打散h個樣本的樣本集,而個樣本的樣本集,而不能打散不能打散h+1個樣本的樣本集,則稱函數(shù)集的個樣本的樣

5、本集,則稱函數(shù)集的VC維維為為h。1.d維空間中線性函數(shù)的維空間中線性函數(shù)的VC維:維:h = d+1;2.正弦函數(shù)集合正弦函數(shù)集合sin(wx)的的VC維:維:h = 。推廣性的界推廣性的界n函數(shù)集合的函數(shù)集合的VC維描述了函數(shù)的復(fù)雜程度,利用維描述了函數(shù)的復(fù)雜程度,利用VC維可以確定推廣性的界,下列不等式右半部維可以確定推廣性的界,下列不等式右半部分至少以概率分至少以概率1-成立:成立:其中其中h為函數(shù)集合的為函數(shù)集合的VC維,維,n為訓(xùn)練樣本數(shù)。為訓(xùn)練樣本數(shù)。n當(dāng)當(dāng)n/h較小時,置信范圍較大;較小時,置信范圍較大;n/h較大時,置信較大時,置信范圍較?。悍秶^?。簂n 21ln4empe

6、mphn hRRRnwwwempempnRRRhwww7.3 提高推廣能力的方法提高推廣能力的方法n提高推廣能力的本質(zhì)方法是由原來只優(yōu)化經(jīng)驗風(fēng)險提高推廣能力的本質(zhì)方法是由原來只優(yōu)化經(jīng)驗風(fēng)險 變?yōu)閮?yōu)化期望風(fēng)險的上界變?yōu)閮?yōu)化期望風(fēng)險的上界 : empRn hw empRw過學(xué)習(xí)欠學(xué)習(xí)empRw empnRhw結(jié)構(gòu)風(fēng)險最小化原則結(jié)構(gòu)風(fēng)險最小化原則(SRM,Structural Risk Minimization)n首先把函數(shù)集首先把函數(shù)集 分解為一個函分解為一個函數(shù)子集序列:數(shù)子集序列: 各個子集按照各個子集按照VC維的大小排序:維的大小排序:在子集序列中尋找經(jīng)驗風(fēng)險與置信范圍之和最在子集序列中尋找

7、經(jīng)驗風(fēng)險與置信范圍之和最小的子集,這個子集中使經(jīng)驗風(fēng)險最小的函數(shù)小的子集,這個子集中使經(jīng)驗風(fēng)險最小的函數(shù)就是所求的最優(yōu)函數(shù)。就是所求的最優(yōu)函數(shù)。,Sfx ww12kSSSS12khhhSRM在線性分類器上的應(yīng)用(在線性分類器上的應(yīng)用(SVM)nd維空間中的線性函數(shù)的維空間中的線性函數(shù)的VC維為維為d+1,但當(dāng)限制判別界,但當(dāng)限制判別界面的分類間隔時,其面的分類間隔時,其VC有可能更小。有可能更小。n定理定理:在:在d維空間中,設(shè)所有維空間中,設(shè)所有n個樣本都在一個超球范圍個樣本都在一個超球范圍之內(nèi),超球的半徑為之內(nèi),超球的半徑為R,那么,那么- -間隔分類超平面間隔分類超平面集合集合的的VC維

8、維h h滿足如下不等式:滿足如下不等式:n而間隔而間隔 ,因此根據(jù),因此根據(jù)SRM的原則,只需在保證的原則,只需在保證經(jīng)驗風(fēng)險為經(jīng)驗風(fēng)險為0的條件下(超平面能夠正確分類全部訓(xùn)練的條件下(超平面能夠正確分類全部訓(xùn)練樣本),最小化權(quán)值矢量的長度樣本),最小化權(quán)值矢量的長度 。22min,1Rhd1 ww驗證技術(shù)(驗證技術(shù)(Validation)n當(dāng)無法計算函數(shù)集的當(dāng)無法計算函數(shù)集的VC維時,可以采用驗證技術(shù)。將樣本集維時,可以采用驗證技術(shù)。將樣本集分為訓(xùn)練集和驗證集,用訓(xùn)練集的樣本訓(xùn)練網(wǎng)絡(luò),用驗證集分為訓(xùn)練集和驗證集,用訓(xùn)練集的樣本訓(xùn)練網(wǎng)絡(luò),用驗證集的樣本測試網(wǎng)絡(luò),尋找一個驗證集風(fēng)險最小的模型和參數(shù)。的樣本測試網(wǎng)絡(luò),尋找一個驗證集風(fēng)險最小的模型和參數(shù)。權(quán)值衰減權(quán)值衰減n實驗表明,多層感知器網(wǎng)絡(luò)中比較小的權(quán)值往實驗

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論