第十章非參數(shù)密度估計(jì)和回歸

章非參數(shù)密度估計(jì)和非參數(shù)回歸簡介10.1非參數(shù)密度估計(jì)10.1.1一元密度估計(jì)10.1.2多元密度估計(jì)10.2非參數(shù)回歸2021/5/9110.1非參數(shù)密度估計(jì)例10.1在美國黃石國家公園有一個(gè)間歇式的溫泉,它的噴發(fā)間隔很有規(guī)律,大約66分鐘噴發(fā)一次,實(shí)際上從33分鐘到148分鐘之間變化,水柱高度可達(dá)150英尺,由于其噴發(fā)保持較明顯的規(guī)律性,人們稱之為老忠實(shí).問題:人們想知道間隔時(shí)間的密度函數(shù).2021/5/922021/5/932021/5/94一元密度估計(jì)直方圖記錄了每個(gè)區(qū)間中點(diǎn)的個(gè)數(shù)或頻率,但很難給出較為準(zhǔn)確的密度估計(jì).核密度估計(jì):原理和直方圖類似,計(jì)算某一點(diǎn)周圍點(diǎn)的個(gè)數(shù).若數(shù)據(jù)為,在任意一點(diǎn)x處的一種核密度估計(jì)為其中K(.)稱為核函數(shù),滿足對(duì)稱性及h稱為帶寬,一般,h越大,估計(jì)的密度函數(shù)就越光滑,但偏差可能較大,選擇的原則是使得均方誤差最小為宜.(交叉驗(yàn)證法,直接插入法)注:該估計(jì)利用數(shù)據(jù)點(diǎn)xi

到x的距離來決定xi

在估計(jì)點(diǎn)x的密度時(shí)所起的作用2021/5/952021/5/96局部多項(xiàng)式密度估計(jì):目前最流行,效果很好的密度估計(jì)方法.對(duì)每一個(gè)點(diǎn)x擬合一個(gè)局部多項(xiàng)式來估計(jì)該點(diǎn)的密度.k近鄰估計(jì):無論歐氏距離多少,只要是x點(diǎn)的最近的k個(gè)點(diǎn)就可參與加權(quán).一種具體的k近鄰密度估計(jì):令表示按升冪排列的x到所有n個(gè)樣本點(diǎn)的歐氏距離.K的取值決定了估計(jì)密度曲線的光滑程度,k越大越光滑.與核估計(jì)結(jié)合起來定義廣義的k近鄰估計(jì):2021/5/97多元密度估計(jì)

對(duì)于二元數(shù)據(jù),可以畫二維直方圖.

假定x為d-維向量,則多元密度估計(jì)可以為其中2021/5/9810.2非參數(shù)回歸

回歸是指給了一組數(shù)據(jù)之后,希望找到一個(gè)X變量和Y變量的一個(gè)關(guān)系:主要目的是對(duì)m(x)進(jìn)行估計(jì).例10.2研究摩托車碰撞,變量times(X)為在模擬的和摩托車相撞之后的時(shí)間,變量accel(Y)是頭部的加速度.問題:X和Y之間有何種函數(shù)關(guān)系?2021/5/99

回歸實(shí)際上就是把原始數(shù)據(jù)點(diǎn)光滑化,線性回歸是最光滑的,此外還可以用多項(xiàng)式或其它函數(shù)來擬合.

在非參數(shù)回歸中,主要考慮的是局部加權(quán)回歸方法,有核光滑,局部多項(xiàng)式回歸,k-近鄰光滑,樣條光滑等2021/5/910滑動(dòng)平均:最初等的平滑是三點(diǎn)滑動(dòng)平均,把每一點(diǎn)的Y值用該點(diǎn)的和鄰近兩點(diǎn)的平均代替.平均的點(diǎn)數(shù)越多,就越光滑.核回歸光滑:基本思路和三點(diǎn)平均是類似的,只不過作平均時(shí)是按照核函數(shù)進(jìn)行加權(quán)平均.Nadaraya-Watson形式的核估計(jì)2021/5/911Gausser—Muller核估計(jì):其中2021/5/912k-近鄰光滑:令Jx表示和x最近的k個(gè)點(diǎn)的集合,此時(shí)其中局部多項(xiàng)式回歸:假定在局部上,回歸函數(shù)m(.)在x的鄰域點(diǎn)z可以由Taylor展開來近似:2021/5/913需要估計(jì)出,再加權(quán),這歸結(jié)為所謂的局部的加權(quán)多項(xiàng)式回歸,它要選擇,使得下式最小記這樣的對(duì)的估計(jì)為,由此得到的估計(jì)也就是說在每一點(diǎn)x的附近運(yùn)用估計(jì):當(dāng)p=1時(shí)稱為局部線性估計(jì).局部多項(xiàng)式估計(jì)有很多優(yōu)點(diǎn):兼?zhèn)溆蠳adaraya—Watson估計(jì)和Gausser---Muller估計(jì)二者的優(yōu)點(diǎn),而且在邊沿附近的性質(zhì)又優(yōu)于這二者.2021/5/914Loess局部加權(quán)多項(xiàng)式回歸最初由Cleveland提出,后又被Cleveland&Devlin及其他許多人發(fā)展.Loess方法和Lowess方法相近.

其主要思想為:在數(shù)據(jù)集合的每一點(diǎn)用低維多項(xiàng)式擬合數(shù)據(jù)點(diǎn)的一個(gè)子集,并估計(jì)該點(diǎn)附近自變量數(shù)據(jù)點(diǎn)所對(duì)應(yīng)的因變量值,該多項(xiàng)式是用加權(quán)最小二乘法來擬合;離該點(diǎn)越遠(yuǎn),權(quán)重越小,該點(diǎn)的回歸函數(shù)值就是這個(gè)局部多項(xiàng)式來得到,而用于加權(quán)最小二乘回歸的數(shù)據(jù)子集是由最近鄰方法確定.

最大優(yōu)點(diǎn):不需要事先設(shè)定一個(gè)函數(shù)來對(duì)所有數(shù)據(jù)擬合一個(gè)模型.Loess很靈活,適用于很復(fù)雜的沒有理論模型存在的情況.

數(shù)據(jù)越密集,Loess的結(jié)果越好.2021/5/915光滑樣條:原理是調(diào)和擬合度和光滑程度.

選擇的近似函數(shù)f(.)要使下式盡可能地小:

當(dāng)(>0)大時(shí),二階導(dǎo)數(shù)要很小才行,這樣就使得擬合很光滑,但第一項(xiàng)代表的偏差就可能很大.Friedman超光滑法:這種方法會(huì)使得帶寬隨著x變化.

對(duì)每個(gè)點(diǎn)有三個(gè)帶寬來自動(dòng)選取,,這依據(jù)該點(diǎn)每邊的鄰域中的點(diǎn)數(shù)而定,不用迭代,該方法是源于斯坦福大學(xué)的Friedman用Fortran程序來實(shí)現(xiàn).2021/5/9162021/5/9172021/5/9182021/5/9192021/5/9202021/5/9212021/5/9222021/5/9232021/5/9242021/5/9252021/5/9262021/5/9272021/5/9282021/5/9292021/5/9302021/5/9312021/