概率密函數(shù)的估計(jì)非參數(shù)估計(jì)PPT課件

1、總體分布的非參數(shù)估計(jì) 前面的方法 密度函數(shù)的形式已知 存在問(wèn)題 密度函數(shù)的形式常常未知 一些函數(shù)形式很難擬合實(shí)際的概率密度 經(jīng)典的密度函數(shù)都是單峰的，而在許多實(shí)際情況中卻是多峰的因此用非參數(shù)估計(jì)第1頁(yè)/共31頁(yè)總體分布的非參數(shù)估計(jì) 非參數(shù)估計(jì) 處理問(wèn)題 直接用已知類(lèi)別樣本去估計(jì)總體密度分布p(x|i) 需要計(jì)算p(x|i)的每個(gè)點(diǎn)的值 方法 用樣本直接去估計(jì)類(lèi)概率密度p(x|i)以此來(lái)設(shè)計(jì)分類(lèi)器,如窗口估計(jì) 用學(xué)習(xí)樣本直接估計(jì)后驗(yàn)概率p(i|x)作為分類(lèi)準(zhǔn)則來(lái)設(shè)計(jì)分類(lèi)器如k近鄰法.本章只考慮第一種方法第2頁(yè)/共31頁(yè)總體分布的非參數(shù)估計(jì) 概率密度函數(shù)估計(jì)的基本思想一個(gè)隨機(jī)變量x落在區(qū)域R的概率

2、為Pp(x)是要求的x的概率密度概率P是p(x)在區(qū)域R上平滑或平均后得到的概率我們可以通過(guò)估計(jì)P來(lái)估計(jì)p(x)的平滑值 PRRxPdxxpPRr)(第3頁(yè)/共31頁(yè)總體分布的非參數(shù)估計(jì) 估計(jì)概率P 假設(shè)有N個(gè)樣本X=(x1,x2,xN)T都是獨(dú)立同分布的，概率密度函數(shù)是p(x)。 N個(gè)樣本中有k個(gè)落入在R內(nèi)的概率符合二項(xiàng)分布，即: 其中P是樣本x落入R內(nèi)的概率 Pk是k個(gè)樣本落入R內(nèi)的概率PpCPkNkkNk1第4頁(yè)/共31頁(yè)總體分布的非參數(shù)估計(jì) 估計(jì)概率P 則隨機(jī)變量k的數(shù)學(xué)期望:E(k)=NPk可以直接從訓(xùn)練樣本估計(jì)得到 根據(jù)N個(gè)訓(xùn)練樣本中落入?yún)^(qū)域R的樣本數(shù)k,可得到概率P的一種估計(jì)，為

3、:NkP 第5頁(yè)/共31頁(yè)總體分布的非參數(shù)估計(jì) 估計(jì)概率p(x)設(shè)p(x)在R內(nèi)連續(xù)變化當(dāng)R逐漸減小的時(shí)候,小到使p(x)在其上幾乎沒(méi)有變化時(shí)，則:RVxpdxxpP)()(包圍的體積是RRdxVRVxpdxxpP)( )( Nk第6頁(yè)/共31頁(yè)總體分布的非參數(shù)估計(jì)估計(jì)概率p(x) 密度p(x)的估計(jì):上式就是對(duì)x點(diǎn)概率密度p(x)的估計(jì)值VNkxp)(V足夠小)第7頁(yè)/共31頁(yè)真實(shí)概率是 0.7橫坐標(biāo)是k/N縱坐標(biāo)是概率分布第8頁(yè)/共31頁(yè)總體分布的非參數(shù)估計(jì)p(x)估計(jì)值的收斂性討論 當(dāng)V固定的時(shí)候N增加, k也增加, 當(dāng) 時(shí)， 則k/N在概率上收斂 但我們只能得到p(x)的空間平均估計(jì)，

4、即NkRRdxdxxpVP)( 而不是p(x)。必須讓體積V趨于零。第9頁(yè)/共31頁(yè)總體分布的非參數(shù)估計(jì)p(x)估計(jì)值的收斂性討論N固定,體積V變小當(dāng) 時(shí),如果k=0當(dāng) 時(shí),如果k00V0)(VNkxpVNkxp)( 0V所以如果樣本有限，則估計(jì)值一定有方差。第10頁(yè)/共31頁(yè)總體分布的非參數(shù)估計(jì) p(x)估計(jì)值的收斂性討論 考慮無(wú)限多樣本情況構(gòu)造一串包括x的區(qū)域序列R1,R2,RN.對(duì)R1采用1個(gè)樣本進(jìn)行估計(jì)，對(duì)R2采用2個(gè)樣本進(jìn)行估計(jì)，VN是RN的體積，KN是N個(gè)樣本落入VN的樣本數(shù)則NNNVNkxp/)(密度的第N次估計(jì)：第11頁(yè)/共31頁(yè)總體分布的非參數(shù)估計(jì) p(x)估計(jì)值的收斂性討論

5、 若pN(x)收斂于p(x)應(yīng)滿足三個(gè)條件：0limVNNkNNlim0limNkNN第12頁(yè)/共31頁(yè)總體分布的非參數(shù)估計(jì) 兩種非參數(shù)估計(jì)方法 Parzen窗口估計(jì) 使得序列VN以N的某個(gè)函數(shù)的關(guān)系不斷縮小 并對(duì)隨機(jī)變量kN和kN/N加上必要的限制條件，確保估計(jì)值的收斂 例如: kN近鄰估計(jì) 讓kN為N的某個(gè)函數(shù)，而VN的選取是使相應(yīng)的RN正好包含x的kN個(gè)鄰域 例如:NVN/1NkN第13頁(yè)/共31頁(yè)P(yáng)arzen窗口估計(jì)使得序列VN以N的某個(gè)函數(shù)的關(guān)系不斷縮小并對(duì)隨機(jī)變量kN和kN / N加上必要的限制條件，確保估計(jì)值的收斂KN近鄰估計(jì)讓kN為N的某個(gè)函數(shù)，而VN的選取是使相應(yīng)的RN正好包

6、含x的kN個(gè)鄰域第14頁(yè)/共31頁(yè)P(yáng)arzen窗口估計(jì)假設(shè)RN為一個(gè)d維的超立方體，hN為超立方體的長(zhǎng)度超立方體體積為： 定義窗函數(shù)NNNVNkxp/)(其他. 021| , 1)(uuhVdNN第15頁(yè)/共31頁(yè)P(yáng)arzen窗口估計(jì)落入超立方體的樣本數(shù)為:代入，得Parzen窗法的基本估計(jì)公式NiNiNNNNhxxVNVNKxp1)|(11)(NiNiNhxxk1)|(第16頁(yè)/共31頁(yè)P(yáng)arzen窗口估計(jì) 保證估計(jì)量pN(x)為密度函數(shù)而對(duì)窗口函數(shù)的限制1)()2(duu0)() 1 (u第17頁(yè)/共31頁(yè)P(yáng)arzen窗口估計(jì) 窗函數(shù) d=1，窗口為一線段d=2，窗口為一平面 d=3，窗口

7、為一立方體 d3，窗口為一超立方體 窗函數(shù)選擇第18頁(yè)/共31頁(yè)P(yáng)arzen窗口估計(jì) 窗函數(shù)寬度對(duì)幅度的影響窗函數(shù)越寬，幅度越小二維正態(tài)對(duì)稱Parzen窗口第19頁(yè)/共31頁(yè)P(yáng)arzen窗口估計(jì) 窗函數(shù)寬度對(duì)估計(jì)結(jié)果的影響二維正態(tài)對(duì)稱Parzen窗口訓(xùn)練樣本數(shù)為5第20頁(yè)/共31頁(yè)窗函數(shù)寬度對(duì)分類(lèi)器邊界的影響窗函數(shù)寬度較窄，決策邊界復(fù)雜窗函數(shù)寬度較寬，決策邊界平滑第21頁(yè)/共31頁(yè)P(yáng)arzen窗口估計(jì) 估計(jì)量pN(x)的性質(zhì) 希望達(dá)到0)(lim)2(2xpNNN)()(lim) 1 (xpxpNN第22頁(yè)/共31頁(yè)P(yáng)arzen窗口估計(jì) 估計(jì)量pN(x)的性質(zhì) 限制條件(1)pN(x)在x點(diǎn)連續(xù)(2)窗函數(shù)滿足(3)窗寬受下列條件約束0limNNV)(supuuNNNVlim1)(duu0)(u第23頁(yè)/共31頁(yè)P(yáng)arzen窗口估計(jì)第24頁(yè)/共31頁(yè)第25頁(yè)/共31頁(yè)第26頁(yè)/共31頁(yè)kN近鄰估計(jì) 窗函數(shù)法問(wèn)題(對(duì)hN的選擇問(wèn)題) 若hN選太小，則大部分體積將是空的（即不包含樣本），從而使PN(x)估計(jì)不穩(wěn)定。 若hN選太大，則PN(x)估計(jì)較平坦，反映不出總體分布的變化 kN近鄰法的思