模式識別-第4講-概率密度函數(shù)的估計

模式識別授課教師：薛耀紅xueyh@第四講概率密度函數(shù)的估計本節(jié)課主要內(nèi)容參數(shù)估計的基本概念最大似然估計貝葉斯估計和貝葉斯學習正態(tài)分布的監(jiān)督參數(shù)估計最大似然估計貝葉斯估計和貝葉斯學習示例引言設計貝葉斯分類器的方法：即已知先驗概率P(i)和類條件概率密度p(x|i)的情況下，按一定的決策規(guī)則確定判別函數(shù)和決策面。引言基于樣本的Bayes分類器：通過估計類條件概率密度函數(shù)，設計相應的判別函數(shù)MAXg1...g2gc...x1x2xna(x)訓練樣本集樣本分布的

統(tǒng)計特征：

概率密度函數(shù)決策規(guī)則：

判別函數(shù)

決策面方程分類器

功能結(jié)構(gòu)如類先驗概率P(i)和條件概率密度p(x/i)未知，如何去估計它們？即給定一定數(shù)量的樣本，去實現(xiàn)這些函數(shù)的估計。1.2.基于樣本的Bayes決策過程是什么？概率密度函數(shù)估計Bayes決策規(guī)則基于樣本的兩步Bayes決策主要思想如何利用樣本集估計P(i)和p(x|i)？估計量的性質(zhì)如何？如何利用樣本集估計錯誤率的方法利用樣本集進行參數(shù)估計類型：監(jiān)督參數(shù)估計非監(jiān)督參數(shù)估計非參數(shù)估計參數(shù)估計監(jiān)督參數(shù)估計：已知樣本的類條件概率密度p(x/i)的形式和樣本所屬的類別i，去推斷概率密度函數(shù)中的某些未知的參數(shù)（均值、方差）。非監(jiān)督參數(shù)估計：已知樣本的類條件概率密度p(x/i)的形式而樣本所屬的類別i未知，去推斷概率密度函數(shù)中的某些未知的參數(shù)。非參數(shù)估計：已知樣本所屬的類別i

，而樣本的類條件概率密度p(x/i)的形式未知.去推斷概率密度函數(shù)。對于參數(shù)估計，存在兩種方法實現(xiàn)：最大似然估計(Maximumlikelihoodestimation)Bayes估計對非參數(shù)估計，存在兩種方法：Parzen窗kN近鄰法最大似然估計和Bayes估計區(qū)別兩種方法估計的參數(shù)的結(jié)果接近，但過程有區(qū)別：前者將未知參數(shù)看成是確定變量，在實際觀察樣本的概率為最大的條件下，獲得未知參數(shù)的最好的估計；后者將未知參數(shù)看成是按某種分布得隨機變量，樣本的觀察結(jié)果由先驗分布轉(zhuǎn)化為后驗分布，再由后驗分布修正參數(shù)的估計值。

參數(shù)估計統(tǒng)計量：針對不同要求構(gòu)造出樣本集合H的某種函數(shù)

為參數(shù)的估計值。參數(shù)空間：總體分布的未知參數(shù)θ所有可能取值組成的集合(Θ)。點估計的估計量和估計值：點估計就是構(gòu)造一個統(tǒng)計量作為參數(shù)θ的估計。稱為的估計量。估計量的評價標準估計量的評價標準：無偏性，有效性，一致性無偏性：;有效性：

小，更有效;一致性：樣本數(shù)N趨于無窮時，依概率趨于01.最大似然估計(MaximumLikelihood,ML)

前提假設：待估計的參數(shù)θ是確定而未知的量；樣本集可按類別分開，不同類別的密度函數(shù)的參數(shù)分別用各類的樣本集來訓練（K1，K2，…,KC）。概率密度函數(shù)的形式已知(p(x|ωi))，參數(shù)未知，為了描述概率密度函數(shù)p(x|ωi)與參數(shù)θ的依賴關(guān)系，用p(x|ωi,θ)表示。樣本集Ki不包含關(guān)于的信息解決的問題（分別處理c個獨立的問題）：獨立地按概率密度p(x|θ)抽取樣本集K={x1,x2,…,xN}，用K估計未知參數(shù)θ。似然函數(shù)已知某一類樣本集包含N個樣本，即似然函數(shù)：若是獨立地抽自密度函數(shù)總體的樣本，那么似然函數(shù)就是對數(shù)(loglarized)似然函數(shù)：最大似然估計P48最大似然估計量：最大似然估計示意圖計算方法最大似然估計量使似然函數(shù)梯度為0：一元正態(tài)分布例解一元正態(tài)分布一元正態(tài)分布均值的估計一元正態(tài)分布方差的估計多元正態(tài)分布參數(shù)最大似然估計多元正態(tài)分布2.Bayes估計和Bayes學習（1）Bayes估計這里我們先回顧一下前面講述的最小風險Bayes決策?！獱顟B(tài)空間——觀察或測量到的d維模式特征向量；——決策空間

——損失函數(shù)，表示真實狀態(tài)為而所采取的決策為時所帶來的某種損失。給定，我們采取決策情況下的條件期望損失：

R表示采取決策k總的平均損失。R稱為Bayes風險，使R最小的決策k稱為Bayes決策。是特征空間中取任意值的隨機變量，條件風險的期望Bayes決策確定x

的真實狀態(tài)i

（模式類）Bayes估計根據(jù)一個樣本集，找出估計量，估計所屬總體分布的某個真實參數(shù)，使帶來的Bayes風險最小A令為代替所造成的損失，對于一個觀測矢量集合，當用作為的估計時，在觀測條件下的條件期望損失為考慮到的各種取值，我們應求在狀態(tài)空間中的期望，。Bayes估計的基本思想：所求得的的估計值應使估計損失的期望最小，這種使或等價地使取最小值的的估計值稱為的Bayes估計。對于不同的，可得到不同的最佳Bayes估計。這里假定損失函數(shù)為平方誤差，即結(jié)論:的貝葉斯估計量是在給定H時的條件期望。由于是關(guān)于的二次函數(shù)，確使或最小。上式表明，的Bayes估計是在觀測條件下的的條件期望。對平方誤差損失函數(shù)情況求解Bayes估計量的步驟如下：（1）確定的先驗分布；（2）由樣本集求出樣本聯(lián)合分布（3）求的后驗分布（4）（2）Bayes學習(直接推斷總體分布密度)Bayes學習與Bayes估計的前提條件是相同的，Bayes學習不是進行概率的參數(shù)估計，而是進行總體概率的推斷以獲得，因此，它們具有某些相同的計算內(nèi)容，也有不同的計算目標。它們的前三步都是相同的，只是最后一步有所不同，Bayes學習最后一步為在已知的條件下,

H

對已不具有什么信息下面我們看一下最大似然估計與Bayes解的關(guān)系。最大似然估計近似等于Bayes解（條件是在有尖銳的凸峰）單變量正態(tài)分布函數(shù)的定義及性質(zhì)單變量正態(tài)分布概函數(shù)，有兩個參數(shù)和完全決定，常簡記為。期望方差正態(tài)分布的監(jiān)督參數(shù)估計示例（1）Bayes估計示例Bayes估計是把參數(shù)看成為隨機的未知參數(shù)，一般具有先驗分布。樣本通過似然函數(shù)并利用Bayes公式將的先驗分布轉(zhuǎn)化為后驗分布?，F(xiàn)以單變量正態(tài)分布為例，并假定總體方差已知，估計的參數(shù)為均值。總體分布密度和參數(shù)的先驗分布

…形式已知

………………先驗分布已知對平方誤差損失函數(shù)情況求解Bayes估計量的步驟如下：（1）確定的先驗分布；（2）由樣本集求出樣本聯(lián)合分布（3）求的后驗分布（4）現(xiàn)（1）（2）已完成，下面主要進行（3）（4），這里。（2）Bayes學習示例Bayes學習是是利用的先驗分布及樣本提供的信息求出的后驗分布，然后直接求總體分布本次課結(jié)束！謝謝大家！3.2.2貝葉斯估計-最大后驗概率用一組樣本集K={x1,x2,…,xN}估計未知參數(shù)θ未知參數(shù)θ視為隨機變量，先驗分布為p(θ)，而在已知樣本集K出現(xiàn)的條件下的后驗概率為：p(θ|K)最大后驗概率估計-Maximumaposteriori(MAP)貝葉斯估計-最小風險參數(shù)估計的條件風險：給定x條件下，估計量的期望損失:參數(shù)估計的風險：估計量的條件風險的期望貝葉斯估計：使風險最小的估計貝葉斯估計損失函數(shù)：誤差平方定理3.1:如果定義損失函數(shù)為誤差平方函數(shù)，則有：貝葉斯估計的步驟確定θ的先驗分布

p(θ)由樣本集K={x1,x2,…,xN}求出樣本聯(lián)合分布：p(K|θ)計算θ的后驗分布:4.

計算貝葉斯估計:一元正態(tài)分布例解總體分布密度為：均值μ未知，μ的先驗分布為：用貝葉斯估計方法求μ的估計量樣本集：K={x1,x2,…,xN}一元正態(tài)分布例解計算μ的后驗分布：計算μ的貝

葉斯估計：貝葉斯學習貝葉斯學習：利用θ的先驗分布

p(θ)及樣本提供的信息求出θ的后驗分布p(θ|K)，然后直接求總體分布一元正態(tài)分布例解總體分布密度為：均值μ未知，μ的先驗分布為：樣本集：K={x1,x2,…,xN}計算μ的后驗分布：復制密度函數(shù) 比較(1)和(2)得到：討論：1.當樣本數(shù)足夠大時，n樣本均值；n02.先驗知識與經(jīng)驗數(shù)據(jù)對估計值影響。當觀察一個樣本時，N=1就會有一個μ的