模式識(shí)別參數(shù)估計(jì)統(tǒng)計(jì)決策法

模式識(shí)別

PatternClassification

第四章:參數(shù)估計(jì)統(tǒng)計(jì)決策法參數(shù)估計(jì)原理對于絕大多數(shù)的識(shí)別問題，類概率密度函數(shù)已知的條件并不成立，而通常只知類概率密度的函數(shù)形式，其參數(shù)未知。參數(shù)估計(jì)法即是利用學(xué)習(xí)樣本來估計(jì)類概率密度參數(shù)的方法。3參數(shù)估計(jì)參數(shù)估計(jì)法最大似然估計(jì)法Bayes估計(jì)法兩種方法原理不同，但結(jié)果是一致的！4參數(shù)估計(jì)原理

最大似然估計(jì)法：將待估參數(shù)視為確定的未知量進(jìn)行估計(jì)Bayes估計(jì)法：將待估參數(shù)視為隨機(jī)變量進(jìn)行估計(jì)5最大似然估計(jì)法（ML）已知條件擁有一批已知類別的學(xué)習(xí)樣本，并知第j類的類概率密度的函數(shù)形式，參數(shù)未知。問題由學(xué)習(xí)樣本估計(jì)最佳參數(shù)。6最大似然估計(jì)法解決方案7最大似然估計(jì)法解決方案8最大似然估計(jì)法設(shè)有6個(gè)學(xué)習(xí)樣本如下圖所示，樣本分布滿足正態(tài)分布，且方差已知，現(xiàn)需估計(jì)最佳的均值μ可以看出，μ取A和B對似然函數(shù)的影響由于μ取B是似然函數(shù)更大，參數(shù)B優(yōu)于AP(x/μ

)

x

ABμ=Bμ=A9最大似然估計(jì)法P(x/θ)10最大似然估計(jì)計(jì)法設(shè)有6個(gè)學(xué)習(xí)樣本如如下圖所示，，樣本分布滿滿足正態(tài)分布布，且均值已已知，現(xiàn)需估估計(jì)最佳的方方差σ可以看出，σ的變化對似然然函數(shù)的的影響P(x/σ)

x

σ1σ2參數(shù)σ1優(yōu)于σ211最大似然估計(jì)計(jì)法如何尋求最優(yōu)優(yōu)參數(shù)？12解決方案用求極值的方方法求最佳θ值為計(jì)算方便，，對似然函數(shù)數(shù)求自然對數(shù)數(shù):最大似然估計(jì)計(jì)法13最大似然估計(jì)計(jì)法解決方案定義梯度算子子▽為：14最大似然估計(jì)計(jì)法解決方案則令：15最大似然估計(jì)計(jì)法解決方案即：可得到r個(gè)關(guān)于參數(shù)θ的方程組，求求解方程組，，即可求得最最佳估計(jì)值。。16最大似然估計(jì)計(jì)法例一：設(shè)樣本本滿足一維正正態(tài)分布，現(xiàn)現(xiàn)已知n個(gè)學(xué)習(xí)樣本，，試用最大似似然估計(jì)法估估計(jì)其均值μ和方差σ２。解：對于一維正態(tài)態(tài)分布待估參數(shù)為其其中17最大似然估計(jì)計(jì)法可記為:則似然函數(shù)為為：18最大似然估計(jì)計(jì)法令:即:19最大似然估計(jì)計(jì)法得:解得:20最大似然估計(jì)計(jì)法例二：設(shè)樣本本滿足d維正態(tài)分布，，其中協(xié)方差差矩陣Σ已知，且已知知n個(gè)學(xué)習(xí)樣本，，試用最大似似然估計(jì)法估估計(jì)均值向量量μ。21最大似然估計(jì)計(jì)法解：樣本滿足正態(tài)態(tài)分布，則似然函數(shù)22最大似然估計(jì)計(jì)法協(xié)方差矩陣已已知，僅有一一個(gè)待參數(shù)均均值向量，即即θ=μ令得：23最大似然估計(jì)計(jì)法即：可得θ=μ的最佳估計(jì)值值為：即最佳均值向向量是n個(gè)學(xué)習(xí)樣本的的重心（算數(shù)數(shù)平均）。最佳估計(jì)值24最大似然估計(jì)計(jì)法例三:設(shè)為為多維維正態(tài)分布，，現(xiàn)已知n個(gè)學(xué)習(xí)樣本，，試用最大似似然估計(jì)法估估計(jì)和和。。解:與前述方法相相同，即：25最大似然估計(jì)計(jì)法似然函數(shù)令:26最大似然估計(jì)計(jì)法得:27最大似然估計(jì)計(jì)法基于最大似然然估計(jì)法的分分類器設(shè)計(jì)確定樣本類概概率密度函數(shù)數(shù)形式確定待估參數(shù)數(shù)根據(jù)學(xué)習(xí)樣本本，用最大似似然估計(jì)法估估計(jì)概率密度度函數(shù)的參數(shù)數(shù)估計(jì)樣本先驗(yàn)驗(yàn)概率用Bayes方法設(shè)計(jì)分類類器28Bayes估計(jì)原理：將待估參數(shù)視視為具有某種種先驗(yàn)分布的的隨機(jī)變量，，通過學(xué)習(xí)樣樣本的觀察，，將先驗(yàn)分布布轉(zhuǎn)換為后驗(yàn)驗(yàn)概率，并以以此來修正參參數(shù)的估計(jì)值值。29Bayes估計(jì)實(shí)現(xiàn)過程將待估參數(shù)視視為隨機(jī)變量量，并由先驗(yàn)驗(yàn)只是得到粗粗略分布P(θ)θ30Bayes估計(jì)為已知函數(shù)形形式的類概率率密度，待待估，且且知n個(gè)學(xué)習(xí)樣本，，記為，，j為類別。由Bayes公式有：其中為為的后驗(yàn)概概率，表示在在觀察了n個(gè)學(xué)習(xí)樣本后對的的修正正分布。31Bayes估計(jì)則表示在參數(shù)數(shù)為的的條件下下，n個(gè)樣本出出現(xiàn)的概率率。為待估隨機(jī)參參數(shù)的先驗(yàn)概概率分布。與無無關(guān)，可用用系數(shù)代代替即：32Bayes估計(jì)顯然，由于n個(gè)學(xué)習(xí)樣本是是獨(dú)立抽取的的，則可得：觀察了n個(gè)樣本后θ的修正分布33Bayes估計(jì)合理的估計(jì)方方法是：在修修正的分分布中中，使使得取取值值最大的值值即是的最最佳估計(jì)值。。34Bayes估計(jì)P(θ/X(j))θθ0P(θ)θn35Bayes估計(jì)例：已知類概概率密度為一一維正態(tài)分布布，其中方差差已已知，均值值參參數(shù)待估。。試用Bayes估計(jì)法估計(jì)均均值36Bayes估計(jì)解：對一維正態(tài)分分布P(x/μ)xμ37Bayes估計(jì)首先，將待估估參數(shù)μ視為隨機(jī)變量量，并具有一一定的初始分分布。假設(shè)其具有正正態(tài)分布：：38Bayes估計(jì)P(μ)μμ039Bayes估計(jì)觀察了n個(gè)學(xué)習(xí)樣本后后，μ的后驗(yàn)概率(修正分布)為：40Bayes估計(jì)可見：修正后后μ的分布仍為正正態(tài)分布！其其均值為μn，方差為σn2其中：41Bayes估計(jì)即：μn表示在觀察了了一組樣本后后，對μ的最好的推斷斷，而σn2則反映了這個(gè)個(gè)推斷的不確確定性!42Bayes估計(jì)P(μ/X(j))μμ0P(μ)μn43Bayes估計(jì)待估的最佳均均值μ=？答案：μ=μn44Bayes估計(jì)考慮樣本數(shù)對對估計(jì)值的影影響當(dāng)時(shí)時(shí)