條件概率密度函數(shù)的最大似然估計(jì)

任課教師：劉瓊自動(dòng)化學(xué)院,模式識(shí)別,條件概率密度函數(shù)的最大似然估計(jì)MaximumLikelihoodEstimationofClass-conditionalProbabilityDensityFunction,教材：模式識(shí)別（第三版）張學(xué)工編著清華大學(xué)出版社,講授提綱,問(wèn)題提出最大似然估計(jì)基于最大似然估計(jì)的模式分類(lèi)實(shí)例,2,講授提綱,問(wèn)題提出貝葉斯決策論貝葉斯公式最大似然估計(jì)基于最大似然估計(jì)的模式分類(lèi)實(shí)例,3,問(wèn)題提出（1/4）,4,80條鮭魚(yú)，20條多寶魚(yú),問(wèn)題提出（2/4）,5,第一種情況：不知曉這條魚(yú)的任何信息，判決依據(jù)P(i)的大小；結(jié)論：第二種情況：給你這條魚(yú)的寬度值x，判決依據(jù)P(i|x)；,貝葉斯決策論,？,鮭魚(yú),問(wèn)題提出（3/4）,貝葉斯公式用非正式的英語(yǔ)表述,6,后驗(yàn)概率,類(lèi)條件概率密度,先驗(yàn)概率根據(jù)領(lǐng)域知識(shí)或大量樣本中計(jì)算各類(lèi)樣本所占的比例得到,總體密度所有樣本關(guān)于特征x的概率密度,問(wèn)題提出（4/4）,7,講授提綱,問(wèn)題提出最大似然估計(jì)假設(shè)條件主要思想求解方法及解的分析正態(tài)分布參數(shù)的最大似然估計(jì)基于最大似然估計(jì)的模式分類(lèi)實(shí)例,8,最大似然估計(jì)的假設(shè)條件,假設(shè)條件：類(lèi)條件概率密度p(x|i)的函數(shù)形式是已知的，但是其中的某些參數(shù)是未知的待估計(jì)參數(shù)是確定性的未知量按類(lèi)別將樣本劃分c類(lèi)，第i樣本都是從類(lèi)條件概率密度p(x|i)的總體中獨(dú)立地抽取出來(lái)的第i類(lèi)的樣本不包含有關(guān)j(ij)的信息。不同類(lèi)別的函數(shù)在參數(shù)上相互獨(dú)立，每一類(lèi)樣本可以獨(dú)立進(jìn)行處理,9,函數(shù)形式已知,參數(shù)確定但未知,樣本獨(dú)立同分布,類(lèi)類(lèi)互不干擾,設(shè)i類(lèi)樣本集有N個(gè)樣本它們是獨(dú)立地按照概率密度p(x|i，)抽取出來(lái)的（獨(dú)立同分布樣本）似然函數(shù)可以表示為：含義：從總體中抽取x1,xN這樣N個(gè)樣本的聯(lián)合概率（可能性）,10,最大似然估計(jì)的主要思想,最大似然估計(jì)的主要思想：如果在一次觀察中一個(gè)事件出現(xiàn)了，則我們可以認(rèn)為這一事件出現(xiàn)的可能性很大?，F(xiàn)在，樣本集（x1,xN）在一次觀察（從概率總體中抽取一組樣本）中居然出現(xiàn)了，則我們認(rèn)為似然函數(shù)l()應(yīng)該達(dá)到最大值為了便于分析，可以取似然函數(shù)的對(duì)數(shù)，即對(duì)數(shù)函數(shù)是單調(diào)增函數(shù)，H()與l()的最大值點(diǎn)相同,11,求最大似然估計(jì)量的方法,如果H()滿(mǎn)足連續(xù)可微的數(shù)學(xué)性質(zhì)，可以直接應(yīng)用高等數(shù)學(xué)的知識(shí)來(lái)求最大值點(diǎn)，即求梯度（偏導(dǎo)數(shù)）,并令其等于零，解線性或者非線性方程組得到估計(jì)量假設(shè)：有s個(gè)參數(shù)梯度算子,12,求解過(guò)程：,13,從中求解出的最大似然估計(jì)量,最大似然估計(jì)結(jié)果的分析,可能存在多個(gè)解解決方法：使得似然函數(shù)最大的解才是最大似然估計(jì)量,14,有可能求不出正確的解（比如均勻分布）,15,例：正態(tài)分布函數(shù)的最大似然估計(jì),單變量正態(tài)分布的概率密度函數(shù)要求的未知參數(shù)（均值與方差）已知，利用最大似然估計(jì)法，針對(duì)上述樣本集，求出均值與方差的估計(jì)值,16,17,對(duì)數(shù)似然函數(shù),求偏導(dǎo)數(shù),18,解釋?zhuān)赫龖B(tài)分布總體均值的最大似然估計(jì)量是樣本屬性值的算術(shù)平均（無(wú)偏）正態(tài)分布總體方差的最大似然估計(jì)量是樣本方差的算術(shù)平均（漸進(jìn)無(wú)偏）推廣到多元正態(tài)分布,（無(wú)偏）,講授提綱,問(wèn)題提出最大似然估計(jì)基于最大似然估計(jì)的模式分類(lèi)實(shí)例,19,基于最大似然估計(jì)的模式分類(lèi)實(shí)例,20,已知條件：80條鮭魚(yú)，20條多寶魚(yú)對(duì)于寬度特征，兩類(lèi)魚(yú)均服從正態(tài)分布箱中這條魚(yú)的寬度為10cm問(wèn)題：對(duì)箱中的魚(yú)進(jìn)行貝葉斯分類(lèi)決策,？,Step1：數(shù)據(jù)準(zhǔn)備,數(shù)據(jù)獲取：對(duì)80條鮭魚(yú)和20條多寶魚(yú)分別測(cè)得他們的寬度值數(shù)據(jù)預(yù)處理：剔除野值數(shù)據(jù)（如發(fā)育不正常的個(gè)例）特征形成：每一條魚(yú)有兩個(gè)數(shù)據(jù)：類(lèi)別標(biāo)識(shí)寬度（特征）,21,+16.2+15.7-18.9-19.5.,Step2：類(lèi)條件概率密度函數(shù)估計(jì),22,兩類(lèi)樣本分別滿(mǎn)足各自的正態(tài)分布，利用最大似然估計(jì)方法分別求出鮭魚(yú)和多寶魚(yú)關(guān)于寬度特征的均值和方差的最大似然估計(jì)量為鮭魚(yú)關(guān)于寬度特征的均值和方差的最大似然估計(jì)結(jié)果：多寶魚(yú)關(guān)于寬度特征的均值和方差的最大似然估計(jì)結(jié)果：,Step3：后驗(yàn)概率計(jì)算,23,關(guān)于寬度特征的類(lèi)條件概率密度曲線,關(guān)于寬度特征的后驗(yàn)概率曲線,Step4：分類(lèi)決策,當(dāng)黑箱中魚(yú)的寬度為10cm時(shí),24,決策結(jié)果：該魚(yú)為多寶魚(yú),小結(jié),概率密度函數(shù)估計(jì)的目的與基本概念目的：用于最小錯(cuò)誤率貝葉斯決策分類(lèi)概念：某類(lèi)關(guān)于特征x的概率分布，依據(jù)分布函數(shù)形式是否已知，可將估計(jì)方法分為兩類(lèi)最大似然函數(shù)參數(shù)估計(jì)方法,并應(yīng)用于正態(tài)分布中的參數(shù)