第2章+正態(tài)分布時(shí)的統(tǒng)計(jì)決策3課件

MadeinCV&PRLabofShandongUniversity2.10正態(tài)分布時(shí)的統(tǒng)計(jì)決策2.10.1正態(tài)分布概率密度函數(shù)的定義及性質(zhì)12.10.2正態(tài)分布中的Bayes分類方法2MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity在統(tǒng)計(jì)決策理論中，涉及到類條件概率密度函數(shù)。對(duì)許多實(shí)際的數(shù)據(jù)集，正態(tài)分布通常是合理的近似。如果在特征空間中的某一類樣本，較多地分布在這一類均值附近，遠(yuǎn)離均值點(diǎn)的樣本比較少，此時(shí)用正態(tài)分布作為這一類的概率模型是合理的。另外，正態(tài)分布概率模型有許多好的性質(zhì)，有利于作數(shù)學(xué)分析。概括起來(lái)就是：（1）物理上的合理性；（2）數(shù)學(xué)上的簡(jiǎn)單性下面重點(diǎn)討論正態(tài)分布分布及其性質(zhì)，以及正態(tài)分布下的Bayes決策理論。2.10正態(tài)分布時(shí)的統(tǒng)計(jì)決策M(jìn)adeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity1．單變量正態(tài)分布定義：（2.8.1-1）其中：為隨機(jī)變量x的期望，也就是平均值； 為x的方差，為均方差，又稱為標(biāo)準(zhǔn)差。 （2.8.1-2） （2.8.1-3）2.10.1正態(tài)分布概率密度函數(shù)的定義及性質(zhì)MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity概率密度函數(shù)的一般圖形如下：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity具有以下性質(zhì)：從的圖形上可以看出，只要有兩個(gè)參數(shù)就可以完全確定其曲線。為了簡(jiǎn)單，常記為。若從服從正態(tài)分布的總體中隨機(jī)抽取樣本x，約有95％的樣本落在中。樣本的分散程度可以用來(lái)表示，越大分散程度越大。（2.8.1-4）MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity2．多元正態(tài)分布定義：（3.1-5）其中： 為d維隨機(jī)向量，對(duì)于d維隨機(jī)向量x，它的均值向量是d維的。也就是：為d維均值向量。是維協(xié)方差矩陣，是的逆矩陣，為的行列式。協(xié)方差矩陣是對(duì)稱的，其中有個(gè)獨(dú)立元素。由于可由和完全確定，所以實(shí)際上可由個(gè)獨(dú)立元素來(lái)確定。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity

是的轉(zhuǎn)置，且：、分別是向量x和矩陣的期望。具體說(shuō)：若是的第i個(gè)分量，是的第i個(gè)分量，是的第i、j個(gè)元素。（3.1-6）；其中為邊緣分布MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity對(duì)于二維隨機(jī)變量X和Y作為一個(gè)整體，其分布函數(shù)F（x，y），而X和Y都是隨機(jī)變量，各別也有分布函數(shù)FX(x)、FY(y)，分別稱為二維隨機(jī)變量（X，Y）關(guān)于X和Y的邊緣分布函數(shù)。有：和對(duì)于離散隨機(jī)變量有：從中得到X的分布律為：

同樣，Y的分布律為：

MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity對(duì)于連續(xù)型隨機(jī)變量（X，Y），假定它的概率密度為，由：知道，X的概率密度為：

同樣也可以求出Y的概率密度函數(shù)。

MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity而：

（3.1-7）

（3.1-8）協(xié)方差矩陣：是一個(gè)對(duì)稱矩陣，只考慮為正定矩陣的情況，也就是所有的子式都大于0。即，，……同單變量正態(tài)分布一樣，多元正態(tài)分布可以由和完全確定，常記為。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity3．多元正態(tài)分布的性質(zhì)（1）參數(shù)對(duì)分布的決定性對(duì)于d維隨機(jī)向量x，它的均值向量也是d維的，協(xié)方差矩陣是對(duì)稱的，其中有個(gè)獨(dú)立元素。可由完全確定，實(shí)際上可由個(gè)獨(dú)立元素決定。常記為：～。（2）等密度點(diǎn)的軌跡為一超橢球面由的定義公式（3.1-5）可知，當(dāng)右邊指數(shù)項(xiàng)為常數(shù)時(shí)，密度的值不變，所以等密度點(diǎn)滿足： MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity可以證明，上式的解是一個(gè)超橢球面，其主軸方向取決于的本征向量（特征向量），主軸的長(zhǎng)度與相應(yīng)的本征值成正比。如下圖所示：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity從上圖可以看出，從正態(tài)分布總體中抽取的樣本大部分落在由和所確定的一個(gè)區(qū)域里，這個(gè)區(qū)域的中心由均值向量決定，區(qū)域的大小由協(xié)方差矩陣決定。在數(shù)理統(tǒng)計(jì)中，令： 式中稱為x到的馬氏距離（Mahalanobis）距離。所以，等密度點(diǎn)軌跡是x到的馬氏距離為常數(shù)的超橢球面。該超橢球面構(gòu)成的球體的大小是樣本對(duì)于均值向量的“離散度度量”。體積：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversityd為偶數(shù)d為奇數(shù)如果d確定了，則不變，v與有關(guān)。也就是對(duì)于給定的維數(shù)d，樣本離散度隨而變。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity（3）不相關(guān)性等價(jià)于獨(dú)立性概率論中，兩個(gè)隨機(jī)變量和之間不相關(guān)，并不意味著它們一定獨(dú)立。如果和之間不相關(guān)，則的數(shù)學(xué)期望有：如果和相互獨(dú)立，則有：獨(dú)立性是比不相關(guān)更強(qiáng)的條件。不相關(guān)反映了和的總體性質(zhì)。如果和相互獨(dú)立，則它們之間一定不相關(guān)，反之則不成立。但是對(duì)服從正態(tài)分布的兩個(gè)分量和，若與互不相關(guān)，則它們之間一定獨(dú)立。MadeinCV&PRLabofShandongU證明：根據(jù)定義，和的協(xié)方差又根據(jù)不相關(guān)定義有：又：，所以：有證明：根據(jù)定義，和的協(xié)方差又根據(jù)不相關(guān)定義有：又：，所以：有MadeinCV&PRLabofShandongUniversity協(xié)方差矩陣成為對(duì)角陣。，可以計(jì)算出：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity因此，根據(jù)獨(dú)立性的定義：正態(tài)分布隨機(jī)向量的各分量間互不相關(guān)性與相互獨(dú)立等價(jià)。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity（4）邊緣分布與條件分布的等價(jià)性不難證明正態(tài)隨機(jī)向量的邊緣分布與條件分布仍服從正態(tài)分布。從（3）證明得出的結(jié)論表達(dá)式，如果x用表示，有：也就是說(shuō)，邊緣分布服從均值為，方差為的正態(tài)分布：

同理，MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity另外，條件分布，給定的條件下的分布：代入上式，服從正態(tài)分布，同理也服從正態(tài)分布。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity（5）線性變換的正態(tài)性對(duì)于多元隨機(jī)向量的線性變換，仍為多元正態(tài)分布的隨機(jī)向量。就是：x服從正態(tài)分布，對(duì)x作線性變換，其中A為線性變換矩陣，且，則y服從正態(tài)分布：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity（6）線性組合的正態(tài)性若x為多元正態(tài)隨機(jī)向量，則線性組合是一維的正態(tài)隨機(jī)變量：

其中，a與x同維。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity2.10.2正態(tài)分布中的Bayes分類方法在上一章，我們已經(jīng)把基于Bayes公式的幾種分類判決規(guī)則抽象為相應(yīng)的判決函數(shù)和決策面方程。這幾種方法中Bayes最小錯(cuò)誤率判決規(guī)則是一種最基本的方法。如果取0－1損失函數(shù)，最小風(fēng)險(xiǎn)判決規(guī)則和最大似然比判決規(guī)則均與最小錯(cuò)誤判決規(guī)則等價(jià)。為了方便，我們以最小錯(cuò)誤判決規(guī)則為例來(lái)研究Bayes分類方法在正態(tài)分布中的應(yīng)用。由最小錯(cuò)誤率判決規(guī)則抽象出來(lái)的判決函數(shù)如下：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity如果類概率密度是正態(tài)分布的，則～由于對(duì)數(shù)函數(shù)是一個(gè)單調(diào)變化的函數(shù)，上式右邊取對(duì)數(shù)后作為判決函數(shù)使用不會(huì)改變類型區(qū)域的劃分。因此：其中，域的劃分，可以去掉。與類型無(wú)關(guān)，所有函數(shù)皆加上此項(xiàng)后，并不影響區(qū)MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity下面對(duì)幾種特殊情況進(jìn)行討論。

1．情況一：，該情況下，每類的協(xié)方差矩陣相等，而且類的各特征間相互獨(dú)立（由上節(jié)的性質(zhì)③得知），具有相等的方差。因此： 將上兩式代入：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity上式中的第2、3項(xiàng)與類別無(wú)關(guān)，可以忽略，因此可以簡(jiǎn)化為：其中：，，為x到類的均值向量的“歐氏距離”的平方。討論一個(gè)特殊情況，，所有各類概率相等。則：

此時(shí)，對(duì)x的歸類表示為：計(jì)算x到各類均值的歐氏距離的平方，然后把x歸于具有MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity的類（即最大）。這種分類器叫最小距離分類器。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity接著對(duì)進(jìn)一步化簡(jiǎn)：式中：與i無(wú)關(guān)，可以忽略：式中：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity是一個(gè)線性函數(shù)。

決策規(guī)則：對(duì)某個(gè)x計(jì)算，，若，則決策。由于為線性函數(shù)，其決策面由線性方程構(gòu)成，決策面是一個(gè)超平面。

MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity上述結(jié)果表示在二維特征空間里，如下圖所示：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity兩個(gè)同心圓是兩類概率分布等密度點(diǎn)軌跡，兩個(gè)圓心就是兩類的均值點(diǎn)。兩類的區(qū)分線與垂直，其交點(diǎn)為。一般不是的中點(diǎn)，但當(dāng)時(shí)，為的中點(diǎn)。若 時(shí)，向先驗(yàn)概率較小的那個(gè)類型的均值點(diǎn)偏移?？梢酝茝V到多類的情況，注意這種分類方法沒(méi)有不確定的區(qū)域。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity2.情況二：各類的協(xié)方差矩陣相等，在幾何上，相當(dāng)于各類樣本集中在以該類均值為中心的同樣大小和形狀的超橢球內(nèi)。不變，與i無(wú)關(guān)：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity一個(gè)特例，當(dāng)時(shí)，各樣本先驗(yàn)概率相等。其中： 為x到均值點(diǎn)的“馬氏距離”的平方（Mahalanobis）。進(jìn)一步簡(jiǎn)化：對(duì)于樣本x只要計(jì)算出，把x歸于最小的類別。接著對(duì)化簡(jiǎn)：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity去掉與無(wú)關(guān)的項(xiàng)：其中：也是一個(gè)線性函數(shù)，對(duì)應(yīng)的決策面也是一個(gè)超平面。

MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity對(duì)于和相鄰，決策面方程：其中： 與第一種情況不同，此時(shí)決策面通過(guò)，但不與正交（垂直）。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity二維情況：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity當(dāng)各類先驗(yàn)概率相等時(shí) 位于的中點(diǎn)上。當(dāng)各類先驗(yàn)概率不相等時(shí)，不在的中點(diǎn)上，而是偏向先驗(yàn)概率較小的均值點(diǎn)。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity3．第三種情況各類協(xié)方差矩陣不等：，由于：去掉與無(wú)關(guān)的項(xiàng)，得： 表示為：其中：

MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity維向量此時(shí)表示為的二次型。對(duì)于和相鄰，決策面應(yīng)為：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity該曲線為超二次曲面。隨、、的不同，超二次曲面為：超球面、超橢球面、超拋物面、超雙曲面，或超平面等。假設(shè)特征空間是二維的，模式樣本的兩個(gè)分量之間是相互獨(dú)立的，所以協(xié)方差矩陣是2X2維的對(duì)角矩陣。令各類的先驗(yàn)概率相等，那么不同類型區(qū)域的劃分取決于各類的均值向量和兩個(gè)方差項(xiàng)的差異，而決策面的形狀主要取決于兩個(gè)方差項(xiàng)的差異。

MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity（1）若，，且，則兩類的概率分布等密度線分別是以各自均值點(diǎn)為圓心的同心圓，圓的大小與相應(yīng)的方差相一致。由于，所以來(lái)自類型的樣本更密集于它的均值點(diǎn)附近；同時(shí)，由于園的對(duì)稱性，決策面為包圍均值點(diǎn)的一個(gè)圓。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversityMadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity（2）若在上圖的(a)的基礎(chǔ)上增大分量x2的方差和，使和，這樣圖(a)中的圓在x2方向上伸展，而變成橢圓，如圖(b)所示，決策面也變成了橢圓。（3）若，，在這種情況下，分量x2大的樣本x很可能來(lái)自類型，使決策面變成一條拋物線，如圖(c)所示。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity（4）若在(c)的基礎(chǔ)上增大，使，，在這種情況下，決策面變成雙曲線，如圖(d)所示。（5）在一非常特殊的對(duì)稱條件下，使(d)中的雙曲線向一對(duì)互 相垂直的直線退化，如圖(e)所示。在這種情況下，兩 種類型是線性可分的。清華《模式識(shí)別》書上P34中間用圖討論了幾種決策面的變化。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity例1：設(shè)在三維特征空間里，兩類的類概率密度是正態(tài)分布的，分別在兩個(gè)類型中獲得4個(gè)樣本，位于一個(gè)單位立方體的頂點(diǎn)上，如下圖。兩類的先驗(yàn)概率相等，試確定兩類之間的決策面及相應(yīng)的類型區(qū)域和。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity解：和表示兩個(gè)類型，由圖可知，兩個(gè)類型的樣本： ：，，， ：，，，用各類樣本的算術(shù)平均值近似代替各類均值向量，也就是： 為中的樣本數(shù)，表示的第個(gè)樣本。協(xié)方差矩陣由其定義求得：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity式中為類的自相關(guān)函數(shù)。由題中所給條件：，有：，MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity同理：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity因此，符合情況二。用情況二的公式確定決策面。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity決策面為，，先驗(yàn)概率相等，MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity決策方程：也就是：

MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity如下圖所示。w指向的一側(cè)為正，是w1的區(qū)域R1，負(fù)向的一側(cè)為w2。MadeinCV&PRLabofShandongUThankYou!ThankYou!MadeinCV&PRLabofShandongUniversity2.10正態(tài)分布時(shí)的統(tǒng)計(jì)決策2.10.1正態(tài)分布概率密度函數(shù)的定義及性質(zhì)12.10.2正態(tài)分布中的Bayes分類方法2MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity在統(tǒng)計(jì)決策理論中，涉及到類條件概率密度函數(shù)。對(duì)許多實(shí)際的數(shù)據(jù)集，正態(tài)分布通常是合理的近似。如果在特征空間中的某一類樣本，較多地分布在這一類均值附近，遠(yuǎn)離均值點(diǎn)的樣本比較少，此時(shí)用正態(tài)分布作為這一類的概率模型是合理的。另外，正態(tài)分布概率模型有許多好的性質(zhì)，有利于作數(shù)學(xué)分析。概括起來(lái)就是：（1）物理上的合理性；（2）數(shù)學(xué)上的簡(jiǎn)單性下面重點(diǎn)討論正態(tài)分布分布及其性質(zhì)，以及正態(tài)分布下的Bayes決策理論。2.10正態(tài)分布時(shí)的統(tǒng)計(jì)決策M(jìn)adeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity1．單變量正態(tài)分布定義：（2.8.1-1）其中：為隨機(jī)變量x的期望，也就是平均值； 為x的方差，為均方差，又稱為標(biāo)準(zhǔn)差。 （2.8.1-2） （2.8.1-3）2.10.1正態(tài)分布概率密度函數(shù)的定義及性質(zhì)MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity概率密度函數(shù)的一般圖形如下：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity具有以下性質(zhì)：從的圖形上可以看出，只要有兩個(gè)參數(shù)就可以完全確定其曲線。為了簡(jiǎn)單，常記為。若從服從正態(tài)分布的總體中隨機(jī)抽取樣本x，約有95％的樣本落在中。樣本的分散程度可以用來(lái)表示，越大分散程度越大。（2.8.1-4）MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity2．多元正態(tài)分布定義：（3.1-5）其中： 為d維隨機(jī)向量，對(duì)于d維隨機(jī)向量x，它的均值向量是d維的。也就是：為d維均值向量。是維協(xié)方差矩陣，是的逆矩陣，為的行列式。協(xié)方差矩陣是對(duì)稱的，其中有個(gè)獨(dú)立元素。由于可由和完全確定，所以實(shí)際上可由個(gè)獨(dú)立元素來(lái)確定。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity

是的轉(zhuǎn)置，且：、分別是向量x和矩陣的期望。具體說(shuō)：若是的第i個(gè)分量，是的第i個(gè)分量，是的第i、j個(gè)元素。（3.1-6）；其中為邊緣分布MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity對(duì)于二維隨機(jī)變量X和Y作為一個(gè)整體，其分布函數(shù)F（x，y），而X和Y都是隨機(jī)變量，各別也有分布函數(shù)FX(x)、FY(y)，分別稱為二維隨機(jī)變量（X，Y）關(guān)于X和Y的邊緣分布函數(shù)。有：和對(duì)于離散隨機(jī)變量有：從中得到X的分布律為：

同樣，Y的分布律為：

MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity對(duì)于連續(xù)型隨機(jī)變量（X，Y），假定它的概率密度為，由：知道，X的概率密度為：

同樣也可以求出Y的概率密度函數(shù)。

MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity而：

（3.1-7）

（3.1-8）協(xié)方差矩陣：是一個(gè)對(duì)稱矩陣，只考慮為正定矩陣的情況，也就是所有的子式都大于0。即，，……同單變量正態(tài)分布一樣，多元正態(tài)分布可以由和完全確定，常記為。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity3．多元正態(tài)分布的性質(zhì)（1）參數(shù)對(duì)分布的決定性對(duì)于d維隨機(jī)向量x，它的均值向量也是d維的，協(xié)方差矩陣是對(duì)稱的，其中有個(gè)獨(dú)立元素?？捎赏耆_定，實(shí)際上可由個(gè)獨(dú)立元素決定。常記為：～。（2）等密度點(diǎn)的軌跡為一超橢球面由的定義公式（3.1-5）可知，當(dāng)右邊指數(shù)項(xiàng)為常數(shù)時(shí)，密度的值不變，所以等密度點(diǎn)滿足： MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity可以證明，上式的解是一個(gè)超橢球面，其主軸方向取決于的本征向量（特征向量），主軸的長(zhǎng)度與相應(yīng)的本征值成正比。如下圖所示：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity從上圖可以看出，從正態(tài)分布總體中抽取的樣本大部分落在由和所確定的一個(gè)區(qū)域里，這個(gè)區(qū)域的中心由均值向量決定，區(qū)域的大小由協(xié)方差矩陣決定。在數(shù)理統(tǒng)計(jì)中，令： 式中稱為x到的馬氏距離（Mahalanobis）距離。所以，等密度點(diǎn)軌跡是x到的馬氏距離為常數(shù)的超橢球面。該超橢球面構(gòu)成的球體的大小是樣本對(duì)于均值向量的“離散度度量”。體積：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversityd為偶數(shù)d為奇數(shù)如果d確定了，則不變，v與有關(guān)。也就是對(duì)于給定的維數(shù)d，樣本離散度隨而變。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity（3）不相關(guān)性等價(jià)于獨(dú)立性概率論中，兩個(gè)隨機(jī)變量和之間不相關(guān)，并不意味著它們一定獨(dú)立。如果和之間不相關(guān)，則的數(shù)學(xué)期望有：如果和相互獨(dú)立，則有：獨(dú)立性是比不相關(guān)更強(qiáng)的條件。不相關(guān)反映了和的總體性質(zhì)。如果和相互獨(dú)立，則它們之間一定不相關(guān)，反之則不成立。但是對(duì)服從正態(tài)分布的兩個(gè)分量和，若與互不相關(guān)，則它們之間一定獨(dú)立。MadeinCV&PRLabofShandongU證明：根據(jù)定義，和的協(xié)方差又根據(jù)不相關(guān)定義有：又：，所以：有證明：根據(jù)定義，和的協(xié)方差又根據(jù)不相關(guān)定義有：又：，所以：有MadeinCV&PRLabofShandongUniversity協(xié)方差矩陣成為對(duì)角陣。，可以計(jì)算出：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity因此，根據(jù)獨(dú)立性的定義：正態(tài)分布隨機(jī)向量的各分量間互不相關(guān)性與相互獨(dú)立等價(jià)。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity（4）邊緣分布與條件分布的等價(jià)性不難證明正態(tài)隨機(jī)向量的邊緣分布與條件分布仍服從正態(tài)分布。從（3）證明得出的結(jié)論表達(dá)式，如果x用表示，有：也就是說(shuō)，邊緣分布服從均值為，方差為的正態(tài)分布：

同理，MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity另外，條件分布，給定的條件下的分布：代入上式，服從正態(tài)分布，同理也服從正態(tài)分布。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity（5）線性變換的正態(tài)性對(duì)于多元隨機(jī)向量的線性變換，仍為多元正態(tài)分布的隨機(jī)向量。就是：x服從正態(tài)分布，對(duì)x作線性變換，其中A為線性變換矩陣，且，則y服從正態(tài)分布：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity（6）線性組合的正態(tài)性若x為多元正態(tài)隨機(jī)向量，則線性組合是一維的正態(tài)隨機(jī)變量：

其中，a與x同維。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity2.10.2正態(tài)分布中的Bayes分類方法在上一章，我們已經(jīng)把基于Bayes公式的幾種分類判決規(guī)則抽象為相應(yīng)的判決函數(shù)和決策面方程。這幾種方法中Bayes最小錯(cuò)誤率判決規(guī)則是一種最基本的方法。如果取0－1損失函數(shù)，最小風(fēng)險(xiǎn)判決規(guī)則和最大似然比判決規(guī)則均與最小錯(cuò)誤判決規(guī)則等價(jià)。為了方便，我們以最小錯(cuò)誤判決規(guī)則為例來(lái)研究Bayes分類方法在正態(tài)分布中的應(yīng)用。由最小錯(cuò)誤率判決規(guī)則抽象出來(lái)的判決函數(shù)如下：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity如果類概率密度是正態(tài)分布的，則～由于對(duì)數(shù)函數(shù)是一個(gè)單調(diào)變化的函數(shù)，上式右邊取對(duì)數(shù)后作為判決函數(shù)使用不會(huì)改變類型區(qū)域的劃分。因此：其中，域的劃分，可以去掉。與類型無(wú)關(guān)，所有函數(shù)皆加上此項(xiàng)后，并不影響區(qū)MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity下面對(duì)幾種特殊情況進(jìn)行討論。

1．情況一：，該情況下，每類的協(xié)方差矩陣相等，而且類的各特征間相互獨(dú)立（由上節(jié)的性質(zhì)③得知），具有相等的方差。因此： 將上兩式代入：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity上式中的第2、3項(xiàng)與類別無(wú)關(guān)，可以忽略，因此可以簡(jiǎn)化為：其中：，，為x到類的均值向量的“歐氏距離”的平方。討論一個(gè)特殊情況，，所有各類概率相等。則：

此時(shí)，對(duì)x的歸類表示為：計(jì)算x到各類均值的歐氏距離的平方，然后把x歸于具有MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity的類（即最大）。這種分類器叫最小距離分類器。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity接著對(duì)進(jìn)一步化簡(jiǎn)：式中：與i無(wú)關(guān)，可以忽略：式中：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity是一個(gè)線性函數(shù)。

決策規(guī)則：對(duì)某個(gè)x計(jì)算，，若，則決策。由于為線性函數(shù)，其決策面由線性方程構(gòu)成，決策面是一個(gè)超平面。

MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity上述結(jié)果表示在二維特征空間里，如下圖所示：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity兩個(gè)同心圓是兩類概率分布等密度點(diǎn)軌跡，兩個(gè)圓心就是兩類的均值點(diǎn)。兩類的區(qū)分線與垂直，其交點(diǎn)為。一般不是的中點(diǎn)，但當(dāng)時(shí)，為的中點(diǎn)。若 時(shí)，向先驗(yàn)概率較小的那個(gè)類型的均值點(diǎn)偏移?？梢酝茝V到多類的情況，注意這種分類方法沒(méi)有不確定的區(qū)域。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity2.情況二：各類的協(xié)方差矩陣相等，在幾何上，相當(dāng)于各類樣本集中在以該類均值為中心的同樣大小和形狀的超橢球內(nèi)。不變，與i無(wú)關(guān)：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity一個(gè)特例，當(dāng)時(shí)，各樣本先驗(yàn)概率相等。其中： 為x到均值點(diǎn)的“馬氏距離”的平方（Mahalanobis）。進(jìn)一步簡(jiǎn)化：對(duì)于樣本x只要計(jì)算出，把x歸于最小的類別。接著對(duì)化簡(jiǎn)：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity去掉與無(wú)關(guān)的項(xiàng)：其中：也是一個(gè)線性函數(shù)，對(duì)應(yīng)的決策面也是一個(gè)超平面。

MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity對(duì)于和相鄰，決策面方程：其中： 與第一種情況不同，此時(shí)決策面通過(guò)，但不與正交（垂直）。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity二維情況：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity當(dāng)各類先驗(yàn)概率相等時(shí) 位于的中點(diǎn)上。當(dāng)各類先驗(yàn)概率不相等時(shí)，不在的中點(diǎn)上，而是偏向先驗(yàn)概率較小的均值點(diǎn)。MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity3．第三種情況各類協(xié)方差矩陣不等：，由于：去掉與無(wú)關(guān)的項(xiàng)，得： 表示為：其中：

MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity維向量此時(shí)表示為的二次型。對(duì)于和相鄰，決策面應(yīng)為：MadeinCV&PRLabofShandongUMadeinCV&PRLabofShandongUniversity該曲線為超二次曲面。隨、、的不同，超二次曲面為：超球面、超橢球面、超拋物面、超雙曲面，或超平面等。假設(shè)特征空間是二維的，模式樣本的兩個(gè)分量之間是相互獨(dú)立的，所以協(xié)方差矩陣是2X2維的對(duì)角矩陣。令各類的先驗(yàn)概率相等，那么不同類型區(qū)域的劃分取決于各類的均值向量和兩個(gè)方差項(xiàng)的差異，而決策面的形狀主要取決于兩個(gè)方差項(xiàng)的差異。

M