模式識(shí)別二次線性分類錯(cuò)誤率

模式識(shí)別二次線性分類錯(cuò)誤率第1頁(yè)，共91頁(yè)，2023年，2月20日，星期五2這一節(jié)的目的（概念）有兩個(gè)：在一定的分布和條件下（如正態(tài)、等協(xié)方差矩陣），貝葉斯決策可以導(dǎo)致二次或線性分類器。雖然貝葉斯決策（似然比檢驗(yàn)）在錯(cuò)誤率或風(fēng)險(xiǎn)上是最優(yōu)的，但必須知道類條件密度。在大多數(shù)應(yīng)用場(chǎng)合，類條件密度函數(shù)是從有限的樣本中估計(jì)的。后面我們將講一些密度函數(shù)估計(jì)的方法。但密度函數(shù)的估計(jì)本身是一件復(fù)雜工作（其難度不低于分類）并且需要大量樣本。第2頁(yè)，共91頁(yè)，2023年，2月20日，星期五3即使我們得到了密度函數(shù)，有時(shí)用似然比檢驗(yàn)的方法也很難計(jì)算，需要大量的時(shí)間和空間。因此我們有時(shí)考慮更簡(jiǎn)便易行的分類器設(shè)計(jì)方法。用二次、線性、分段線性分類器。即先規(guī)定分類器的數(shù)學(xué)形式，然后在適當(dāng)?shù)臏?zhǔn)則下，來(lái)確定這些參數(shù)。這一節(jié)先分析在什么條件下貝葉斯分類器變成二次和線性分類器，然后討論當(dāng)這些條件不滿足時(shí)，如何設(shè)計(jì)“性能好”的參數(shù)分類器。第3頁(yè)，共91頁(yè)，2023年，2月20日，星期五4一.兩類問(wèn)題的二次和線性分類器對(duì)于似然比檢驗(yàn)的決策規(guī)則：第4頁(yè)，共91頁(yè)，2023年，2月20日，星期五5當(dāng)各類的類條件密度是高斯分布時(shí)，

mi和Ki為均值向量和協(xié)方差矩陣。第5頁(yè)，共91頁(yè)，2023年，2月20日，星期五6這時(shí)似然比為

定義，-2倍自然對(duì)數(shù),則:第6頁(yè)，共91頁(yè)，2023年，2月20日，星期五7上式是二次分類器。計(jì)算x到各類均值mi的Mahalanobis距離，然后和閾值

相比較，決定x屬于第一或第二類。第7頁(yè)，共91頁(yè)，2023年，2月20日，星期五8在一維時(shí)，馬氏距離，即比較用方差標(biāo)準(zhǔn)化的一般距離。展開(kāi)h(x)式，有（※※）式中第8頁(yè)，共91頁(yè)，2023年，2月20日，星期五9決策邊界h(x)=T是二次曲面（超曲面）：超橢球面、超雙曲面、超拋物面、超平面等，或它們組合的形式。（為了確定二次曲面的形狀，首先要消掉x的各分量相乘的項(xiàng)，可采用旋轉(zhuǎn)坐標(biāo)系的方法，把坐標(biāo)軸旋轉(zhuǎn)到A（※※）的特征向量的方向。曲面的幾何形狀由A的特征值決定。如果A的特征值全部是正的，則是超橢球面；如果特征值有些正，有些負(fù)，則是超雙曲面；如果有些特征值是0，則是超拋物面。）第9頁(yè)，共91頁(yè)，2023年，2月20日，星期五10當(dāng)x落到?jīng)Q策邊界的某一側(cè)時(shí)，就把它分到相應(yīng)的類。也可以把上述二次分類器用到非高斯分布的密度函數(shù)，但這時(shí)不能保證錯(cuò)誤率最小。（但所確定的邊界是和二階統(tǒng)計(jì)矩（均值、方差）最相匹配的。）

任何具有（※※）式的分類器都叫作二次分類器。只有A、b、c是由高斯密度函數(shù)確定時(shí)，才叫高斯分類器。第10頁(yè)，共91頁(yè)，2023年，2月20日，星期五11例1：兩維時(shí)的二次分類器的決策邊界假定兩類模式都是高斯分布的，參數(shù)為：求的分類邊界，并畫出其曲線。第11頁(yè)，共91頁(yè)，2023年，2月20日，星期五12解：

第12頁(yè)，共91頁(yè)，2023年，2月20日，星期五13假定T=0，h(x)=T=0化為：，是一雙曲線。第13頁(yè)，共91頁(yè)，2023年，2月20日，星期五14第14頁(yè)，共91頁(yè)，2023年，2月20日，星期五15第15頁(yè)，共91頁(yè)，2023年，2月20日，星期五16當(dāng)先驗(yàn)概率相等時(shí)，最小錯(cuò)誤率決策規(guī)則選擇密度函數(shù)大的。由于第二類在x2方向上的方差大于類1的，這樣密度函數(shù)p(x|ω2)在x2方向上將有較廣的延伸。使得在左邊R2區(qū)域內(nèi)有p(x|ω2)>

p(x|ω1)，盡管這些點(diǎn)比較靠近類1的均值點(diǎn)。在前面的h(x)=xTAx+bTx+c中，如果兩類的協(xié)方差矩陣相等，K1=

K2=

K，則矩陣A=0，這時(shí)決策規(guī)則為：第16頁(yè)，共91頁(yè)，2023年，2月20日，星期五17這時(shí)的決策邊界就退化為線性決策邊界（超平面），相應(yīng)的分類器為線性分類器。式中第17頁(yè)，共91頁(yè)，2023年，2月20日，星期五18二.判別函數(shù)和多類分類器判別函數(shù)當(dāng)模式有類，這時(shí)的最小錯(cuò)誤率的決策規(guī)則可以表示為：若（※）

式中

稱為判別函數(shù)（discriminantfunction）。它表示決策規(guī)則。第18頁(yè)，共91頁(yè)，2023年，2月20日，星期五19由貝葉斯公式，和等價(jià)。即把用在（※）式中時(shí)，決策結(jié)果和是一樣的。當(dāng)先驗(yàn)概率相等時(shí)，p(x|ωk)也是一組等價(jià)的判別函數(shù)。一般地，若是任意一組判別函數(shù)，則下面定義的也是一組等價(jià)的判別函數(shù)：a>0,b是常數(shù)。（也可以是x的函數(shù)，但不能是k的函數(shù)。）第19頁(yè)，共91頁(yè)，2023年，2月20日，星期五20同樣，若f是單調(diào)增函數(shù)，則

它和也是等價(jià)的判別函數(shù)。這些性質(zhì)可以使我們從一組判別函數(shù)推導(dǎo)出另外的判別函數(shù)，以便計(jì)算上更加簡(jiǎn)單，或者意義更清楚，便于理解。

第20頁(yè)，共91頁(yè)，2023年，2月20日，星期五21當(dāng)每類都是正態(tài)分布，其均值和協(xié)方差矩陣分別為mk和Kk時(shí)，這時(shí)的最小錯(cuò)誤率決策規(guī)則的判別函數(shù)為：多類的二次和線性分類器

由于自然對(duì)數(shù)是單調(diào)增的，所以可以定義下面等價(jià)的判別函數(shù)：第21頁(yè)，共91頁(yè)，2023年，2月20日，星期五22（※）這是二次判別函數(shù)。當(dāng)所有類的先驗(yàn)概率相等時(shí)，可以省略。前面已經(jīng)證明，當(dāng)兩類的協(xié)方差矩陣相等時(shí)，二次分類器退化為線性分類器。多類時(shí)也是如此。第22頁(yè)，共91頁(yè)，2023年，2月20日，星期五23當(dāng)時(shí)，（※）式化為：上式中，由于第一項(xiàng)和第四項(xiàng)對(duì)所有的類都是相同的，所以等價(jià)的一組判別函數(shù)為：（※※）上式是x的線性函數(shù)。下面考慮一些特定情況，說(shuō)明二次和線性分類器的應(yīng)用。以下假定各類的先驗(yàn)概率都相等。第23頁(yè)，共91頁(yè)，2023年，2月20日，星期五24例2：最小距離分類器。假定各類的先驗(yàn)概率相等，而且各類，即x的各個(gè)分量不相關(guān)，且各類等方差。解：這時(shí)的判別函數(shù)化為（P22（※）式）：后兩項(xiàng)對(duì)所有類是共同的，可以省略。分母中的也可以去掉，因而有等價(jià)的判別函數(shù)：這時(shí)的決策規(guī)則的含義是：x離哪類的均值最近，就把它分到哪類。第24頁(yè)，共91頁(yè)，2023年，2月20日，星期五25例3：內(nèi)積分類器（相關(guān)分類器）有假定。利用線性判別函數(shù)若進(jìn)一步假定每類的均值的模相等，即|mk|相等，它們分布在半徑為|mk|的一個(gè)超球面上，且由于假定先驗(yàn)概率也相等，因此，等價(jià)的判別函數(shù)為：第25頁(yè)，共91頁(yè)，2023年，2月20日，星期五26即將測(cè)量向量x和每類的均值mk作內(nèi)積（或稱相關(guān)），然后選擇值最大的，作為它的類。上述例子是通信理論中信號(hào)檢測(cè)的一個(gè)經(jīng)典例子。假定有Nc種已知信號(hào)要檢測(cè)。令x(t)表示接收到的信號(hào)，mk(t)是已知的信號(hào)，k=1，2，…，Nc

。當(dāng)mk(t)發(fā)送時(shí)，加入了白噪聲w(t)，第26頁(yè)，共91頁(yè)，2023年，2月20日，星期五27白噪聲w(t)是零均值、等方差、不相關(guān)的信號(hào)（隨機(jī)過(guò)程）。即在任意時(shí)刻ti，w(ti)的均值為0，方差為，且當(dāng)時(shí)，。即：如果隨機(jī)向量x和mk是由相應(yīng)的時(shí)間函數(shù)取樣而成，即第27頁(yè)，共91頁(yè)，2023年，2月20日，星期五28第28頁(yè)，共91頁(yè)，2023年，2月20日，星期五29這是一個(gè)相關(guān)分類器（內(nèi)積分類器）的模式識(shí)別問(wèn)題。假定|mk|2相等，即所有的信號(hào)具有相等的能量。第29頁(yè)，共91頁(yè)，2023年，2月20日，星期五30把接收到的信號(hào)和已知信號(hào)作相關(guān)mkTx，然后選擇相關(guān)最大的。作相關(guān)時(shí)通常通過(guò)一個(gè)“匹配濾波器”來(lái)實(shí)現(xiàn)。選擇最大的輸出

匹配濾波器1

┇

匹配濾波器2

匹配濾波器Nc

第30頁(yè)，共91頁(yè)，2023年，2月20日，星期五31在連續(xù)時(shí)，判別函數(shù)：另外，mk和x間的相關(guān)也可以通過(guò)一個(gè)線性濾波器的輸出來(lái)實(shí)現(xiàn)。構(gòu)造一個(gè)函數(shù)gk(t)，使?jié)M足gk(T－t)=mk(t)，則（線性系統(tǒng)的杜哈美爾積分）

第31頁(yè)，共91頁(yè)，2023年，2月20日，星期五32即濾波器的輸出是相關(guān)值，而濾波器的脈沖響應(yīng)是gk(t)，匹配濾波器可由專門的儀器來(lái)作。*可以把上面的線性分類器的討論再進(jìn)一步。在線性分類器中，如果把向量在K的特征向量的坐標(biāo)系下表示（作變換），并作比例變換使所有分量的方差變?yōu)?，這時(shí)，線性分類器將作mkTx相關(guān)運(yùn)算。在通信問(wèn)題中，如果噪聲信號(hào)是相關(guān)的，而且方差是變化的，那么最優(yōu)的信號(hào)檢測(cè)是使噪聲變?yōu)椴幌嚓P(guān)的，然后作相關(guān)或匹配濾波器運(yùn)算。

第32頁(yè)，共91頁(yè)，2023年，2月20日，星期五33三.Fisher線性分類器—另一種決策準(zhǔn)則（另外一種解決思路）

在前面一節(jié)中，我們討論了兩種形式的分類器，在n維空間內(nèi)分析了它的判別邊界。其中分類的參數(shù)如A、b、c和T都是確定的，如果模式滿足高斯分布，那么分類器可以使錯(cuò)誤率、最小風(fēng)險(xiǎn)或者Neyman—Pearson準(zhǔn)則最小。第33頁(yè)，共91頁(yè)，2023年，2月20日，星期五34但在某些情況下，不知道類條件密度函數(shù)，因此不可能找出最優(yōu)分類器。在另外一些情況下，雖然可以對(duì)類條件密度進(jìn)行估計(jì)，但推導(dǎo)最優(yōu)分類器的計(jì)算量太大。因此，實(shí)際工作中，一般是先假定一種分類器的數(shù)學(xué)形式，如線性或二次分類器，然后確定它的參數(shù)，使它對(duì)某種適當(dāng)?shù)臏?zhǔn)則函數(shù)最優(yōu)，如類間的分離性等。在一般情況下，這種準(zhǔn)則函數(shù)不一定是錯(cuò)誤率，而是更加簡(jiǎn)單和易于分析的。第34頁(yè)，共91頁(yè)，2023年，2月20日，星期五35人們?cè)诰€性分類器上作了許多工作。這不僅因?yàn)樗问胶?jiǎn)單，而且用分段線性的組合可以任意逼近復(fù)雜的決策邊界。我們先介紹其中的一種：Fisher線性分類器（兩類問(wèn)題）。線性分類器的形式：尋找分類器的參數(shù)，能夠使以下的Fisher準(zhǔn)則函數(shù)最大：（3.21）

第35頁(yè)，共91頁(yè)，2023年，2月20日，星期五36（3.22a）

式中

（3.22b）

希望使兩類的均值離得越開(kāi)越好，而方差盡可能的小?；叵胍幌?，若有即第36頁(yè)，共91頁(yè)，2023年，2月20日，星期五37（3.23a）

這時(shí)h(x)（分類器的輸出）的均值和方差為（3.23b）

方程（3.21）和參數(shù)c無(wú)關(guān)（相減），因此c可以包括到閾值T里去。因此只要找出b就可以了。對(duì)準(zhǔn)則函數(shù)求導(dǎo)并令其等于0，有變換后的均值和方差第37頁(yè)，共91頁(yè)，2023年，2月20日，星期五38（3.24）

∴

（3.25）

第38頁(yè)，共91頁(yè)，2023年，2月20日，星期五39利用（3.23）式可以求出、、、，然后代入上式，但為了簡(jiǎn)單，有時(shí)就把b定為（3.26）

而把項(xiàng)放到閾值里去。第39頁(yè)，共91頁(yè)，2023年，2月20日，星期五40這樣分類器的形式就成為：當(dāng)K1=K2=K時(shí)，（3.26）式的b和（3.9a）的成比例。這樣，當(dāng)模式滿足高斯分布，且協(xié)方差矩陣相等時(shí)，使Fisher準(zhǔn)則最優(yōu)等價(jià)于最小錯(cuò)誤率最優(yōu)。第40頁(yè)，共91頁(yè)，2023年，2月20日，星期五41小結(jié)這一章首先討論了一些簡(jiǎn)單的決策理論最小錯(cuò)誤率、風(fēng)險(xiǎn)、Neyman—Pearson

似然比檢驗(yàn)，只是閾值不同。最小最大決策，當(dāng)先驗(yàn)概率變化時(shí)，使最大的錯(cuò)誤率最小。序貫決策：測(cè)量的維數(shù)可變時(shí)，分析了閾值和錯(cuò)誤率間的關(guān)系。在獨(dú)立同分布的假定下分析了維數(shù)的期望值。第41頁(yè)，共91頁(yè)，2023年，2月20日，星期五42這一章還介紹了線性和二次分類器

對(duì)于多類模式識(shí)別問(wèn)題的判別函數(shù)。討論了最近距離分類和相關(guān)分類。討論了兩類問(wèn)題的一種線性分類器——Fisher分類器。在高斯分布、等協(xié)方差矩陣的情況下，F(xiàn)isher分類器等價(jià)于最小錯(cuò)誤率分類器。第42頁(yè)，共91頁(yè)，2023年，2月20日，星期五43*這類線性分類器的更一般解法

線性分類器是最容易實(shí)現(xiàn)的。然而，只在正態(tài)分布和等協(xié)方差的情況下，線性判別函數(shù)才是貝葉斯意義上最優(yōu)的。在通信系統(tǒng)的信號(hào)檢測(cè)中，等協(xié)方差矩陣是合理的。但在不少應(yīng)用場(chǎng)合，并不滿足協(xié)方差矩陣相等。在設(shè)計(jì)正態(tài)分布、不等協(xié)方差的線性分類器，在設(shè)計(jì)非正態(tài)分布的線性分類器上有不少研究成果。當(dāng)然，它們不是最優(yōu)的。但簡(jiǎn)單易行，可以補(bǔ)償性能上的損失。下面我們更一般地討論這一問(wèn)題。第43頁(yè)，共91頁(yè)，2023年，2月20日，星期五44令

任務(wù)是要確定和。

表示x在V方向上的投影。投影后的均值和方差是衡量類可分性的一個(gè)準(zhǔn)則。

第44頁(yè)，共91頁(yè)，2023年，2月20日，星期五45投影比要好。投影后的均值和方差是衡量類可分性的一個(gè)準(zhǔn)則。

第45頁(yè)，共91頁(yè)，2023年，2月20日，星期五46令是任一準(zhǔn)則函數(shù)（要最大或最小的），要確定使f最大（?。┑膙和v0。第46頁(yè)，共91頁(yè)，2023年，2月20日，星期五47由于

代入，有：

第47頁(yè)，共91頁(yè)，2023年，2月20日，星期五48由以上兩式可以計(jì)算出v，但由于錯(cuò)誤率只依賴v的方向，而不是它的大小。因而可以消去v的常數(shù)系數(shù)（不是mi和ki的函數(shù)）。

解出：

式中，第48頁(yè)，共91頁(yè)，2023年，2月20日，星期五49注意，上面得出的v和f無(wú)關(guān)，f只是出現(xiàn)在s中。回想在正態(tài)、等協(xié)方差的情況下，有

這里是用s和(1－s)對(duì)K1和K2作加權(quán)平均。當(dāng)f的具體形式給出后，v0是的解。第49頁(yè)，共91頁(yè)，2023年，2月20日，星期五50例1：Fisher線性分類器。

∵

因此s＝0.5Fisher準(zhǔn)則不依賴于v0。因?yàn)関0從和相減中消失了。

∴最佳的第50頁(yè)，共91頁(yè)，2023年，2月20日，星期五51例2：另種準(zhǔn)則是

解出后有∴Fisher準(zhǔn)則不能確定v0。

第51頁(yè)，共91頁(yè)，2023年，2月20日，星期五522.5分類器的錯(cuò)誤率問(wèn)題

對(duì)樣本進(jìn)行分類是PR的任務(wù)之一。在分類過(guò)程中總會(huì)有錯(cuò)誤率，當(dāng)先驗(yàn)概率和類條件密度函數(shù)已知，采用的決策規(guī)則也確定后，錯(cuò)誤率也就固定了。錯(cuò)誤率反映了模式分類問(wèn)題本身的固有復(fù)雜程度。也是衡量分類器性能的重要指標(biāo)。分類器是否和要解決的問(wèn)題相匹配。一.錯(cuò)誤率的計(jì)算和估計(jì)第52頁(yè)，共91頁(yè)，2023年，2月20日，星期五53從上式可以看出，在x是多維時(shí)，P(e)的計(jì)算要進(jìn)行多重積分。當(dāng)類條件密度函數(shù)的解析形式比較復(fù)雜時(shí)，P(e)的計(jì)算相當(dāng)困難。錯(cuò)誤率的計(jì)算公式前面已經(jīng)分析，對(duì)兩類問(wèn)題：第53頁(yè)，共91頁(yè)，2023年，2月20日，星期五54由于錯(cuò)誤率對(duì)模式識(shí)別系統(tǒng)的重要性和復(fù)雜性，人們對(duì)錯(cuò)誤率的計(jì)算和估算方法進(jìn)行了大量的研究。方法主要有以下幾類：按公式計(jì)算錯(cuò)誤率；估算錯(cuò)誤率的上限；從實(shí)驗(yàn)中估計(jì)錯(cuò)誤率。這一小節(jié)先討論前兩種方法。第54頁(yè)，共91頁(yè)，2023年，2月20日，星期五55正態(tài)分布且等協(xié)方差矩陣時(shí)；當(dāng)x的各分量間相互獨(dú)立時(shí)；（參考清華的書，略）。下面討論估計(jì)錯(cuò)誤率上限的方法二.在一些特殊情況下錯(cuò)誤率的計(jì)算第55頁(yè)，共91頁(yè)，2023年，2月20日，星期五56模式可分性度量反映了模式分類的困難程度，和錯(cuò)誤率有密切關(guān)系。既有理論上的意義，也用在特征抽取和選擇等問(wèn)題上。這一節(jié)介紹模式可分性的兩種重要度量：偏離度（divergence）和Bhattacharyya距離。

（涇渭分明，西瓜瓤和籽）

先對(duì)一般的概率密度函數(shù)定義這兩個(gè)量。然后在多元高斯情況下，看看會(huì)有什么結(jié)果。三.

模式可分性的度量第56頁(yè)，共91頁(yè)，2023年，2月20日，星期五57對(duì)于對(duì)數(shù)的似然比檢驗(yàn)：

也是一個(gè)隨機(jī)變量。它可以用兩個(gè)密度函數(shù)和來(lái)描述。如下圖所示，當(dāng)兩個(gè)密度函數(shù)偏離較大時(shí)，錯(cuò)誤率一定低，反之會(huì)大。偏離度和Bhattacharyya距離第57頁(yè)，共91頁(yè)，2023年，2月20日，星期五58兩類模式可分性的一種度量是它們均值的差，稱為偏離度D

。第58頁(yè)，共91頁(yè)，2023年，2月20日，星期五59偏離度的定義為：

定義量：稱為有（單）向偏離度，或第i類相對(duì)第j類的相對(duì)信息。有些作者稱它為Kullback—liebler數(shù)。第59頁(yè)，共91頁(yè)，2023年，2月20日，星期五60由上兩式可知

這樣，當(dāng)相對(duì)信息H(1，2)和H(2，1)大時(shí)，D也大，可分性好?？煞中缘牧硪环N度量是Bhattacharyya距離：而量，有時(shí)稱為Bhattacharyya系數(shù)。第60頁(yè)，共91頁(yè)，2023年，2月20日，星期五61這兩個(gè)量比起偏離度來(lái)，直觀上更難解釋。但若將寫為：我們可以給出Bhattacharyya距離的一種解釋，如下圖：第61頁(yè)，共91頁(yè)，2023年，2月20日，星期五62第62頁(yè)，共91頁(yè)，2023年，2月20日，星期五63若原來(lái)的兩個(gè)密度函數(shù)分的較開(kāi)，則f相對(duì)于ω2的期望將較?。?lt;<1）。這時(shí)的－ln值將會(huì)大，Bhattacharyya距離將會(huì)大。第63頁(yè)，共91頁(yè)，2023年，2月20日，星期五64反之，若p1(x)和p2(x)近似重疊，則期望值將較大，－ln將較小。即Bhattacharyya距離小。如下圖：第64頁(yè)，共91頁(yè)，2023年，2月20日，星期五65偏離度和B距離是真的距離度量嗎？偏離度和Bhattacharyya距離都滿足：在一對(duì)一的線性變換下不變；當(dāng)x的分量獨(dú)立時(shí)，這兩個(gè)量都滿足相加性（對(duì)每個(gè)成分）。第65頁(yè)，共91頁(yè)，2023年，2月20日，星期五66令表示偏離度或Bhattacharyya距離，有：但它們都不滿足距離的三角不等式，所以都不是真實(shí)的距離。但它們滿足下面的性質(zhì)：第66頁(yè)，共91頁(yè)，2023年，2月20日，星期五67對(duì)于高斯分布的數(shù)據(jù)，可以推導(dǎo)出它的偏離度的封閉形式解。高斯分布下的偏離度和Bhattacharyya距離

而第67頁(yè)，共91頁(yè)，2023年，2月20日，星期五68由于而且由有第68頁(yè)，共91頁(yè)，2023年，2月20日，星期五69和∴第69頁(yè)，共91頁(yè)，2023年，2月20日，星期五70同樣，有：∴這就是高斯分布的偏離度。第70頁(yè)，共91頁(yè)，2023年，2月20日，星期五71對(duì)于高斯分布的Bhattacharyya距離，有相似的推導(dǎo)。第71頁(yè)，共91頁(yè)，2023年，2月20日，星期五72其中的指數(shù)項(xiàng)可以化為：

可以化為第72頁(yè)，共91頁(yè)，2023年，2月20日，星期五73其中第73頁(yè)，共91頁(yè)，2023年，2月20日，星期五74∴第74頁(yè)，共91頁(yè)，2023年，2月20日，星期五75可以證明（※）

以及（※※）

第75頁(yè)，共91頁(yè)，2023年，2月20日，星期五76證明的思路和技巧：定義量先證明由此再證：以及第76頁(yè)，共91頁(yè)，2023年，2月20日，星期五77由上面各種關(guān)系證明（※）和（※※）?！噙@是對(duì)于高斯分布的Bhattacharyya距離。第77頁(yè)，共91頁(yè)，2023年，2月20日，星期五78由上式的B和前面的可以看出，當(dāng)兩類的協(xié)方差矩陣相等時(shí)，K1=

K2=

K，∴此時(shí)的D和B是等價(jià)的度量，而且和兩類均值間的馬氏距離等價(jià)。說(shuō)明D

和B

確是兩類間偏離和距離的一種度量。第78頁(yè)，共91頁(yè)，2023年，2月20日，星期五79上一小節(jié)定義了偏離度和Bhattacharyya距離。下面分析它們和錯(cuò)誤率的關(guān)系。這一節(jié)討論似然比檢驗(yàn)的錯(cuò)誤率的上界。它們是基于Bhattacharyya距離及其推廣。四.錯(cuò)誤率的Bhattacharyya和Chernoff界最小錯(cuò)誤率的上界最小錯(cuò)誤率（有時(shí)也叫貝葉斯錯(cuò)誤率）eB

為：第79頁(yè)，共91頁(yè)，2023年，2月20日，星期五80利用不等式上式可以化為：即這個(gè)結(jié)果稱為Bhattacharyya界。第80頁(yè)，共91頁(yè)，2023年，2月20日，星期五81若利用不等式和前面的推導(dǎo)一樣，可得更一般的Chernoff界：式