人工智能樣板課件

第二章貝葉斯決策論蘭遠東第二章蘭遠東2.1引言貝葉斯決策論是解決模式分類問題的一種基本統(tǒng)計途徑。它做了如下假設(shè)，即決策問題可以用概率的形式來描述，并且假設(shè)所有的概率結(jié)構(gòu)已知。例：鮭魚和鱸魚分類

兩類魚自然狀態(tài)下的先驗概率先驗概率是一個隨機變量(=1鱸魚;=2鮭魚)

等概率假設(shè)下有：P(1)=P(2)P(1)+P(2)=12.1引言貝葉斯決策論是解決模式分類問題的一種基本統(tǒng)計途徑僅根據(jù)先驗概率的判決規(guī)則ifP(1)>P(2)則判為1否則判為2連續(xù)判決和誤差概率使用類條件概率信息（P(x|)類條件概率密度函數(shù)）P(x|1)和P(x|2)描述兩類魚光澤度的不同2.1引言僅根據(jù)先驗概率的判決規(guī)則2.1引言2.1引言2.1引言2.1引言處于類別j并具有特征值x的模式的聯(lián)合概率密度如下：

p(j,x)=P(j|x).p(x)=p(x|j).P(j)由上可得貝葉斯公式：兩類問題情況下非正式表示：2.1引言處于類別j并具有特征值x的模式的聯(lián)合概率密度如人工智能樣板課件根據(jù)后驗概率判決

X是觀測屬性 ifP(1|x)>P(2|x)

判決狀態(tài)為

1 ifP(1|x)<P(2|x)

判決狀態(tài)為

2

所以: 當(dāng)我們觀測到一個x,判決的誤差概率為:

P(error|x)=P(1|x)如果判決為

2 P(error|x)=P(2|x)如果判決為

12.1引言根據(jù)后驗概率判決2.1引言2.1引言平均誤差概率可表示為：最小化誤差概率判決ifP(1|x)>P(2|x)

判為

1

否則判為2; 所以:P(error|x)=min[P(1|x),P(2|x)]

2.1引言平均誤差概率可表示為：最小化誤差概率判決2.2貝葉斯決策論——連續(xù)特征貝葉斯推廣

使用多余一個的特征允許多余兩種類別狀態(tài)的情形允許有其他行為而不是僅僅是判定類別通過引入一個更一般的損失函數(shù)來替代誤差概率2.2貝葉斯決策論——連續(xù)特征貝葉斯推廣

2.2貝葉斯決策論——連續(xù)特征令{1,2,…,c}表示有限的c個類別集{1,2,…,a}表示有限的a種可能的行為集

(i|j)為類別狀態(tài)j時采取行動i的風(fēng)險。則有下面的幾個等式：總風(fēng)險：2.2貝葉斯決策論——連續(xù)特征令{1,2,…,c

兩類情況下1:判為

12:判為

2ij=(i|j):類別為j時誤判為i所引起的損失

條件風(fēng)險:

R(1|x)=11P(1|x)+12P(2|x)R(2|x)=21P(1|x)+22P(2|x)2.2貝葉斯決策論——連續(xù)特征兩類情況下2.2貝葉斯決策論——連續(xù)特征判決規(guī)則如下:

如果

R(1|x)<R(2|x)

則采取行動

1:“判為1”等價判決規(guī)則1:

如果:(21-11)P(1|x)>(12-22)P(2|x)判為

1

否則判為22.2貝葉斯決策論——連續(xù)特征判決規(guī)則如下:2.2貝葉斯決策論——連續(xù)特征2.2貝葉斯決策論——連續(xù)特征等價判別規(guī)則2：如果：(21-11)P(x|1)P(1)>(12-22)P(x|2)P(2)判為

1否則判為2

等價判別規(guī)則3(合理假設(shè)21>

11)：成立，則判為1

否則判為2似然比超過某個不依賴x的閥值，那么可判決為1

2.2貝葉斯決策論——連續(xù)特征等價判別規(guī)則2：成立，則判為2.3最小誤差率分類基于類別的行為如果采取行為i而實際類別為j，那么在i=j的情況下判決是正確的，如果ij，則產(chǎn)生誤判。為避免誤判，需要尋找一種判決規(guī)則使誤判概率最小化。對稱損失或0-1損失函數(shù):則,條件風(fēng)險為:2.3最小誤差率分類基于類別的行為則,條件風(fēng)險為:最小化誤差概率，需要最大化后驗概率

P(i|x)(因為

R(i|x)=1–P(i|x))

基于最小化誤差概率，有：

對任給ji，如果P(i|x)>P(j|x)，則判為

i2.3最小誤差率分類最小化誤差概率，需要最大化后驗概率P(i|x)2.32.4分類器、判別函數(shù)及判定面多類別情況

判別函數(shù)gi(x),i=1,…,c

如果：gi(x)>gj(x)ji分類器將特征向量x判為i

2.4分類器、判別函數(shù)及判定面多類別情況

人工智能樣板課件2.4分類器、判別函數(shù)及判定面一般風(fēng)險情況下，可令gi(x)=-R(i|x)(最大判別函數(shù)與最小的條件風(fēng)險相對應(yīng))

根據(jù)最小誤差率情況下gi(x)=P(i|x)(最大判別函數(shù)與最大后驗概率相對應(yīng))

其他判別函數(shù)：2.4分類器、判別函數(shù)及判定面一般風(fēng)險情況下，可令gi(x2.4分類器、判別函數(shù)及判定面每種判決規(guī)則將特征空間分為c個判決區(qū)域 ifgi(x)>gj(x)ji則x屬于Ri (也就是把x判為i)2.4分類器、判別函數(shù)及判定面每種判決規(guī)則將特征空間分為c2.4分類器、判別函數(shù)及判定面兩類情況（二分分類器） 令g(x)g1(x)–g2(x)

如果g(x)>0判為1;否則判為2g(x)的另類計算：2.4分類器、判別函數(shù)及判定面兩類情況（二分分類器）g(x2.5正態(tài)密度分析的簡易型連續(xù)性很多處理都是漸進高斯的，大量小的獨立的隨機分布的和手寫字符,語音等都是高斯的單變量密度函數(shù)：

其中:

是x的期望值

2

是方差2.5正態(tài)密度分析的簡易型2.5正態(tài)密度2.5正態(tài)密度多元密度函數(shù)一般的d維多元正態(tài)密度的形式如下:x=(x1,x2,…,xd)t

=(1,2,…,d)t

均值向量=d*d

協(xié)方差矩陣

||行列式值

-1逆矩陣

2.5正態(tài)密度多元密度函數(shù)2.5正態(tài)密度2.6正態(tài)分布的判別函數(shù)最小誤差概率分類可以通過使用判別函數(shù)獲得

gi(x)=lnP(x|i)+lnP(i)

多元情況下：2.6正態(tài)分布的判別函數(shù)最小誤差概率分類可以通過使用判別函2.6正態(tài)分布的判別函數(shù)情況1：i=2.I

(I是單位矩陣)

2.6正態(tài)分布的判別函數(shù)情況1：i=2.I“線性機器”使用線性判別函數(shù)的分類器。線性機器的決策面是一個由下式定義的超平面:

gi(x)=gj(x)2.6正態(tài)分布的判別函數(shù)“線性機器”使用線性判別函數(shù)的分類器。2.6正態(tài)分布的判別人工智能樣板課件情況：2i=(有所類的協(xié)方差矩陣都相等，但各自均值向量任意!)2.6正態(tài)分布的判別函數(shù)情況：2i=(有所類的協(xié)方差矩陣都相等，但各自均2.6正態(tài)分布的判別函數(shù)2.6正態(tài)分布的判別函數(shù)人工智能樣板課件人工智能樣板課件人工智能樣板課件人工智能樣板課件情況3：i=任意，每一類的協(xié)方差矩陣是不同的2.6正態(tài)分布的判別函數(shù)情況3：i=任意，每一類的協(xié)方差矩陣是不同的2.6人工智能樣板課件人工智能樣板課件Thankyou!Thankyou!第二章貝葉斯決策論蘭遠東第二章蘭遠東2.1引言貝葉斯決策論是解決模式分類問題的一種基本統(tǒng)計途徑。它做了如下假設(shè)，即決策問題可以用概率的形式來描述，并且假設(shè)所有的概率結(jié)構(gòu)已知。例：鮭魚和鱸魚分類

兩類魚自然狀態(tài)下的先驗概率先驗概率是一個隨機變量(=1鱸魚;=2鮭魚)

等概率假設(shè)下有：P(1)=P(2)P(1)+P(2)=12.1引言貝葉斯決策論是解決模式分類問題的一種基本統(tǒng)計途徑僅根據(jù)先驗概率的判決規(guī)則ifP(1)>P(2)則判為1否則判為2連續(xù)判決和誤差概率使用類條件概率信息（P(x|)類條件概率密度函數(shù)）P(x|1)和P(x|2)描述兩類魚光澤度的不同2.1引言僅根據(jù)先驗概率的判決規(guī)則2.1引言2.1引言2.1引言2.1引言處于類別j并具有特征值x的模式的聯(lián)合概率密度如下：

p(j,x)=P(j|x).p(x)=p(x|j).P(j)由上可得貝葉斯公式：兩類問題情況下非正式表示：2.1引言處于類別j并具有特征值x的模式的聯(lián)合概率密度如人工智能樣板課件根據(jù)后驗概率判決

X是觀測屬性 ifP(1|x)>P(2|x)

判決狀態(tài)為

1 ifP(1|x)<P(2|x)

判決狀態(tài)為

2

所以: 當(dāng)我們觀測到一個x,判決的誤差概率為:

P(error|x)=P(1|x)如果判決為

2 P(error|x)=P(2|x)如果判決為

12.1引言根據(jù)后驗概率判決2.1引言2.1引言平均誤差概率可表示為：最小化誤差概率判決ifP(1|x)>P(2|x)

判為

1

否則判為2; 所以:P(error|x)=min[P(1|x),P(2|x)]

2.1引言平均誤差概率可表示為：最小化誤差概率判決2.2貝葉斯決策論——連續(xù)特征貝葉斯推廣

使用多余一個的特征允許多余兩種類別狀態(tài)的情形允許有其他行為而不是僅僅是判定類別通過引入一個更一般的損失函數(shù)來替代誤差概率2.2貝葉斯決策論——連續(xù)特征貝葉斯推廣

2.2貝葉斯決策論——連續(xù)特征令{1,2,…,c}表示有限的c個類別集{1,2,…,a}表示有限的a種可能的行為集

(i|j)為類別狀態(tài)j時采取行動i的風(fēng)險。則有下面的幾個等式：總風(fēng)險：2.2貝葉斯決策論——連續(xù)特征令{1,2,…,c

兩類情況下1:判為

12:判為

2ij=(i|j):類別為j時誤判為i所引起的損失

條件風(fēng)險:

R(1|x)=11P(1|x)+12P(2|x)R(2|x)=21P(1|x)+22P(2|x)2.2貝葉斯決策論——連續(xù)特征兩類情況下2.2貝葉斯決策論——連續(xù)特征判決規(guī)則如下:

如果

R(1|x)<R(2|x)

則采取行動

1:“判為1”等價判決規(guī)則1:

如果:(21-11)P(1|x)>(12-22)P(2|x)判為

1

否則判為22.2貝葉斯決策論——連續(xù)特征判決規(guī)則如下:2.2貝葉斯決策論——連續(xù)特征2.2貝葉斯決策論——連續(xù)特征等價判別規(guī)則2：如果：(21-11)P(x|1)P(1)>(12-22)P(x|2)P(2)判為

1否則判為2

等價判別規(guī)則3(合理假設(shè)21>

11)：成立，則判為1

否則判為2似然比超過某個不依賴x的閥值，那么可判決為1

2.2貝葉斯決策論——連續(xù)特征等價判別規(guī)則2：成立，則判為2.3最小誤差率分類基于類別的行為如果采取行為i而實際類別為j，那么在i=j的情況下判決是正確的，如果ij，則產(chǎn)生誤判。為避免誤判，需要尋找一種判決規(guī)則使誤判概率最小化。對稱損失或0-1損失函數(shù):則,條件風(fēng)險為:2.3最小誤差率分類基于類別的行為則,條件風(fēng)險為:最小化誤差概率，需要最大化后驗概率

P(i|x)(因為

R(i|x)=1–P(i|x))

基于最小化誤差概率，有：

對任給ji，如果P(i|x)>P(j|x)，則判為

i2.3最小誤差率分類最小化誤差概率，需要最大化后驗概率P(i|x)2.32.4分類器、判別函數(shù)及判定面多類別情況

判別函數(shù)gi(x),i=1,…,c

如果：gi(x)>gj(x)ji分類器將特征向量x判為i

2.4分類器、判別函數(shù)及判定面多類別情況

人工智能樣板課件2.4分類器、判別函數(shù)及判定面一般風(fēng)險情況下，可令gi(x)=-R(i|x)(最大判別函數(shù)與最小的條件風(fēng)險相對應(yīng))

根據(jù)最小誤差率情況下gi(x)=P(i|x)(最大判別函數(shù)與最大后驗概率相對應(yīng))

其他判別函數(shù)：2.4分類器、判別函數(shù)及判定面一般風(fēng)險情況下，可令gi(x2.4分類器、判別函數(shù)及判定面每種判決規(guī)則將特征空間分為c個判決區(qū)域 ifgi(x)>gj(x)ji則x屬于Ri (也就是把x判為i)2.4分類器、判別函數(shù)及判定面每種判決規(guī)則將特征空間分為c2.4分類器、判別函數(shù)及判定面兩類情況（二分分類器） 令g(x)g1(x)–g2(x)

如果g(x)>0判為1;否則判為2g(x)的另類計算：2.4分類器、判別函數(shù)及判定面兩類情況（二分分類器）g(x2.5正態(tài)密度分析的簡易型連續(xù)性很多處理都是漸進高斯的，大量小的獨立的隨機分布的和手寫字符,語音等都是高斯的單變量密度函數(shù)：

其中:

是x的期望