現(xiàn)代模式識(shí)別-習(xí)題解答.pdf

1 第二章 習(xí)題解第二章 習(xí)題解 2 72 7 試用最大最小距離聚類(lèi)算法對(duì)樣本集 X 進(jìn)行聚類(lèi) 1234567 0 0 0 1 4 4 4 5 5 4 5 5 1 0 Xx x x x x x x 解解 Step1Step1 選第一個(gè)類(lèi)心 11 0 0 zx 找距離 1 z 最遠(yuǎn)的樣本 6 5 5 x 作為第二個(gè)類(lèi)心 26 5 5 zx 計(jì)算 22 1212 05 05 5 2d z zzz 取參數(shù) 0 3 求距離門(mén)限 12 0 3 5 21 5 2Td z z Step2Step2 對(duì)剩余樣本按最近原則聚類(lèi) 2222 21212222 00 1 0 1 05 1 5 41d x zxzd x zxz 212221 min 11 5 2d x zd x zd x zT 21 x 2222 31313132 40 40 4 2 45 45 2d x zxzd x zxz 313232 min 21 5 2d x zd x zd x zT 31 x 2222 41414242 40 50 41 45 55 1d x zxzd x zxz 414242 min 11 5 2d x zd x zd x zT 42 x 2222 51515252 50 40 41 55 45 1d x zxzd x zxz 515252 min 11 5 2d x zd x zd x zT 52 x 2222 71717272 1 0 00 1 1 5 05 41d x zxzd x zxz 717271 min 11 5 2d x zd x zd x zT 71 x 所有樣本均已歸類(lèi) 故聚類(lèi)結(jié)果為 1127 x x x 23456 x x x x 2 8 2 8 對(duì) 2 7 題中的樣本集 X 試用 C 均值算法進(jìn)行聚類(lèi)分析 解解 取類(lèi)數(shù) C 2 Step1Step1 選初始類(lèi)心 0 11 0 0 zx 第一個(gè)類(lèi)心 0 22 0 1 zx Step2Step2 按最近原則聚類(lèi) 2 由圖示可知 0 0 7172 1 2xzxz 其余樣本距離 0 2 z 較近 所以第一次聚類(lèi) 為 117 x x 223456 x x x x x Step3Step3 計(jì)算類(lèi)心 1 117 0 11 2 1 0002 zxx 1 223456 0445518 5 1 1454519 55 zxxxxx Step4Step4 若類(lèi)心發(fā)生變換 則返回 Step2 否則結(jié)束 計(jì)算過(guò)程如下 1 22 1 222 1112 0 1 2 01 4 0 18 5 0 19 5 xzxz 11 x 1 22 1 222 2122 0 1 2 15 4 0 18 5 1 19 5 104 5xzxz 21 x 1 22 1 222 7172 1 1 2 01 4 1 18 5 0 19 5 106 5xzxz 71 x 1 222 1 222 3132 4 1 2 40 28 25 4 18 5 4 19 5 0 2xzxz 32 x 1 222 1 222 4142 4 1 2 50 37 25 4 18 5 5 19 5 1 6xzxz 42 x 同理可得 562 x x 所以第二次聚類(lèi)為 1127 x x x 23456 x x x x 計(jì)算新的類(lèi)心 3 1127 00 11 3 1 0 1 01 33 zxxx 1 23456 44559 2 1 45459 24 zxxxx 同上 第三次聚類(lèi)為 1127 x x x 23456 x x x x 各樣本類(lèi)別歸屬不變 所以類(lèi)心也不變 故結(jié)束 2 102 10 已知六維樣本 3 12345 0 1 3 1 3 4 3 3 3 1 2 1 1 0 0 0 1 0 1 3 3 3 1 2 1 0 0 1 0 1 0 xxxxx 試按最小距離法進(jìn)行分級(jí)聚類(lèi)分析 解解 計(jì)算樣本點(diǎn)間的平方距離矩陣D 0 其元素為 0 2 ijij dxx i j 1 2 5 亦可 用 0 ijij dxx 0 023242526 230241525 2424073 25157012 26253120 D 3 x 與 5 x 的距離最小 合為一類(lèi) 1 335 Gx x 用最近距離遞推公式求第一層的類(lèi)間平方距離矩陣D 1 1 0232425 2302415 242407 251570 D 1 335 Gx x 與 1 44 Gx 的距離最小 合為一類(lèi) 2 1 1 334345 GGGx xx 2 02324 23015 23 150 D 2 22 Gx 與 2 3345 Gx xx 的距離最小 合為一類(lèi) 3 2 2 2232345 GGGxx xx 聚類(lèi)過(guò)程圖示 1 x 2 x 3 x 4 x 5 x 1 x 2 x 1 335 Gx x 4 x 1 x 2 x 2 3345 Gx xx 1 x 3 22345 Gxx xx 由于本題每層均只有一類(lèi)含多個(gè)樣本 而其余均為單樣本 因此各種聚類(lèi)函數(shù)值均指示 第 n 層聚類(lèi)結(jié)果比第 n 1 層好 n 0 1 2 一 解 1 略 4 2 S1 pattern S2 pat S3 stop D S1 S2 n1 n2 2n12 n1 n2 n12 7 3 2 3 7 3 3 4 7 D S1 S3 7 4 2 2 7 4 2 7 9 D S2 S3 3 4 2 2 3 4 2 3 5 7 9 3 5 4 7 按 T 測(cè)試由大到小排序?yàn)?pattern stop pat stop pattern pat 二 解 1 證明歐氏距離具有平移和正交旋轉(zhuǎn)不變性 0 0 0 0 d x yxyxxyx d xxyy 歐氏距離具有平移不變性 正交變換距陣 A 具有性質(zhì) A A I d Ax AyAxAy AxAyAxAy xyA A xy xyxy xy d x y 歐氏距離具有正交旋轉(zhuǎn)不變性 2 馬氏距離對(duì)一切非奇異線(xiàn)性變換具有不變性 非奇異矩陣 A 存在 A 1 1 111 1 i jijij ijij ijij ij d Ax AxAxAxAVAAxAx xxA AVAA xx xxVxx d x y 馬氏距離對(duì)于一切非奇異線(xiàn)性變換具有不變性 三 解 當(dāng)聚類(lèi)數(shù)目 C 2 時(shí) 存在三種可能分組 1 W1 x 2 x 0 W2 x 5 2 W1 X 2 W2 X 0 X 3 W1 X 2 X W2 X 0 利用公式 2 11 j n C j Wij ji Jxm 和歐氏距離公式得到 22 123 2 2 2 11 2 1 Www kk Jk JJ kk k 當(dāng)時(shí) Jw2 Jw1 Jw2 Jw3 最小化Jw的劃分為第 2 種 k 個(gè) x 0 和一個(gè) x 樣本分為一類(lèi) 2 2 1 321 k JwJwJw 當(dāng) 時(shí) 最優(yōu)分組為第 1 種 將 k 個(gè) x 2 和 k 個(gè) x 0 的樣本分為一類(lèi) 四 解 1 按照 2 11 j n C j Wij ji Jxm 和歐氏距離公式 a a 1 2 12 2222 2222 4 1 45 2 5 2 5 22 05 10 2 5 0 5 22 42 5 54 5 12 5 44 5 02 5 1 0 5 52 5 00 5 18 waww m m JJJ 同理可得 wb J 18 wc J 52 3 wcwbwa JJJ 第 C 類(lèi)劃分最好 f 2 按照 b 6 1 42 51 2 502 552 5 42 554 5 1 2 544 5 02 51 0 5 52 500 5 54 544 51 0 500 5 16 C ii d ix m da Jxmxm J 同理 db J 16 dc J 64 3 按 d J 聚類(lèi) 第 a 和 b 劃分是最好的 五 解方法同第 4 題 1 按 w J 聚類(lèi) 13 8 21 8 4 3 wawbwc JJJ 第 C 類(lèi)劃分最好 2 按 d J 聚類(lèi) 1 16 1 1 3 dadbdc JJJ 第 a 類(lèi)劃分最好 六 解 樹(shù)圖如下 7 第三章第三章 習(xí)題答案習(xí)題答案 一 設(shè)一 3 類(lèi)問(wèn)題有如下判決函數(shù) d1 x x1 d2 x x1 x2 1 d3 x x1 x2 1 試畫(huà)出下列各種情況的判決邊界及各類(lèi)的區(qū)域 1 滿(mǎn)足 3 4 2 節(jié)中的第一種情況 2 滿(mǎn)足 3 4 2 節(jié)中的第二種情況 且令 d12 x d1 x d13 x d2 x d23 x d3 x 3 滿(mǎn)足 3 4 2 節(jié)中的第三種情況 解 1 ii ww兩分法 2 Wi Wj 兩分法 8 W1 W3 W2 D23 x x1 x2 1D12 x x1D13 x x1 x2 1 IR IR 2 x 1 x 3 沒(méi)有不確定區(qū)的 Wi Wj 兩分法 9 232 d x 2x 1312 21dxxx 1212 21dxxx 2 x 1 x 二 證明感知器的收斂性 證明 如果模式是線(xiàn)性可分的 則存在判別函數(shù)的最佳權(quán)向量解 w 利用梯度下降法求解函數(shù)的 極小值點(diǎn) 即為 w 構(gòu)造準(zhǔn)則函數(shù) J wk w xw x k 0 當(dāng) w x 0 w 9 w 8 k kd xx k1k 9 x x w k 1 0 w 10 w 9 k kd xx k2k 10 x x w k 2 0 w 11 w 10 k kd xx k33k 11 x x w k 0 w 12 w 11 x 2 3 1 2 k kd xx k4k 12 x x w k 1 0 w 13 w 12 k kd xx k55k 13 x x w k 10 w 15 w 14 k d x k7k 15 x x 2 0 w 16 w 15 k d x k8k 16 x x 2 0 w 17 w 16 k d x k1k 17 x x 1 0 w 18 w 17 k d x k2k 18 x x 3 0 w 19 w 18 k d x k3 k44 k55 k6 k 19 x x 1 0 w 20 w 19 k 20 x x 0 w 21 w 20 x 3 2 2 2 k 21 x x 0 w 22 w 21 x 3 2 3 1 k 22 x x 4 0 w 23 k k k k d x d x d x d x k7 k8 k1 w 22 k 23 x x 1 0 w 24 w 23 k 24 x x 1 0 w 25 w 24 k 25 x x 1 0 w 26 w 25 k k k d x d x d x k2k 26 x x 4 0 w 27 w 26 kd x 15 k3k 2 7 x x 1 0 w 2 8 w 2 7 kdx 4 k k 2 8 x x 2 0 w 2 9 w 2 8 k dx 5 k k 2 9 x x 2 0 w 3 0 w 2 9 k dx 3 由上面的結(jié)果可以看出 經(jīng)過(guò)迭代w 22 能對(duì)所有訓(xùn)練樣本正確分類(lèi) w 3 2 3 1 判別界面方程為 3x1 2x2 3x3 1 0 六 用 MSE 梯度法 算法檢驗(yàn)下列模式的線(xiàn)性可分性 1 0 1 0 1 2 1 0 1 0 解 將訓(xùn)練樣本增廣及規(guī)范化后 得到 1234 0 1 1 0 1 1 1 0 1 1 0 1 xxxx 則 011 011 101 101 x 利用偽逆法 1 1 2 3 4 001 21 2 1 21 200 1 41 41 41 4 wx b x xx b b b b b 利用 H K 算法 設(shè) 0 1 1 1 1 1 b 置步數(shù) k 0 則 0 0 0 0 0 0 wx b 0 0 0 1 1 1 1 exwb 16 0 e 的各分量均為負(fù)值 則停止迭代 無(wú)法求得方程組的解 w 所以模式線(xiàn)性不可分 七 已知 1 0 0 2 1 1 3 1 1 用感知器算法求該三類(lèi)問(wèn)題的 判別函數(shù) 并畫(huà)出解區(qū)域 解 d x 9x2 7y2 5 設(shè) y1 x 2 y 2 x 則廣義線(xiàn)性判別函數(shù)為 12 975d yyy 它對(duì)應(yīng)的正負(fù)空間如下圖 第四章第四章 習(xí)題解習(xí)題解 4 2 設(shè)一維兩類(lèi)模式滿(mǎn)足正態(tài)分布 它們的均值和方差分別為 設(shè)一維兩類(lèi)模式滿(mǎn)足正態(tài)分布 它們的均值和方差分別為 1 1 0 0 1 1 2 2 2 2 2 2 2 2 2 p x N 2 p x N 窗函數(shù) 窗函數(shù)P P 1 1 P P 2 2 取 0 1 損失函數(shù) 試算出判決邊界點(diǎn) 并繪出它 們的概率密度函數(shù)曲線(xiàn) 試確定樣本 3 2 1 3 5 各屬哪一類(lèi) 取 0 1 損失函數(shù) 試算出判決邊界點(diǎn) 并繪出它 們的概率密度函數(shù)曲線(xiàn) 試確定樣本 3 2 1 3 5 各屬哪一類(lèi) 解解 已知 2 1 1 exp 82 2 x p x 2 2 1 2 exp 82 2 x p x 17 1 p x 2 p x 由 Bayes 最小損失判決準(zhǔn)則 如果 122122 1212 211211 p xP lx p xP 則判 1 x 否則判 2 x 22 1212 2 1 exp exp 1 882 xxx lx 12 11 ln exp lnln10 22 xx 如果 1x 則判 1 x 否則判 2 x 3 2 屬于 1 1 3 5 屬于 2 4 7 在圖像識(shí)別中 假定有灌木叢和坦克兩種類(lèi)型 分別用在圖像識(shí)別中 假定有灌木叢和坦克兩種類(lèi)型 分別用 1 1和和 2 2表示 它們的先驗(yàn) 概率分別為 0 7 和 0 3 損失函數(shù)如表 3 1 所示 現(xiàn)在做了四次試驗(yàn) 獲得四個(gè)樣本的類(lèi)概 率密度如下 表示 它們的先驗(yàn) 概率分別為 0 7 和 0 3 損失函數(shù)如表 3 1 所示 現(xiàn)在做了四次試驗(yàn) 獲得四個(gè)樣本的類(lèi)概 率密度如下 1 xp 0 1 0 15 0 3 0 6 2 xp 0 8 0 7 0 55 0 3 1 試用貝葉斯最小誤判概率準(zhǔn)則判決四個(gè)樣本各屬于哪個(gè)類(lèi)型試用貝葉斯最小誤判概率準(zhǔn)則判決四個(gè)樣本各屬于哪個(gè)類(lèi)型 2 假定只考慮前兩種判決 試用貝葉斯最小風(fēng)險(xiǎn)準(zhǔn)則判決四個(gè)樣本各屬于哪個(gè)類(lèi)型假定只考慮前兩種判決 試用貝葉斯最小風(fēng)險(xiǎn)準(zhǔn)則判決四個(gè)樣本各屬于哪個(gè)類(lèi)型 3 將拒絕判決考慮在內(nèi) 重新考核四次試驗(yàn)的結(jié)果將拒絕判決考慮在內(nèi) 重新考核四次試驗(yàn)的結(jié)果 表 3 1 類(lèi)型 損失 判決 1 2 1 判為 1 0 5 2 0 2 判為 2 4 0 1 0 3 拒絕判決 1 5 1 5 1 x x1 x2 x3 x4 x 18 解解 1 兩類(lèi)問(wèn)題的 Bayes 最小誤判概率準(zhǔn)則為 如果 12 1212 21 p xP lx p xP 則判 1 x 否則判 2 x 由已知數(shù)據(jù) 12 0 3 0 7 3 7 樣本x1 l12 x1 0 1 0 8 12 3 7 x1 2 樣本x2 l12 x2 0 15 0 7 12 3 7 x3 1 樣本x4 l12 x4 0 6 0 3 12 3 7 x4 1 2 不含拒絕判決的兩類(lèi)問(wèn)題的 Bayes 最小風(fēng)險(xiǎn)判決準(zhǔn)則為 如果 122122 1212 211211 p xP lx p xP 則判 1 x 否則判 2 x 由已知數(shù)據(jù) 12 0 3 2 1 0 7 4 0 5 3 24 5 樣本x1 l12 x1 1 8 12 6 49 x1 1 樣本x2 l12 x2 3 14 12 6 49 x2 1 樣本x3 l12 x3 6 11 12 6 49 x3 1 樣本x4 l12 x4 6 3 12 6 49 x4 1 3 含拒絕判決的兩類(lèi)問(wèn)題的 Bayes 最小風(fēng)險(xiǎn)判決準(zhǔn)則為 1 2 3 if min then 3 iji j RxRxxi 時(shí)為拒絕判決 其中條件風(fēng)險(xiǎn) 2 1 1 2 3 jjii i RxPxj 后驗(yàn)概率 2 1 iiiiiii i Pxp xPp xp xPp xP 2 1 1 1 2 3 jjiii i Rxp xPj p x 記 2 1 1 2 3 jjiii i rxp xPj 4 7 1 則 含拒絕判決的兩類(lèi)問(wèn)題的 Bayes 最小風(fēng)險(xiǎn)判決準(zhǔn)則為 1 2 3 if r min then 3 iji j xrxxi 時(shí)為拒絕判決 對(duì)四個(gè)樣本逐一列寫(xiě)下表 用 4 7 1 式計(jì)算r j x 樣本x1 j i 類(lèi)型 損失 判決 1 p x 1 P 1 0 1 0 7 0 07 2 p x 2 P 2 0 8 0 3 0 24 r j x 1 判為 1 0 5 2 0 0 5 0 07 2 0 24 0 515 19 2 判為 2 4 0 1 0 4 0 07 1 0 24 0 52 3 拒絕判決 1 5 1 5 1 5 0 07 1 5 0 24 0 465 因?yàn)閞 3 x1 0 465 最小 所以拒絕判決 樣本x2 j i 類(lèi)型 損失 判決 1 p x 1 P 1 0 15 0 7 0 105 2 p x 2 P 2 0 7 0 3 0 21 r j x 1 判為 1 0 5 2 0 0 5 0 105 2 0 21 0 4725 2 判為 2 4 0 1 0 4 0 105 1 0 21 0 63 3 拒絕判決 1 5 1 5 1 5 0 105 1 5 0 21 0 4725 因?yàn)閞 1 x2 0 4725 最小 所以判x2 1 即灌木叢 或拒絕判決 樣本x3 j i 類(lèi)型 損失 判決 1 p x 1 P 1 0 3 0 7 0 21 2 p x 2 P 2 0 55 0 3 0 165 r j x 1 判為 1 0 5 2 0 0 5 0 21 2 0 165 0 435 2 判為 2 4 0 1 0 4 0 21 1 0 165 1 005 3 拒絕判決 1 5 1 5 1 5 0 21 1 5 0 165 0 5625 因?yàn)閞 1 x3 0 435 最小 所以判x3 1 即灌木叢 樣本x4 j i 類(lèi)型 損失 判決 1 p x 1 P 1 0 6 0 7 0 42 2 p x 2 P 2 0 3 0 3 0 09 r j x 1 判為 1 0 5 2 0 0 5 0 42 2 0 09 0 39 2 判為 2 4 0 1 0 4 0 42 1 0 09 1 77 3 拒絕判決 1 5 1 5 1 5 0 42 1 5 0 09 0 765 因?yàn)閞 1 x4 0 39 最小 所以判x4 1 即灌木叢 4 9 假設(shè)兩類(lèi)二維正態(tài)分布參數(shù)為4 9 假設(shè)兩類(lèi)二維正態(tài)分布參數(shù)為 1 1 1 0 1 0 2 2 1 0 先驗(yàn)概率相等 1 令 1 0 先驗(yàn)概率相等 1 令 1 1 2 2 I 試給出負(fù)對(duì)數(shù)似然比判決規(guī)則 2 令 I 試給出負(fù)對(duì)數(shù)似然比判決規(guī)則 2 令 1 11 2 1 21 2 11 2 1 21 試給出負(fù)對(duì)數(shù)似然比判決規(guī)則 試給出負(fù)對(duì)數(shù)似然比判決規(guī)則 解解 Bayes 最小誤判概率似然比判決規(guī)則為 如果 12 1212 21 1 p xP lx p xP 則判 1 x 否則判 2 x 相應(yīng)的負(fù)對(duì)數(shù)似然比判決規(guī)則為 如果 122112 ln ln ln lnln10lxp xp x 則判 1 x 否則 判 2 x 20 對(duì)于正態(tài)分布 1 21 2 11 exp 2 2 iiii n i p xxx 11 1212111222 1 ln ln ln 2 lxxxxx 1 由已知 22 11 12 1 22 11 1 111 exp exp 002222 xx xx p xI xx 22 11 12 2 22 11 1 111 exp exp 002222 xx xx p xI xx 22 1221111 ln ln ln 1 1 4lxp xp xxxx 故 如果 1 0 x 則判 1 x 否則判 2 x 2 1 11 2 3 4 1 21 2 11 2 3 4 1 21 1 1 1 11 211 2 4 1 211 213 2 1 1 11 211 2 4 1 211 213 1111 12 2222 111111 211 2 1414 ln 1 211 212323 xxxx lx xxxx 1212 11 11 2222 1 21 2 11 22 11 33 22 xxxx xx xx xxxx 11 1122211222 112 1 1 2 1 1 2 322 xx xxxxxxxxxx 112 4 2 3 xx x 1212 if 2 0 then else xxxx 即 121212 if 0 and 2 0 and 2 then else xxor xxxx 21 補(bǔ)充題 1 假設(shè)兩類(lèi)一維模式的概率密度函數(shù)為 補(bǔ)充題 1 假設(shè)兩類(lèi)一維模式的概率密度函數(shù)為 1 0 51 02 0 xx p x 其它 2 0 50 5 13 0 xx p x 其它 先驗(yàn)概率相等 1 求 Bayes 判決函數(shù) 用 0 1 損失函數(shù) 2 求總的誤判概率 先驗(yàn)概率相等 1 求 Bayes 判決函數(shù) 用 0 1 損失函數(shù) 2 求總的誤判概率 解解 1 當(dāng)用 0 1 損失函數(shù)且先驗(yàn)概率相等時(shí) Bayes 最小損失判決規(guī)則為 如果 122122 211211 1 p xP p xP 則判 1 x 否則判 2 x 即 12 p xp x 則判 1 x 否則判 2 x 代入本題類(lèi)概率密度函數(shù)得 如果x 1 5 則判x 1 否則判x 2 故 Bayes 判決函數(shù)為d x 1 5 x 2 誤判概率 21 1112 P ePp xdxPp xdx 22 21 5 1 51 111 0 51 0 50 5 228 P exdxxdx 補(bǔ)充題 2 在目標(biāo)識(shí)別中 假定類(lèi)型 1 為敵方目標(biāo) 類(lèi)型 2 為誘餌 假目標(biāo) 已知先驗(yàn)概率 P 1 0 2 和 P 2 0 8 類(lèi)概率密度函數(shù)如下 補(bǔ)充題 2 在目標(biāo)識(shí)別中 假定類(lèi)型 1 為敵方目標(biāo) 類(lèi)型 2 為誘餌 假目標(biāo) 已知先驗(yàn)概率 P 1 0 2 和 P 2 0 8 類(lèi)概率密度函數(shù)如下 1 01 2 12 0 xx p xxx 其它 1 1 12 3 23 0 xx p xxx 其它 1 求貝葉斯最小誤判概率準(zhǔn)則下的判決域 并判斷樣本 x 1 5 屬于哪一類(lèi) 2 求總錯(cuò)誤概率 P e 3 假設(shè)正確判斷的損失 11 22 0 誤判損失分別為 12 和 21 若采用最小損失判決 準(zhǔn)則 12 和 21 滿(mǎn)足怎樣的關(guān)系時(shí) 會(huì)使上述對(duì) x 1 5 的判斷相反 解 1 求貝葉斯最小誤判概率準(zhǔn)則下的判決域 并判斷樣本 x 1 5 屬于哪一類(lèi) 2 求總錯(cuò)誤概率 P e 3 假設(shè)正確判斷的損失 11 22 0 誤判損失分別為 12 和 21 若采用最小損失判決 準(zhǔn)則 12 和 21 滿(mǎn)足怎樣的關(guān)系時(shí) 會(huì)使上述對(duì) x 1 5 的判斷相反 解 1 應(yīng)用貝葉斯最小誤判概率準(zhǔn)則如果 1 應(yīng)用貝葉斯最小誤判概率準(zhǔn)則如果 2 1 12 xp xp xl 1 2 P P 則判 則判 2 1 x 得 得 l l1212 1 5 1 1 5 1 1 而上 式第二項(xiàng)的指數(shù)項(xiàng)比第一項(xiàng)的指數(shù)項(xiàng)下降快 且最大值 x 時(shí) 都是 1 所以 2 2 1 1 exp 2222 N NN x Var pxp x NhNh 證畢 第六章第六章 習(xí)題解習(xí)題解 6 3 有七個(gè)二維矢量 有七個(gè)二維矢量 1 1231 1 0 0 1 0 1 Xxxx 2 45672 0 0 0 2 0 2 2 0 Xxxxx 1 畫(huà)出最近鄰法決策面 2 求樣本均值 若按離樣本均值距離的大小進(jìn)行分類(lèi) 試畫(huà)出決策面 解 1 畫(huà)出最近鄰法決策面 2 求樣本均值 若按離樣本均值距離的大小進(jìn)行分類(lèi) 試畫(huà)出決策面 解 1 若按 1 NN 進(jìn)行分類(lèi) 則決策面由 1 i xX 與 2 j xX 連線(xiàn)的中垂面構(gòu)成 2 1123 11 0 33 mxxx 24567 11 0 42 mxxxx 則按離樣本均值距離的大小進(jìn)行分類(lèi)的決策面是 1 m 與 2 m 連線(xiàn)的中垂面 27 第七章第七章 習(xí)題解習(xí)題解 7 11 若有下列兩類(lèi)樣本集 若有下列兩類(lèi)樣本集 1234 1 1 1 1 1 1 0 0 0 1 0 0 1 0 1 1 1 0 Xxxxx 2 2 2 2 2 12342 0 0 1 0 1 0 0 1 1 1 1 1 Xxxxx 試用 K L 變換將特征空間維數(shù)降到 d 2 和 d 1 并用圖畫(huà)出樣本在該特征空間中的位 置 解 試用 K L 變換將特征空間維數(shù)降到 d 2 和 d 1 并用圖畫(huà)出樣本在該特征空間中的位 置 解 一 用 一 用Sw做從三維到二維降維 做從三維到二維降維 1 求各類(lèi)均值矢量 1 1 1 1 1 01113 4 11 0001 1 4 4 00101 4 i N i mx N 2 2 2 1 2 00011 4 11 0111 3 4 4 10113 4 N i i mx N 2 求類(lèi)內(nèi)離差矩陣 Sw 1 1 1 111 1 1 311 11 131 16 113 ii N i Swxmxm N 2 2 2 222 1 2 311 11 131 16 113 ii N i Swxmxm N 1 0 0 5 2 2 1 2 按離均值距離的決策面 1 12 1 NN 1判決域 28 12 311 111 131 2216 113 SwSwSw 1 211 4121 112 Sw 3 求 3 求Sw的本征值與本征矢量 的本征值與本征矢量 2 3 1 161 16 16 311 1 161 16 0 16416 3 1 161 16 16 SwI 123 1 4 1 16 11 1 Swvv 11 22 33 311 11 131 164 113 vv vv vv 11 2122 33 3411010 11 134101 1 22 1134001 vv vvvu vv 由施密特正交化方法得 由施密特正交化方法得 2 2對(duì)應(yīng)的與對(duì)應(yīng)的與 1 v 正交的本征矢量 正交的本征矢量 21 221 11 0111 2 11111 1 0 1 1 111 2 22222 1001 u v vuv v v 歸一化 歸一化 2 1 1 1 6 2 v 故 變換矩陣為 故 變換矩陣為 12 1 21 6 1 21 6 02 6 Vv v 三維到二維降維變換為 三維到二維降維變換為Y XV 29 1 1 00 000 1 21 6 1 21 6 100 1 21 6 101 1 23 6 02 6 110 2 20 YX V 2 2 02 6 001 1 21 6 0101 21 6 1 21 6 011 1 21 6 02 6 111 2 22 6 YXV 二 用 二 用Sw做一維特征提取 取小的本征值 做