第2章 線性判別函數(shù)_第一講.ppt

1、第二章 線性判別函數(shù),主要內(nèi)容：,線性空間、線性判別函數(shù) 矩陣分析簡(jiǎn)介 感知器準(zhǔn)則 松弛算法 最小平方誤差算法,2.1 線性判別函數(shù)和判別界面,線性不可分情況,線性判別函數(shù),x=(x1, x2, xd)t: 特征矢量； w=(w1, w2, , wd)t: 權(quán)矢量； w0：偏置(bias)。,線性分類(lèi)器的分類(lèi)界面,兩類(lèi)問(wèn)題線性判別準(zhǔn)則,分類(lèi)界面的幾何解釋,線性分類(lèi)界面H是d維空間中的一個(gè)超平面； 分類(lèi)界面將d維空間分成兩部分，R1，R2分別屬于兩個(gè)類(lèi)別； 判別函數(shù)的權(quán)矢量w是一個(gè)垂直于分類(lèi)界面H的矢量，其方向指向區(qū)域R1 ； 偏置w0與原點(diǎn)到分類(lèi)界面H的距離有關(guān)：,線性判別函數(shù)的增廣形式,y=

2、(1, x1, x2, xd)t: 增廣的特征矢量； a=(w0, w1, w2, , wd)t: 增廣的權(quán)矢量；,多類(lèi)問(wèn)題（情況一）,每一類(lèi)模式可以用一個(gè)超平面與其它類(lèi)別分開(kāi)； 這種情況可以把c個(gè)類(lèi)別的多類(lèi)問(wèn)題分解為c個(gè)兩類(lèi)問(wèn)題解決，需要c個(gè)線性分類(lèi)界面； 第i類(lèi)與其它類(lèi)別之間的判別函數(shù)：,多類(lèi)問(wèn)題（情況一）分類(lèi)界面,多類(lèi)問(wèn)題（情況一）判別規(guī)則,若存在i，使得gi(x)0， gj(x)0，ji，則判別x屬于i類(lèi)； 其它情況，拒識(shí)。,多類(lèi)問(wèn)題（情況二）,每?jī)蓚€(gè)類(lèi)別之間可以用一個(gè)超平面分開(kāi)； c個(gè)類(lèi)別的問(wèn)題需要c(c-1)/2個(gè)線性分類(lèi)界面； 第i類(lèi)與第j類(lèi)之間的判別函數(shù)為：,多類(lèi)問(wèn)題（情況二）

3、分類(lèi)界面,多類(lèi)問(wèn)題（情況二）判別準(zhǔn)則,如果對(duì)任意ji ，有g(shù)ij(x)0 ，則決策x屬于i。 其它情況，則拒識(shí)。,多類(lèi)問(wèn)題（情況三）,情況三是情況二的特例，不存在拒識(shí)區(qū)域。,廣義線性判別函數(shù),2.2 矩陣分析簡(jiǎn)介,線性代數(shù)基礎(chǔ) 模式識(shí)別常用距離 矩陣微分初步,線性代數(shù)基礎(chǔ),線性空間（向量空間） 向量?jī)?nèi)積 歐幾里德范數(shù) 線性無(wú)關(guān) 行列式、跡 矩陣的逆 特征值、特征向量,對(duì)稱性：,非負(fù)性：,三角不等式：,樣本間的“距離”,常用的距離函數(shù),歐氏距離：(Eucidean Distance),是x與y之間的內(nèi)積,常用的距離函數(shù),街市距離： （Manhattan/city block/taxicab di

4、stance）,常用的距離函數(shù),明氏距離：(Minkowski Distance),街市距離,歐氏距離,僅當(dāng) 時(shí)，明氏距離具有旋轉(zhuǎn)平移不變性,角度相似函數(shù)：(Angle Distance),為矢量x的長(zhǎng)度，也稱為范數(shù),矩陣微分相對(duì)于數(shù)量變量的微分,對(duì)于n維函數(shù)向量 對(duì)數(shù)量變量 t 的導(dǎo)數(shù)為： 對(duì)于mn階函數(shù)矩陣 對(duì)數(shù)量變量 t 的導(dǎo)數(shù)為：,設(shè) 及數(shù)量函數(shù) 對(duì)數(shù)量變量t均可導(dǎo)，則：,矩陣微分相對(duì)于數(shù)量變量的微分,例:求二次型 對(duì)t 的導(dǎo)數(shù) 其中 是n維函數(shù)向量 是數(shù)字矩陣,矩陣微分相對(duì)于數(shù)量變量的微分,矩陣微分相對(duì)于向量變量的微分,1，數(shù)量函數(shù)的導(dǎo)數(shù) 2，函數(shù)向量的導(dǎo)數(shù),設(shè) 是以向量 為自變量的

5、數(shù)量函數(shù)，定義,矩陣微分相對(duì)于向量變量的微分,1，數(shù)量函數(shù)的導(dǎo)數(shù),設(shè) 是以向量 為自變量的數(shù)量函數(shù)，定義,矩陣微分相對(duì)于向量變量的微分,1，數(shù)量函數(shù)的導(dǎo)數(shù),設(shè) ，有：,矩陣微分相對(duì)于向量變量的微分,1，數(shù)量函數(shù)的導(dǎo)數(shù),例：求函數(shù) 對(duì) 的導(dǎo)數(shù),矩陣微分相對(duì)于向量變量的微分,1，數(shù)量函數(shù)的導(dǎo)數(shù),設(shè) 且 是向量 的函數(shù)向量，定義：,矩陣微分相對(duì)于向量變量的微分,2，函數(shù)向量的導(dǎo)數(shù),設(shè) 則,矩陣微分相對(duì)于向量變量的微分,2，函數(shù)向量的導(dǎo)數(shù),例：a）求行向量 對(duì) 的導(dǎo)數(shù) b）求列向量 對(duì) 的導(dǎo)數(shù) c）求二次型 對(duì) 的導(dǎo)數(shù) d）求數(shù)量函數(shù) 對(duì) 的導(dǎo)數(shù),矩陣微分相對(duì)于向量變量的微分,2，函數(shù)向量的導(dǎo)數(shù),矩陣微分復(fù)合函數(shù)微分,1，數(shù)量函數(shù)的求導(dǎo)公式 2，向量函數(shù)的求導(dǎo)公式,矩陣微分復(fù)合函數(shù)微分,